리벨리온, 국산 NPU로 SKT 초거대 AI 'A.X K1' 구동
(서울=연합인포맥스) 윤영숙 기자 = 인공지능(AI) 반도체 기업 리벨리온이 국산 신경망처리장치(NPU) 서버에서 SK텔레콤[017670]의 초거대 AI 모델 'A.X K1'을 구동하는 데 성공했다.
리벨리온은 자체 AI 서버인 '리벨서버'를 활용해 5천억개 이상의 매개변수를 보유한 A.X K1을 안정적으로 실행하고, 여러 사용자의 요청을 동시에 처리하는 AI 에이전트 서비스 데모를 구현했다고 23일 밝혔다.
A.X K1은 필요한 일부 전문가 모델만 선택적으로 사용하는 전문가혼합(MoE) 구조를 적용해 대규모 모델의 연산 효율성을 높인 것이 특징이다.
리벨리온은 MoE 모델에 맞춰 전용 소프트웨어를 최적화하고, 다양한 연산을 NPU에 분산해 병렬 처리하는 기술을 적용했다. 이를 통해 단일 서버에서도 다수의 이용자 요청을 실시간으로 처리할 수 있도록 했다.
회사는 단일 리벨서버로 글로벌 고성능 그래픽처리장치(GPU) 서버에 준하는 인프라 성능을 확보해 데이터센터 구축과 운영 부담을 줄일 수 있다고 설명했다.
리벨리온은 이번 실증에서 이용자가 '주말에 이용 가능한 약국' 등을 질문하면 결과를 지도에 표시하는 에이전트 서비스도 선보였다. 여러 사용자가 동시에 다른 질문을 입력하는 환경에서도 응답을 실시간으로 처리했다.
박성현 리벨리온 대표는 "국산 초거대 모델과 국산 NPU만으로 대규모 AI 서비스를 운영할 수 있다는 점을 보여준 소버린 AI의 실질적 사례"라고 말했다.
리벨리온은 과학기술정보통신부의 독자 AI 파운데이션 모델 사업에 참여한 SK텔레콤 컨소시엄 구성원으로, 국산 NPU 기반 AI 인프라 실증을 담당하고 있다.
[출처: 리벨리온]
ysyoon@yna.co.kr
윤영숙
ysyoon@yna.co.kr
함께 보면 도움이 되는
뉴스를 추천해요
