'AP 1위' 미디어텍 "에지 디바이스 AI 컴퓨팅이 뜬다"

"모바일에서는 파라미터 수십억개가 최적"

"에지 컴퓨팅, 에너지 효율·개인정보 보호·실시간 장점"

(타이베이=연합인포맥스) 김학성 기자 = 전 세계 애플리케이션프로세서(AP) 시장 점유율 1위 기업인 미디어텍이 스마트폰과 노트북 등 에지 디바이스에 기반한 인공지능(AI) 컴퓨팅의 중요성을 강조했다.

파라미터 규모를 적절히 조절한 거대언어모델(LLM)을 에지 디바이스에 적용해 최적의 속도와 에너지 효율을 끌어낼 수 있다는 이유에서다.

량보성 미디어텍 시니어디렉터는 5일(현지시간) 타이베이 난강구 난강전람관에서 열린 '세미콘 타이완 2024' 스마트 매뉴팩처링 포럼 기조연설에서 "AI 컴퓨팅을 말할 때 데이터센터와 모바일이 다르다"며 이렇게 말했다.

그는 데이터센터에 기반한 AI 컴퓨팅과 모바일 프로세서에 기반한 AI 컴퓨팅이 성능과 메모리 용량, 대역폭, 냉각 방식 등에서 차이가 크다며 모바일은 폼팩터(물리적 형태)와 전력, 열관리 방법에서도 제한이 있다고 짚었다.

그러면서 최근 기업들이 조 단위 파라미터의 거대 모델을 개발하는 동시에 수십억개 파라미터로 규모를 줄인 모델도 만들고 있다고 설명했다.

량 시니어디렉터는 "파라미터가 많으면 성능이 좋지만, 파라미터가 적으면 컴퓨팅 부담을 줄일 수 있다"며 "(작은 모델은) 생성형 AI를 확산할 수 있는 방법"이라고 말했다.

그는 메모리 대역폭이 같다고 할 때 파라미터가 적을수록 토큰 처리 속도가 빨라진다며 모바일 환경에서는 수십억개의 파라미터가 최적(sweet spot)이라고 설명했다.

이어 그는 노벨경제학상을 수상한 행동경제학의 거장 대니얼 카너먼을 언급했다. 카너먼은 인간의 사고가 자동적이고 빠른 '시스템 1'과 의식적이고 느린 '시스템 2'로 나뉜다고 봤다.

량 시니어디렉터는 이를 AI 컴퓨팅에도 적용할 수 있다고 했다. 가벼운 모델은 에지 디바이스에 넣고, 무거운 모델은 클라우드에서 작동시킨다는 구상이다.

량 시니어디렉터는 AI 데이터센터가 오는 2027년이면 85~134테라와트시(TWh)의 전력을 소모할 것이라며 이는 네덜란드의 전체 발전량에 맞먹는 막대한 양이라고 말했다.

그는 "AI 컴퓨팅의 부담을 줄여야 한다"며 에지 디바이스로 컴퓨팅을 활성화하면 에너지 효율과 개인정보 보호, 실시간 대응 등의 장점이 있다고 강조했다.

이정배 삼성전자 메모리사업부장(사장)도 전날 세미콘 타이완 최고경영자(CEO) 서밋 기조연설에서 클라우드 기반의 AI만으로는 한계가 있다며 온디바이스 AI의 균형적인 발전이 필수라고 말한 바 있다. 이 사장은 또 삼성전자가 이와 관련해 다양한 솔루션을 개발하고 있다고 강조하기도 했다.

미디어텍은 지난 1분기 스마트폰의 두뇌 역할을 하는 AP 시장에서 글로벌 점유율 1위(40%)를 기록한 대만의 팹리스 기업이다.

hskim@yna.co.kr