여전히 유망한 엔비디아와 예상 외의 한 방이 나올 수 있는 애플

Global Insights

■학습보다 추론으로 수요가 이동하면서 잠재력을 드러낼 애플, 그런 환경에서도 견고한 엔비디아

학습에서 추론으로 이동하는 AI 무게중심.
인공지능 (AI) 서비스를 개발하기 위해, 초대형 기술 기업들은 수많은 지식을 학습 (learning)해서 대형언어모형 (LLM)을 만드는 데에 집중했음.
학습에 필요한 반도체 수요는 전체 AI 반도체 수요의 약 90%로 추정.
그러나 이렇게 만들어진 LLM을 이용해서 사용자의 요청 (질문)에 응답하도록 하는 추론 (inference)으로 수요가 이동하고 있음.
LLM의 개발 (학습)은 계속되고 있는 가운데, 최근에는 언어모형 (LM) 여러 개를 연동하는 전문가 혼합 (MoE)의 효율이 높다는 게 확인됐고, 소형언어모형 (sLM)을 최적화하면 LLM만큼이나 좋은 추론 성능을 보일 수 있다는 게 증명.
그래서 LLM의 파라미터를 늘리는 경쟁은 잠잠해졌고, 파라미터가 너무 많지 않은 LLM이나 파라미터 개수가 300억 개 미만인 sLM의 학습 수요가 늘고 있음 (2/26).
이렇게 학습 수요의 범위가 넓어지면서 학습 수요는 증가하고 있지만, 학습을 마친 언어모형 (LM)을 활용 (추론)하는 수요가 빠르게 증가하고 있음.
학습을 하려면 대규모의 데이터를 이용해서 많은 연산을 거쳐야 하므로, 상당한 컴퓨팅 능력을 가진 AI GPU가 필요.
반면, 사용자의 요청에 응답하는 추론에는 그만큼의 컴퓨팅 능력이 필요하지는 않음.
따라서 학습에서 추론으로 시장 수요가 이동하면, 엔비디아가 만든 고성능 AI GPU의 수요가 줄어들 거라는 우려가 있음.
대형 기술 기업들이 추론을 위해 지출하는 비용은 이미 80%를 상회하는 것으로 알려짐.
그래서 LLM이 아니라 sLM을 사용해서 추론에 필요한 컴퓨팅 부담을 낮추고, 삼성의 갤럭시 S24에서 선보인 온-디바이스 AI (On-Device AI 또는 엣지 (Edge) AI)처럼 클라우드 서버를 거치지 않고 사용자 기기에서 추론을 수행하도록 하는 방법들이 나오는 중