중소형 LLM의 활용도가 높아지면서 달라질 주도주

Global Insights

■하드웨어와 클라우드 기업들에게는 호재지만, 엔비디아에게는 악재가 될 중소형 LLM

생성형 인공지능의 두 번째 중심 이동.
생성형 인공지능 (GenAI)은 대형언어모형 (LLM)을 만드는 학습 (learning)에서 LLM을 활용하는 추론 (inference)으로 무게중심이 이동하고 있음 (2/26).
최근에는 파라메터 개수가 적은 LLM을 이용해 더 낮은 비용 (lower cost)을 추론하는 방향으로 GenAI가 한 단계 더 이동하는 중.
OpenAI의 GPT-4o mini, 구글의 Gemini 1.5 Flash, 메타의 Llama 3.1 8B, 앤트로픽의 Claude 3 Haiku 등과 같이 파라메터 개수가 적은 LLM들이 사용자들의 관심을 모으고 있음.
이와 같은 중소형 LLM은 데이터 증강이나 인간 피드백 강화학습 같은 고급 학습 기법을 활용하고 학습 데이터 품질을 개선시켜서, 더 적은 파라메터로도 이전 LLM에 비해 더 나은 성능을 보임.
LLM의 성능을 평가하는 여러 지표들 중에 MMLU (Massive Multitask Language Understanding, 다중작업 언어 이해)를 비교해보면, GPT-4o mini는 82점으로 GPT-4o의 88.7에 비해 조금 낮은 수준.
그러나 2년 전에 나온 GPT-3.5 Turbo의 70점에 비하면 훨씬 높음.
성능은 최신 초대형언어모형에 비해 조금 낮지만 비용은 그보다 훨씬 낮음.
100만 토큰 기준으로 GPT-4o는 입력 5달러, 출력 15달러인데, GPT-4o mini는 입력 0.15달러, 출력 0.6달러로 GPT-4o의 3~4% 수준.
가격이 낮아진다는 건, 수요 증가를 이끄는 요소.
제품과 서비스의 침투율을 보여주는 S-curve에서 침투율이 급상승하는 첫 번째 변곡점은 대체로 가격 인하를 통한 대중화를 계기로 만들어짐.
더 낮은 비용으로 GenAI를 사용할 수 있게 되면서, 기업과 개인의 GenAI 사용은 크게 늘어날 전망