Cloud AI 밸류체인의 마진 가위를 벌릴 수 있는 비책은 자체 가속기
Global Insights
26.08.26.
읽는시간 1분
퀵하게 보기
- 토큰 원가를 낮추려는 노력에서 성과가 보이기 시작하는 OpenAI
OpenAI가 브로드컴과 개발한 자체 가속기 할라피뇨 (Jalapeno)가 엔비디아 GPU보다 나은 성능을 보였다고 발표.
리처드 호 OpenAI 반도체 책임자는 공개된 벤치마크를 통해, 할라피뇨의 속도와 단위전력당 처리량이 엔비디아의 GPU보다 우수하다고 함.
보통은 더 많은 작업을 동시에 처리하면 (throughput 확대), 개별 작업의 프롬프트에 대한 응답이 느려지는 경향이 나타남 (latency 증가).
그러나 할라피뇨는 작업당 토큰 생성 속도를 높게 유지하면서 많은 요청을 처리할 수 있도록 한 테스트에서 매우 뛰어난 성능을 보였다고 함.
두 마리 토끼 (동시 처리량과 속도)를 모두 잡았다는 것.
에이전트는 AI 모델에게 계속해서 작업을 요청하기 때문에, 에이전트의 활용이 많아질수록 토큰을 싸게 많이 생성하는 것만큼이나 빠르게 생성하는 게 중요.
그런 점에서 할라피뇨의 성능은 OpenAI에게 매우 중요한 성과.
이번 테스트를 보면, 초대형 AI 모델에서 매우 의미 있는 결과를 보였음.
OpenAI의 오픈웨이트 모델인 GPT-OSS와 DeepSeek R1, Kimi K2.5를 활용해서 테스트를 했는데, GPT-OSS는 엔비디아의 GB200, 나머지 2개 모델은 GB300으로 비교.
가장 큰 모델인 Kimi K2.5에서 엔비디아의 GB300보다 단위전력당 피크 성능이 1.5배, 지연시간은 1/3.4 수준.
OpenAI가 아직 공개하지 않은 초대형 AI 모델을 실행할 때도 우수한 성능을 보였다고 밝힘.
이렇게 작업 부하가 커지고 요구하는 수준이 높아질수록 할라피뇨의 가치가 높아진다는 게 OpenAI의 주장
KB증권은 동 조사분석자료를 기관투자가 또는 제3자에게 사전 제공한 사실이 없습니다. 본 자료를 작성한 조사분석담당자는 해당 종목과 재산적 이해관계가 없습니다. 본 자료 작성자는 게제된 내용들이 본인의 의견을 정확하게 반영하고 있으며, 외부의 부당한 압력이나 간섭 없이 신의 성실 하게 작성되었음을 확인합니다.
작게
보통
크게
