엔비디아가 GTC 2026에서 보여준 3가지

■ Agentic AI 시대를 앞당길 엔비디아.
더 전향적으로 제고해야 할 AI의 발전 속도에 대한 전망들

1) 추론 효율성.
소비자가 원하는 고품질의 상품을 싸게 많이 생산하는 게 제조업 경쟁력이라고 본다면, AI 산업의 경쟁력은 소비자가 원하는 고품질의 토큰을 적은 비용으로 빠르게 생산하는 것.
토큰 품질은 AI 모델 개발사의 몫이지만, 단위 와트당 더 많은 (적은 비용으로 빠르게) 토큰을 생성할 수 있도록 하는 건 하드웨어 기업의 몫.
그런 점에서 엔비디아는 토큰을 빠르게 쏟아내야 하는 추론 시장에서 경쟁력을 갖추고 있다는 걸 보여줌.
엔비디아는 작년 12월에 그록 (Groq)의 기술 라이선스를 간접 인수 방식으로 확보.
이를 바탕으로 제작한 그록 3 LPU는, 그래픽 처리에 특화되어 제작됐지만 LLM 학습과 추론에 사용되고 있는 GPU와는 달리, LLM의 추론만을 위해 설계된 반도체.
DRAM보다 빠른 SRAM을 내장해서 매모리 대역폭이 확대됐고, 메모리 병목 현상이 제거되면서 실시간에 가까운 토큰 생성 속도를 구현.
황 CEO는 그록 3 LPU가 베라 루빈 플랫폼에 통합되면서, 조 단위 파라미터급 모델의 추론 처리량이 기존 대비 35배 향상됐다고 함.
클러스터 내에 저지연, 프리미엄 가격 토큰 생성 부분이 전체 컴퓨팅의 약 25%를 차지해야 한다고 했는데, 엔비디아는 그록 3 LPU를 GPU의 대체재가 아니라 클러스터에서 추론을 담당하는 역할을 하도록 설계해서 추론 성능을 대폭 강화.
그록 3 LPU는 삼성전자 4나노 공정에서 생산.
그록 3 LPX는 그록 3 LPU 256개와 128GB 온칩 SRAM을 탑재한 랙인데, 대량의 LPU가 들어간 LPX 랙을 제작해야 하므로, 단가가 높고 수율이 충분히 올라오지 않은 2나노 공정보다 수율이 검증된 4나노 공정에서 LPU를 대량 생산하겠다는 게 엔비디아의 전략.
추론 시장에서 경쟁력을 갖춘 구글의 TPU나 아마존의 Inferentia처럼, 추론에 특화된 자체 설계 반도체와의 경쟁은 더욱 가열될 전망.
추론 속도가 높아지면서 단위 비용이 낮아지면, AI 수요는 더욱 빠르게 증가할 전망.
AI의 발전과 확산 속도에 대한 전망을 더욱 전향적으로 제검토해야 함