On-device/premises AI와 Physical AI로 향하는 시장의 방향

■ 메모리가 희소해지면서 빨라질 AI 기술 변화

메모리 반도체 수요 증가 속도를 낮추려는 엔비디아의 대응.
1) 6월 4일, 엔비디아가 Vera Rubin NVL72의 CPU에서 SOCAMM (저전력 DRAM (LPDDR5X)을 서버에서 쓸 수 있게 만든 탈착식 메모리 모듈)의 기본 구성을 192GB에서 96GB로 낮추면서, 랙당 SOCAMM 용량이 55TB에서 28TB로 낮아질 수 있다고 SemiAnalysis가 보도한 바 있음.
GPU의 HBM4 용량은 20.7TB로 기존 전망을 유지.
2) 6월 10일에는 2027년 메모리 3사의 예비 생산 배분 계획을 바탕으로, 엔비디아가 필요한 LPDDR5X의 약 60% 밖에 확보하지 못할 거라는 TrendForce의 분석이 있었음.
3) 어제, GF Securities의 애널리스트가 SemiAnalysis보다 한 발 더 나아간 전망을 제시.
VeraVera CPU 랙도 CPU당 192GB 모듈 8개 (1.5TB)가 아니라 96GB 모듈 8개 (768GB)로 출하될 거라고 전망.
Vera CPU 랙은 GPU 없이 Vera CPU만 최대 256개 집적한 랙.
Vera CPU 36개와 Rubin GPU 72개로 구성된 Vera Rubin NVL72이 랙당 28TB의 LPDDR5X를 탑재하는 데에 비해, Vera CPU 랙은 랙당 200TB의 LPDDR5X를 탑재.
엔비디아의 공식 문서에도 Vera CPU 랙은 SOCAMM LPDDR5X를 최대 400TB 탑재할 수 있는데 (Up to 400 TB² SOCAMM LPDDR5X), 권장 구성은 200TB라는 각주 (200 TB recommended config)가 달려 있음.
200TB는 256개의 CPU 각각에 768GB를 탑재하면 196.6TB이므로, 최대 탑재 가능량의 절반 정도가 표준으로 권장된다는 걸 보여주는 걸 수 있음.
그리고 AI 랙뿐만 아니라, 일반 서버도 메모리 스펙을 절반 정도로 낮추는 중이라고 주장.
일반 서버에는 DDR5 기반 RDIMM (표준 서버 모듈)과 MRDIMM (대역폭 강화형 차세대 모듈)가 탑재되는데, 탑재 메모리 용량을 낮추면서 서버 출하를 늘리려는 목적.
따라서 2~3분기에는 일반 서버 출하가 크게 늘지 않지만 4분기에는 전분기 대비 20~30% 늘어날 거라고 전망