H200

NVIDIA H200 Tensor Core GPU

엔비디아(NVIDIA)가 호퍼(Hopper) 아키텍처를 기반으로 설계한 생성형 AI 및 거대언어모델(LLM) 특화 고성능 GPU다. 업계 최초로 HBM3e(5세대 고대역폭메모리)를 탑재하여 데이터 처리 속도의 물리적 한계인 '메모리 장벽(Memory Wall)'을 돌파한 모델로, 기존 H100 대비 메모리 용량과 대역폭을 획기적으로 확장한 것이 특징이다.

141GB HBM3e 메모리와 초당 4.8TB의 대역폭을 갖춰, H100(80GB, 3.35TB/s) 대비 용량은 76%, 대역폭은 43% 증가했다. 이를 통해 MLPerf 벤치마크 기준 Llama 2 (70B) 모델의 추론 속도가 H100 대비 45% 향상(31,712 토큰/초)되었으며, 메모리 집약적 HPC 워크로드에서는 x86 CPU 대비 최대 110배의 성능 개선을 입증했다.

한국 정부는 2025년 1차 추경(1조 4,600억 원)을 통해 확보한 국가 AI 컴퓨팅 인프라의 핵심 자원으로 H200을 채택했다. 네이버클라우드·NHN클라우드·카카오가 주관 사업자로 선정되어 총 1만 3,000장 규모(B200 1만 80장 + H200 3,056장)를 구축 중이며, 이 중 정부 활용분 1만 456장이 오는 2026년 2월부터 산학연에 본격 배분되어 '소버린(Sovereign) AI' 생태계의 중추 역할을 수행한다.