가속될 자체 가속기 개발

■ 에이전트의 추론 수요 증가, 중간선거 이후 AI 데이터센터 건설 중단 위험 등에 대응하기 위한 자체 가속기

자체 가속기 배치에 속도 내는 마이크로소프트.
스캇 거스리 마이크로소프트 클라우드/AI 그룹 총괄 부사장은 블로그를 통해, 마이크로소프트의 자체 가속기인 Maia 제품군을 수 GW 규모로 배치해서 자사 제품과 서비스의 주력 추론 시스템으로 사용하겠다고 밝힘.
추론 물량의 대부분을 Maia 300부터 자체 가속기로 옮기고, 학습은 계속 엔비디아와 AMD를 사용하겠다는 계획.
Maia 300은 긴 문맥, 추론형 모델, 여러 단계로 작업하는 에이전트에 맞춰서 설계.
마이크로소프트는 GPU 시스템과 비교했을 때 전력당 토큰 처리량은 40% 개선됐고, Maia 200과 비교하면 랙당 처리량이 최대 7배라고 밝힘



1) 에이전트가 가속하는 추론 수요 확장세.
마이크로소프트가 자체 가속기를 주력 추론 시스템으로 사용하겠다고 밝힌 건, AI 비용의 무게중심이 학습 (training)에서 추론 (inference)으로 빠르게 넘어오고 있기 때문.
특히, 추론은 다단계 작업을 스스로 수행하는 에이전트의 수요가 높아지고 있어서, 이런 수요 변화에 대응할 수 있는 자체 가속기 설계가 필요.
마이크로소프트는 어떤 AI 모델을 어떤 패턴으로 운용하는지를 정확하게 알고 있으므로, 엔비디아 GPU의 범용성을 포기하고 자기 용도에 맞춰서 효율을 끌어 올리는 것에 집중할 수 있음.
실제로 Maia 300은 에이전트 작업 과정에서 추론 병목이 연산보다 데이터 이동에 있다고 보고 데이터 이동을 최소화하는 구조를 채택했고, MXFP4 같은 경량 포맷으로 데이터를 압축하는 방식을 사용.
프론티어 AI 모델 개발에 속도 조절이 필요하다는 주장에 이어, 모델 성능 경쟁이 모델을 골라서 사용하는 라우팅 수요를 높이면서 모델 계층의 주도력을 약화시켰다는 평가에, AI 모델 개발사들이 학습을 통한 AI 모델 성능 극대화보다 하네스와 앱처럼 AI 모델의 수요를 직접 끌어 올릴 수 있는 방향으로 전환하고 있는 것 역시 학습에서 추론으로 무게중심이 이동하는 데에 기여 (9/28 ‘AI Agents: A New Hope for Cloud AI’, 김일혁·안소은)