대규모 AI 데이터센터 구축 계획이 나올수록 절실해지는 전력

■ 가속되는 AI 데이터센터 구축.
그럴수록 심각해 보이는 전력 부족.
태양광과 전력 인프라주의 강세 지속 전망

또 다시 대형 계약을 체결한 OpenAI.
OpenAI가 브로드컴으로부터 향후 4년 동안 10GW의 맞춤형 AI 반도체를 구매하기로 합의.
두 회사는 18개월 전부터 OpenAI에 맞는 맞춤형 AI 반도체 개발을 시작했고, 서버 랙과 네트워크 장비와 같은 컴퓨팅 시스템 개발도 협력 중이라고 함.
최근 엔비디아, AMD와도 대규모 GPU 구매 계약을 체결했는데, OpenAI가 3개 회사로부터 구매하기로 한 컴퓨팅 용량은 총 26GW.
미국 최대 도시인 뉴욕시의 여름철 전력 수요 2배 이상 규모.
하지만 이것도 충분하지 않다는 게 샘 알트만 OpenAI CEO의 생각.
알트만 CEO는 2033년까지 250GW의 컴퓨팅 용량을 구축하기 원한다고 밝힌 바 있음



OpenAI가 반도체 제조사들과 대규모의 계약을 체결하는 목적.
1) GPU 구매 비용 감축.
젠슨 황 엔비디아 CEO는 1GW의 AI 데이터센터를 추구하는 데에 500억 달러가 소요된다고 한 바 있음.
이 중 350억 달러는 반도체, 그리고 150억 달러는 인프라 구축 비용.
AI 데이터센터를 짓는 비용의 70%가 반도체라는 의미.
OpenAI는 반도체 회사들과 장기 대형 계약을 체결해서 이 비용을 낮추려고 함.
그리고 엔비디아에 의존하지 않고 AMD, 브로드컴과도 계약을 맺어서 경쟁 구도를 만들고 있음.
대형 고객인 OpenAI를 잡기 위한 가격 경쟁을 유도.
2) 안정적인 GPU 확보.
AI 데이터센터 수요가 급증하면서, 반도체를 충분히 확보하지 못하는 문제가 발생하고 있음.
OpenAI는 이런 구매 계약으로 대규모 물량을 선점해서 충분한 AI 데이터센터 용량을 확보하는 게, AI 서비스 비용을 낮출 수 있는 방법이기도 함.
엔비디아의 범용의 고성능 GPU (GPGPU)를 구매하면서도, 엔비디아에 크게 뒤지지 않는 추론 성능을 갖춘 AMD의 GPU와 OpenAI의 대형언어모형 (LLM)의 성능을 극대화할 수 있도록 브로드컴과 설계한 GPU를 대량으로 구매하는 건, 폭발적으로 증가하고 있는 추론 수요에 대응하려는 목적.
3) AI 데이터센터 구축 속도를 높이고 성능을 최적화.
OpenAI가 3개 회사와 체결한 계약 모두 ‘GPU 몇 개를 사겠다’는 게 아니라, ‘몇 GW 규모의 시스템’과 같은 방식으로 표현.
AI 데이터센터의 전력 소모량으로 표현한 컴퓨팅 용량으로 표현하는 건, 단순히 GPU를 구입하는 게 아니라 이 GPU가 탑재된 완전한 형태의 서버, 네트워크, 냉각 솔루션을 통째로 구입하는 계약이기 때문.
AI 기술 경쟁이 심화되면서 속도가 중요해지는 만큼, 랙 스케일 솔루션 (Rack-scale Solution)을 구매하는 턴키 방식이 속도 면에서 유리.
그리고 GPU 성능만큼이나 GPU 사이의 네트워킹이 중요해졌기 때문이기도 함.
그리고 랙 스케일 솔루션은 액체 냉각 시스템까지 포함하고 있어서, 좁은 공간에 더 많은 서버를 넣을 수 있음.
최근에 발표되는 AI 데이터센터 프로젝트들이 GW급의 고용량으로 나올 수 있는 배경