2화. 인공지능 반도체의 특성과 시장

홈 경제 경제 심층분석

chatGPT의 돌풍과 인공지능 반도체의 부상

시리즈 총 5화

2023.04.10

읽는시간 4분

인공지능 연산에 효율적인 인공지능 반도체

○ 효과적인 인공지능 구현을 위해 대용량의 데이터를 빠른 속도로 연산을 하는 인공지능 반도체

(정의) 인공지능 반도체는 학습 및 추론 등 인공지능 서비스 구현에 필요한 대규모의 데이터 처리와 연산을 높은 성능과 에너지 효율로 실행하는 반도체로 인공지능의 핵심 두뇌 역할

– 인공지능 반도체는 기존 컴퓨터의 CPU보다 효율적으로 데이터를 고속으로 처리할 수 있도록 특수하게 설계된 반도체로 대용량 데이터를 고속 병력처리하며 전력 소모 최소화

기존 반도체와 인공지능 반도체 비교

기존 '반도체'와 '인공지능 반도체'를 비교한 표.

자료: SK텔레콤 뉴스룸, KB경영연구소 재구성

○ 인공지능 반도체 기술은 예전부터 사용되던 연산용 반도체 기술을 인공지능 연산에 맞게 최적화하는 형태부터 새로운 패러다임 구조를 갖는 형태 등 매우 다양하게 발전 중

인공지능 반도체는 아키텍처 구조에 따라 CPU 및 GPU⁵(1세대), FPGA⁶ 및 ASIC⁷(2세대)에서 기존 시스템 반도체와는 다른 생물학적 뇌를 모사하는 뉴로모픽(3세대)으로 발전 중

인공지능 반도체 발전방향

'인공지능 반도체'의 발전방향을 나타낸 그림.

자료: SK텔레콤 뉴스룸, KB경영연구소 재구성

① CPU 및 GPU(1세대)

– 전통적인 폰 노이만 방식⁸을 따르는 CPU 및 GPU는 범용성 및 낮은 가격, 검증된 기술 등이 장점

– GPU는 연산량이 많은 그래픽 처리 목적의 병력처리 기반 반도체로 딥러닝 등 인공지능 구현에 요구되는 데이터 처리에서 CPU 대비 높은 성능으로 인공지능 발전을 견인

– 다만, 상대적 낮은 에너지 효율 및 폰 노이만 구조에 기반한 낮은 연산 성능으로 chatGPT 학습을 위해서 GPU 2~3만개와 1.28GWh(기가와트시)⁹의 전력 사용을 추정

② FPGA 및 ASIC(2세대)

– (FPGA) 하드웨어를 재설계 하지 않고 용도에 맞게 회로를 재구성 할 수 있는 반도체로 사용 목적에 따라 높은 유연성을 가지는 특징으로 최근 인공지능 구현 기술로 주목

– (ASIC) 특정용도를 위해 제작되는 주문형 반도체를 말하며, 최근 인공지능 알고리즘을 효율적으로 구동할 수 있는 NPU(Neural Process Unit, 신경망처리장치) 등이 출현

③ 뉴로모픽(3세대)

– 전통적인 폰 노이만 구조를 벗어나 인간의 뇌를 모방해 연산 및 데이터 저장, 통신 기능을 융합해 인공지능 반도체 중 가장 높은 연산속도와 에너지 효율을 보이는 가장 진화된 형태의 기술

⁵ GPU(Graphics Processing Unit): 그래픽 처리에 특화된 연산기와 내부구조를 가진 프로세서

⁶ FPGA(Field Programmable Gate Array): 하드웨어를 바꾸지 않고 프로그래밍을 통해 사용자 설계에 맞게 구현이 가능한 반도체

⁷ ASIC(Application Specific Integrated Circuit): 특정 기능이나 응용을 위해 주문 제작되는 프로세서

⁸ 프로그램을 내장하며 저장장치와 메모리, 프로세서를 나눠 데이터의 처리와 저장을 분리한 구조로 인해 데이터의 전송과 처리에 병목현상이 생김

⁹ 미국 가정 120곳이 1년 동안 사용하는 전기량과 비슷하며, 이산화탄소 배출량은 미국 자동차 110대가 1년에 배출하는 양과 맞먹는 수준인 502톤으로 환산

폰 노이만 구조의 데이터 병목현상 개요

자료: 관련자료 종합

인공지능 반도체의 주요 특성 비교

자료: 정보통신기술진흥센터

인공지능 반도체 종류별 주요 특성

'인공지능 반도체'의 종류별 주요 특성 표.

자료: 관련자료 종합

목적에 따른 인공지능 반도체의 구분

○ 인공지능 반도체는 구현 목적과 플랫폼의 분류에 따라 중점적으로 요구되는 특성이 나뉘어짐

(구현 목적) 머신러닝 시스템을 훈련하기 위한 학습용(Training)과 학습을 통해 만들어진 모델을 새로운 입력 데이터에 적용해 실행하고 결과를 출력하는 추론용(Inference)으로 구분

– (학습용) 많은 데이터를 바탕으로 딥러닝 등의 알고리즘을 사용해 지식을 습득하는 초거대 AI 모델에서는 방대한 데이터를 처리하기 위해 높은 Throughput(단위 시간당 처리 연산량)이 가능한 학습용 인공지능 반도체가 필수¹⁰

– (추론용) 학습한 내용을 토대로 AI 모델을 실행하고 결과를 도출하는 추론용 인공지능 반도체는 비용 효율성과 적은 전력 소비, 짧은 Latency(추론 요구 도달부터 수행완료까지 걸리는 시간)가 핵심 특성¹¹

¹⁰ 학습용 하드웨어는 높은 Throughput을 달성할 수 있도록 큰 연산량의 인공지능 반도체(GPU, ASIC)와 이를 뒷받침하는 고성능 메모리로 구성

¹¹ 추론용은 Latency 단축을 위해 학습용 보다 작은 단위의 인공지능 반도체를 사용하며 동일 시간에 처리할 수 있는 연산량이 학습용보다 작기 때문에 메모리에서 공급받을 데이터 양도 적어서 학습용보다 대역폭(Bandwidth)이 작고 저련한 메모리를 사용

인공지능 학습과 추론의 연산 차이

'인공지능 학습'과 '인공지능 추론'의 연산 차이를 설명해주는 그림.

자료: 관련자료 종합

(사용 플랫폼) 사용되는 플랫폼 형태에 따라 데이터 센터의 서버용과 엣지(Edge) 디바이스용으로 구분되어 인공지능 반도체 특성에 따라 적합한 반도체가 결정 될 수 있음

– (서버용) 데이터 센터 서버용 인공지능 반도체는 방대한 데이터를 장시간에 걸쳐 고속으로 처리할 수 있는 병력처리 능력과 안정성 및 에너지 효율 특성이 중요 요소

– (엣지 디바이스용) 다양한 개별 서비스에 특화된 엣지 디바이스용 인공지능 반도체는 빠른 연산속도·초저전력·비용 효율성·경량화·설계 유연성 등이 핵심 경쟁 요소

클라우드 컴퓨팅과 엣지 컴퓨팅의 연산작업 위치 차이 비교

'클라우드 컴퓨팅'과 '엣지 컴퓨팅'의 연산작업 위치 차이를 비교한 그림.

자료: XENOSTACK, SK텔레콤 뉴스룸

인공지능 반도체 시장 변화

○ 인공지능 반도체 시장은 학습용과 추론용이 개별 시장을 이루어 발전할 전망

현재 인공지능 서비스는 데이터 센터의 서버가 학습과 추론을 모두 담당하여 데이터를 분석하여 그 결과를 네트워크를 통해 사용자에게 전송하는 방식
장기적으로는 학습용 인공지능 반도체와 추론용 인공지능 반도체가 별개의 시장을 이루며 발전할 전망

– 학습용 반도체로 인공지능 모델을 고도화하고 이를 추론용 인공지능과 연결해 저전력·저비용으로 인공지능 서비스를 제공하는 모습이 보편화
최근 엣지 컴퓨팅이 주목을 받으면서 이를 지원하는 엣지 디바이스용 인공지능 반도체 시장이 또 다른 성장축이 될 전망

– 데이터센터 서버는 주로 학습용 반도체를 사용하고 엣지 디바이스는 추론용 반도체를 사용하는 방식
인공지능의 활용 확산으로 인공지능 반도체 시장 규모는 2022년 326억 달러에서 2030년 1,179억 달러로 증가될 전망되며, 이는 시스템 반도체 시장 중 31% 비중에 달하는 수준

– 한편, 인공지능 구현에 이상적 기술인 뉴로모픽 반도체 시장은 연평균 24% 성장률을 통해 2027년에는 100억달러 돌파를 예측

인공지능 반도체 시장규모 전망

자료: Gartner(’24년 이후는 KISDI전망)

뉴로모픽 반도체 시장규모 전망

자료: Research & market, IITP

초기 인공지능 반도체로 GPU기반의 하드웨어가 시장을 견인하였으나, 장기적으로 볼 때 향후 인공지능 반도체의 중심은 ASIC으로 옮겨갈 것으로 보임

– 데이터 센터의 학습용 인공지능 반도체로 사용되고 있는 GPU는 높은 전력 소비의 약점으로 점차 사용 비중이 감소하며, ASIC등이 점유율 상승 전망
뉴로모픽은 저전력 및 고속 데이터 처리 특성으로 학습과 추론, 데이터 센터 및 엣지 디바이스의 전 영역에서 활용이 기대되나, 기술의 성숙도와 본격 상용화 시기가 관건

데이터센터의 인공지능 반도체별 비중