구글 ‘터보퀀트’ 공개, AI 메모리 효율을 높이는 새 압축 기술 부상
- 현지시간 25일 구글 리서치는 새로운 AI 압축 알고리즘 ‘터보퀀트’를 발표
- 터보퀀트는 AI 모델의 메모리 사용량을 줄여주는 데이터 압축 알고리즘 방식. 거대언어모델(LLM)이 문맥을 기억하는 KV 캐시의 메모리 사용량을 최소 6분의 1 수준으로 압축하고 모델의 정확도를 완벽하게 유지할 수 있는 것으로 알려짐
- 또한 구글은 해당 기술이 기존 알고리즘보다 더 적은 오류로 데이터를 압축할 수 있고, AI 처리 속도도 8배 높인다고 설명
- LLM은 대화가 길어질수록 이전 맥락을 유지하기 위해 막대한 메모리를 사용. 하지만 터보퀀트를 사용하면 방대한 데이터를 그대로 저장해야 했던 기존과는 달리 의미를 유지한 채 압축된 형태로 저장해 동일한 성능을 구현하는 게 가능하다는 것
- 이 같은 기술 발표 이후 글로벌 반도체 기업들의 주가가 큰 폭 하락
