KT, AI 모델 500개 통합한 '토큰팩토리' 공개…비용 최대 25% 절감

모델 자동 선택부터 사용량·과금까지 통합 관리…30일 출시

오픈라우터와 국내 첫 파트너십…기업용 시작해 B2C 확대

(서울=연합인포맥스) 윤영숙 기자 = KT[030200]가 국내외 500개 이상의 인공지능(AI) 모델을 하나의 플랫폼에서 이용하고, 토큰 사용량과 비용까지 통합 관리할 수 있는 서비스를 선보였다.

KT는 27일 종로구 광화문 웨스트(West) 빌딩에서 AI 모델 선택부터 비용 관리, 보안 기능까지 제공하는 통합 AI 플랫폼 'KT 토큰팩토리(Token Factory)'를 공개했다.

토큰팩토리는 업무 목적과 비용, 보안 요구사항에 따라 다양한 AI 모델을 선택하고, 이용량과 비용을 한곳에서 관리할 수 있도록 설계된 플랫폼이다.

토큰은 AI가 질문을 이해하고 답변을 생성하는 과정에서 처리하는 기본 단위로, AI 이용량과 비용을 산정하는 기준이다.

KT는 자체 개발한 AI 모델 라우팅 기술인 '오토 모델 라우터(Auto Model Router)'를 적용해 업무 유형과 난이도에 따라 최적의 AI 모델을 자동으로 선택하도록 했다.

단순 업무에는 경량 모델을, 복잡한 분석에는 고성능 모델을 배정해 품질을 유지하면서 비용을 줄이는 방식이다.

KT에 따르면 해당 기술은 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 'RouterArena'에서 종합 1위를 기록했다.

한국어 특성을 고려한 프롬프트 압축 기술도 적용했다. 질문의 의미와 응답 품질을 유사하게 유지하면서 불필요한 표현을 제거해 입력 토큰을 줄이는 기술이다.

KT는 이들 기술을 활용하면 AI 토큰 사용량을 최대 25% 절감할 수 있다고 설명했다.

데이터 주권과 보안 기능도 강화했다.

KT는 국내 데이터센터에서 자체 AI 추론 서비스를 제공해 해외 AI 서비스 이용에 따른 데이터 유출 우려를 줄일 계획이다.

자체 AI 모델과 국내외 오픈웨이트 모델 등을 국내 인프라에서 운영하고, 개인정보와 민감정보 등을 점검하는 자체 가드레일 기술도 적용했다.

KT는 글로벌 AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)와 국내 최초로 공식 파트너십도 체결했다.

이를 통해 500개 이상의 글로벌 AI 모델을 확보하고, 국내에서 제공하는 AI 모델의 해외 유통도 추진할 예정이다.

KT는 오는 30일 토큰팩토리를 정식 출시하고 기업 고객을 대상으로 우선 서비스를 제공한다. 향후 개인 고객(B2C)으로 서비스를 확대하고 글로벌 시장 진출도 추진할 방침이다.

ysyoon@yna.co.kr