[윤영숙의 시선] 점수를 공개해도 남는 '독파모'의 질문

모티프 탈락 가른 사용자 평가…합의한 규칙도 패자 납득해야

(서울=연합인포맥스) 정부가 추진하는 독자 인공지능(AI) 파운데이션 모델, 이른바 '독파모' 프로젝트가 또 평가 논란에 휩싸였다. 이번에는 글로벌 AI 종합 성능 지표(AAII)에서 가장 높은 점수를 받은 모티프테크놀로지스가 탈락하면서다.

논란이 커지자 과학기술정보통신부는 지난 27일 늦게 2차 평가 세부 점수를 공개했다. 종합점수는 SK텔레콤이 70.6점으로 1위였고 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점 순이었다.

점수가 공개되면서 모티프가 왜 탈락했는지는 이전보다 분명해졌다. 모티프는 AAII에서 11.9점으로 1위를 차지했고, 한국어 능력과 신뢰성 등을 평가한 NIA 벤치마크에서도 12.7점을 받았다. 벤치마크 합계는 24.6점으로 네 팀 가운데 가장 높았다.

그러나 전문가 평가에서는 27.1점으로 최하위였고 사용자 평가에서도 밀렸다. 공개된 점수를 역산하면 모티프의 사용자 평가 점수는 14.1점으로 SK텔레콤의 19.1점보다 5점 낮다. SK텔레콤과 모티프의 최종 점수 차이가 4.8점이라는 점을 고려하면 사실상 사용자 평가가 당락을 갈랐다.

벤치마크 하나로 AI 모델의 우열을 가릴 수는 없다. 시험 성적이 높다고 실제 서비스에서도 반드시 좋은 모델은 아니다. 전문가와 사용자의 판단을 함께 반영한 정부 평가에도 근거는 있다.

하지만 점수를 공개했다고 논란이 모두 해소된 것은 아니다.

남은 질문은 독파모가 무엇을 뽑기 위한 사업이냐는 것이다. 모티프는 파운데이션 모델의 가치는 챗봇의 편의성보다 여러 산업과 서비스로 확장할 수 있는 기반 성능에서 나온다고 주장한다. 반면 정부는 모델 성능과 함께 실제 사용성과 활용 가능성까지 종합적으로 평가해야 한다는 입장이다.

둘 다 필요한 기준이다. 다만 어느 쪽에 더 무게를 둘지는 사업 목표와 일치해야 한다. 독파모가 글로벌 프런티어 모델 대비 95% 수준의 성능 확보를 목표로 시작됐다면, 기반 성능에서 앞선 모델을 사용자 평가로 탈락시키는 것이 그 목표에 부합하는지 설명할 필요가 있다. 반대로 당장 국민과 기업이 편리하게 쓸 수 있는 서비스형 AI를 뽑으려는 것이라면 그 역시 분명히 해야 한다.

정부는 평가 기준과 방식을 참여 기업들과 사전에 협의했고 당시 이견이 없었다고 밝혔다. 사실이라면 모티프 역시 합의된 규칙에 따라 평가받았다는 점을 부인하기 어렵다. 결과가 불리하다고 이미 동의한 평가 방식을 문제 삼는 것처럼 비칠 수도 있다.

그럼에도 합의가 곧 타당성을 보장하는 것은 아니다. 글로벌 AI 경쟁의 방향과 사업 목표에 맞게 평가 항목과 배점이 설계됐는지는 별개의 문제다. 일반 국민이 파운데이션 모델 자체의 역량과 이를 이용해 만든 챗봇 서비스의 완성도를 구분해 평가할 수 있었는지, 브랜드를 가린 블라인드 평가가 이뤄졌는지도 확인돼야 한다.

독파모의 평가 논란은 이번이 두 번째다. 1차 평가에서는 네이버클라우드가 모델의 '독자성'을 충족하지 못했다는 이유로 탈락했다. 당초 한 곳만 탈락시키려던 계획과 달리 두 곳이 탈락하자 정부는 추가 공모를 마련했지만 네이버와 NC AI는 재도전하지 않았다. 추가 선발된 모티프마저 이번에는 이의를 제기하고 3차 평가 불참을 선언했다.

네이버 때는 독자성, 모티프 때는 기반 성능과 사용성의 비중이 쟁점이 됐다. 구체적인 논점은 다르지만 공통점은 패자가 결과를 납득하지 못하고 경쟁 자체를 떠났다는 것이다.

패자들의 불만을 단순한 불복으로 치부하기는 어렵다. '국가대표 AI' 선발전에서 탈락하면 기술력이 부족하다는 공인된 판정처럼 받아들여질 수 있기 때문이다. 정부가 세부 점수 공개를 꺼린 이유도 탈락 기업의 낙인 효과였다. 그러나 평가 근거를 감추면 낙인이 사라지는 것이 아니라 기업이 반박할 기회만 없어진다. AI 생태계를 키우기 위한 경쟁이 오히려 일부 기업에 '기술 열위'라는 주홍글씨를 남기는 아이러니다.

좋은 평가제도는 점수표를 만드는 데서 끝나지 않는다. 왜 이 항목을 평가하고, 왜 이만큼의 점수를 배정했는지를 설명할 수 있어야 한다. 패자가 졌다는 사실뿐 아니라 왜 졌는지를 받아들이고 다음 경쟁을 준비할 수 있어야 한다.

점수 공개는 필요한 조치였다. 이제 정부가 답해야 할 것은 숫자 너머의 질문이다. 우리가 뽑으려는 '국가대표 AI'는 과연 어떤 모델인가. (산업부 부장)

ysyoon@yna.co.kr