2화. 거대언어모델이 불러온 패러다임의 변화

○ 거대언어모델의 발전은 AI 산업에서 ‘파운데이션 모델(Foundation model)’이라 불리는 새로운 패러다임을 제시하고 있음

• 파운데이션 모델이란 방대한 양의 데이터를 ‘자기지도학습(Self-supervised learning)⁸’으로 사전 학습한 일종의 ‘범용적인 인공지능 모델’을 의미
  - 과거에는 다양한 문제를 풀기 위해 각각 서로 다른 알고리즘과 모델을 적용한 반면, 파운데이션 모델은 이용하면 하나의 모델로 광범위한 문제를 해결 가능
  
  - 또한 파운데이션 모델은 하나의 예시(One-shot learning) 또는 약간의 예시(Few-shot learning)들만으로도 전이학습(파인튜닝과 같은 추가적인 학습)이 가능하여 다양한 산업군에서 보다 쉽게 적용 가능
  
  - 파운데이션 모델이 보여주는 보편적인 데이터 이해 능력과 대규모 데이터 학습 능력은 인공지능 생태계를 변화시키고 있으며, 최근 유행 중인 GPT, PaLM 모두 파운데이션모델이라는 점에서 당분간 주류 모델로 자리매김할 것으로 전망

○ 파운데이션 모델은 그 생태계를 확장하는 방안으로 다양한 서비스를 구축 중에 있으며, 챗 GPT의 경우 서드파티(3rd Party) 플러그인(Plug-Ins}을 지원할 예정

• 오픈AI가 발표한 플러그인이란 챗GPT에서 외부 서비스를 이용할 수 있도록 도와주는 일종의 확장 프로그램으로, 마치 스마트폰 유저가 특정 앱을 다운받아 쇼핑을 하거나, 호텔을 예약하는 것과 비슷한 역할을 수행

○ 챗GPT 등장 이후 프롬프트¹⁴ 엔지니어링(Prompt engineering)에 대한 많은 연구가 진행¹⁵되는 한편, 이를 전문적으로 수행하는 프롬프트 엔지니어라는 새로운 직업군도 등장

• 프롬프트 엔지니어링은 AI가 최적의 결과물을 도출할 수 있도록, 같은 내용이더라도 다른 방식으로 프롬프트를 작성하는 것을 의미¹⁶
  - ‘앤스로픽(Anthropic)’이라는 AI 스타트업은 연봉 28만 달러~37.5만 달러(3억7천만 원~5억원) 상당의 프롬프트 엔지니어 채용 공고를 냈으며, ‘PromptBase’, ‘ChatX’ 같은 프롬프트 마켓 플레이스도 생겨나고 있음

• 그러나 프롬프트 엔지니어라는 직군이 지속가능할 것인가에 대해서는 다소 회의적
  - 프롬프트 엔지니어가 하는 일은 크게 ▲최소한의 비용으로 최대한 효율적인 답변을 얻는 기술 ▲기업 내부 데이터를 추가적으로 학습시키는 파인튜닝(fine-tuning)으로 나눌 수 있는데, 이는 경험적인 노하우가 중요한 영역
  
  - 초기에는 빠른 기술 습득 및 서비스 론칭 등을 위해 전문가의 도움이 필요할 수 있으나, 향후 일반 사용자들이 경험 축적을 통해 역량이 향상되는 시점이 되면 프롬프트 엔지니어 직군이 사라질 가능성도 있음(이미 프롬프트 엔지니어링을 도와주는 소프트웨어도 출시되기 시작)

○ 아울러 최근 구글에서는 AI 챗봇인 바드(Bard)를 공개하며 챗GPT 독주를 견제

• 구글은 2023년 구글 연례개발자회의(Google I/O)¹⁷에서 과학 및 수학을 주제로 한 광범위한 학습으로 논리와 추론 능력을 대폭 강화한 PaLM2라는 새로운 모델을 소개하며 이를 ‘바드’에 적용했다고 발표¹⁸
  - 특히 ‘바드’의 전 세계 180개국 론칭을 공개하며 영어만을 지원했던 기존 모델과 달리 추가 지원 언어로 한국어와 일본어를 선택했다고 발표¹⁹하여 시장에 큰 반향을 불러일으킴
  
  - PaLM2 역시 파인튜닝으로 도메인²⁰별 추가 학습이 가능하며, 정보보안 관련 데이터를 학습한 Sec-PaLM2, 의학 데이터를 학습한 Med-PaLM2 등도 출시

• 실제 구글은 지난 2월 챗GPT 열풍에 대항하기 위해 급하게 ‘바드’를 공개 시연했다가 특정 질문에 틀린 답변을 내놓은 것이 알려져 AI 성능의 신뢰도에 큰 우려를 낳았으며, 모회사인 알파벳의 시가총액이 하루 새 133조 원이 폭락하는 해프닝도 발생

• 하지만 ‘바드’의 기반 모델을 LaMDA에서 PaLM2로 교체한 이후에는 성능에 대한 긍정적 평가가 주를 이루면서, 챗GPT의 대항마로 급부상하고 있다는 평
  - 또한 챗GPT는 실시간 정보에 대한 답변을 하지 못하는 데 반해, ‘바드’는 실시간으로 인터넷 정보를 가져올 수 있다는 점에서 차별화된다 강점이 있다는 의견이 다수