3화. 젠슨 황(엔디비아 CEO)과 일리아 수츠케버(OpenAI 수석과학자) 대담을 통해 알아보는 ‘AI 의 오늘 그리고 내일’

○ 최근 들어 AI는 모든 커뮤니티와 다양한 산업군에 상당한 영향력을 미치고 있음

• 2002년에는 컴퓨터가 학습한다라는 개념이 없었고, 이론적으로도 학습이 가능할지에 대한 확신이 없었음
  - 그럼에도 불구하고 신경망 분야의 전문가 ‘제프리 힌튼(Geoffery Hinton)’ 교수는 사람 뇌 속 의 신경망 구조를 컴퓨터에도 동일하게 적용하는 방법에 대한 연구를 계속 해왔음
  - 초기에는 50~100개의 뉴런과 같은 소규모 신경망에서 0에서 9까지 디지털 숫자를 분류하는 것과 같은 간단한 학습으로 시작함 
• 2012년 이미지넷(ImageNet) ILSVRC이라는 이미지 인식 대회에서 제프리 힌튼 교수팀은 알렉스 넷(AlexNet)³이라는 딥러닝 모델로 압도적인 성능을 선보이며 우승을 차지
  - 당시 기록은 고전적인 이미지 인식 기술로는 더 이상의 진전을 이루는데 한계에 다다 랐던 상황
  - 제프리 힌튼 교수팀은 GPU가 신경망 모델을 학습시키는데 유용할 수 있다는 점에 착 안해 딥러닝 모델링 과정에 적극 활용했고, 결국 믿을 수 없을 정도의 뛰어난 결과를 만들며 세상을 놀라게 했음
  - 요점은 학습 자체가 가능할지 불분명한 상황 속에서 신경망을 통해 학습이 가능하다는 것을 입증했다는 것 

○ 이후 AI 분야는 급격한 발전을 이뤘는데, 특히 OpenAI⁴는 AI가 데이터를 학습하면서 부족한 부분은 사람이 피드백을 주고 이를 반영해 나가는 방식으로 강화학습 모델을 사용함

• 사람이 피드백을 주는 과정에서 실제 사용하는 말투나 문화적인 요소가 반영되면서 더욱 자 연스러운 결과물을 낼 수 있었음
  - 강화학습에 관한 다양한 경험은 예측 불가능한 환경에서 더 정확한 결과값을 찾아나가 는데 큰 도움이 되었으며 향후 ChatGPT 등에도 많은 영향을 끼침
• OpenAI는 내부적으로 강화학습 프로그램을 테스트하기 위해 실시간 전략게임인 도타2 (Dota2) 를 학습한 OpenAI Five를 선보이기도 함
  - 도타2는 빠르게 판단하고 반응해야 승리할 수 있는 상당히 복잡한 게임임에도 불구하 고 OpenAI Five는 나흘간의 경기에서 7,215승 42패 99.4%의 승률을 기록함

○ 며칠 전 공개된 GPT-4의 경우 이미지까지 처리 가능한 멀티모달(Multi-Modal)⁵을 도입하여 세상 을 조금 더 자세히, 그리고 깊게 이해할 수 있도록 설계

• 시각적인 정보로 세상을 배우면 텍스트로 얻기 힘든 더 많은 것을 학습할 수 있으며, 비디오 정보를 학습하면 그 성능이 비약적으로 향상됨을 경험
  - 세상은 시각적인 정보로 채워져 있으며, 인간도 감각의 1/3 가량을 시각에 의존한다는 점에서 시각 정보는 데이터 측면에서 매우 중요
  - 인간은 평생동안 약 10억 개의 단어만을 듣게 됨. 즉, 시각에서 더욱 더 많은 정보를 습득하고 배우는 것
  - 시각적으로 커뮤니케이션 할 수 있다는 것은 매우 강력한 결과를 가져올 수 있는데, 가 령 별도의 설명없이 도표(다이어그램)를 보여주고 설명을 요청할 수도 있을 것 
• GPT-4를 ChatGPT와 비교해볼 때 가장 큰 차이점은 GPT-4가 다음에 올 단어를 더욱 정 확하게 예측한다는 점임. 즉 더 나은 신경망을 가지고 있다는 뜻
  - 예를 들어 추리소설을 읽는다고 했을 때, 복잡한 스토리와 입체적인 등장인물, 명확하 지 않은 단서들로 풀기 어려워 보이던 사건이 최종장으로 넘어가면 사건이 낱낱이 이 해됨과 동시에 단 한 명의 범인으로 “예측”되곤 함
  - 이와 같이 다음 단어를 잘 “예측”한다는 것은 상황에 대한 이해도가 높아진다는 뜻과 같다고 볼 수 있음
• GPT-4의 추론 능력은 아직 명확하게 정의하기 어려우며, 아직은 개발 단계로 봐야함.
  - 현재 선보인 GPT-4는 단순히 ‘성능 좋은 다음 단어 예측기’ 일뿐임. 하지만 이미지를 인식할 수 있고, 다양한 미세 조정으로 더 나은 결과값을 도출해낼 수 있음
  - GPT-4는 객관화된 SAT나 GRE 점수를 통해 매우 높은 성능임을 증명해냈지만, 우리 는 아직 그 잠재력을 완전히 활용하지 못하고 있음
  - 게다가 아직은 할루시네이션(Hallucination:환각)을 보는 것처럼 부정확한 답변 혹은 실제 존재 하지 내용에 관해 답변을 할 때도 있음. 하지만 더 많은 연구와 학습을 통해 세상을 더 많이 이해한다면 충분히 해결 가능할 것으로 믿고 있음

○ 언어모델은 예측이 어렵고 속도가 빠른 영역이긴 하지만 또한 가장 흥미로운 영역이기도 함

• 기술적 진보는 계속될 것이며, 그 진보를 통해 우리는 계속적인 탄성을 자아낼 것
  - GPT-4는 (완벽하지는 않지만) 사용자가 제시한 단어로 시작하는 시를 만들 수 있고, 인 터넷에 떠도는 밈(Meme)⁶을 보여주면 왜 그 밈이 재미있는지 설명도 가능함
  - 우리는 앞으로 인공지능이 더욱 더 신뢰성 높은 대답을 할 수 있도록 개선하는데 집중 할 것