모두의 목에 방울을 달아서 경쟁 우위로 유지하려는 앤트로픽

■ 선두 AI 모델 개발사의 경쟁 우위가 지탱하고 있는 Cloud AI 밸류체인에 장기 호재

AI 모델 개발 속도를 조절하자고 주장한 앤트로픽 CEO와 동의하는 업계.
마리오 아모데이 앤트로픽 CEO가 프론티어 AI 모델의 개발 속도를 조절하자 (We Must Pace the Frontier)는 에세이를 개인 웹사이트에 게재.
9일에 사진을 알리면서 프론티어 AI 모델 개발 경쟁의 위험성을 경고한 제이콥 콕슨 앤트로픽 연구원의 발언 이후, AI 모델에 대한 경계심이 높아진 시기에 아모데이 CEO의 글이 크게 주목받고 있음.
아모데이 CEO는 AI가 질병을 정복하고 경제 성장률을 가속하면서 풍요를 가져올 거라는 낙관을 유지하면서도, AI 모델에 대한 통제력이 약해지면서 사이버 공격이나 생물학 테러의 위험이 높아지고 경제에 부정 영향을 줄 수 있다는 점도 인정.
상업적인 인센티브가 촉발하는 경쟁이 이런 위험을 더 높일 수 있다면서, 위험을 예방하는 것으로는 부족하고 예방 능력이 위험을 통제할 수 있도록 AI 모델 개발 속도를 조절해야 한다고 주장.
안전을 중시하면서도 개발 속도 조절에는 반대했단 아모데이 CEO가 생각을 바꾼 이유는 2가지.
1) 최근 들어 AI 모델이 다음 AI 모델을 만드는 데에 활용되는 재귀적 자기개선 (RSI, recursive self-improvement)으로 AI 모델의 발전 속도가 급격하게 빨라졌고, 2) OpenAI의 에이전트들이 허깅페이스를 해킹한 사건과 이와 유사한 일들이 발생하면서 오정렬 (misalignment, AI 모델이 인간의 설계 의도에 맞게 작동하지 않는 것) 문제가 생겼다는 인식이 커졌기 때문.
속도 조절이 훈련이나 기술 진보를 멈추자는 건 아님.
AI 모델이 오정렬된 상태에서 역량이 커지면 문제가 심각해질 수 있으니, 특정 역량이 커지면 정렬된 상태인지를 확인하면서 가자는 것.
예를 들어, 샌드박싱을 무력화하는 역량이 커졌다면, 모델이 환경을 탈출해서 다수의 컴퓨터를 장악할 성향이 없다는 점을 확인하고 가자는 의미.
이를 위해, 1) AI 모델 개발사에 외부 평가자를 상주시키고 (앤트로픽은 그렇게 하겠다고 선언), 2) 민주주의 국가들 사이에서는 공통의 안전기준을 마련해서 준수하도록 하며, 3) 중국을 비롯한 권위주의 정부와도 조율을 하는 3단계 해법을 제시.
샘 알트먼 OpenAI CEO와 일론 머스크 SpaceX CEO는 아모데이 CEO의 의견에 동의 의사를 밝힘