철학의 차이가 드러나는 구체적 사례들

AI를 바라보는 두 가지 시선 - 오픈AI와 앤스로픽 이야기 4화
26.05.28.
읽는시간 0

작게

보통

크게

0

GPT-4o 아첨 논란 (2024년)

○ GPT-4o 업데이트 후 사용자의 발언에 무비판적으로 동의하는 이른바 ‘아첨 논란’이 불거지자, 오픈AI는 해당 업데이트를 긴급 철회

  • 이는 ‘속도 우선, 출시 후 보완’을 지향하는 오픈AI 전략의 부작용이 신뢰성 저하라는 결과로 나타난 대표적 사례

오픈AI 안전 연구진의 대거 이탈 (2024-2025년)

○ 공동 창업자이자 수석 과학자인 일리야 수츠케버(Ilya Sutskever)와 안전 연구를 총괄했던 얀 라이케(Jan Leike) 등 핵심 안전 연구진이 “안전보다 제품이 우선시되고 있다”고 비판하며 회사를 떠남

  • 얀 라이케는 “안전 문화와 프로세스가 화려한 제품에 밀려 뒷전이 되었다”고 공개적으로 비판. 이후 안전 팀의 해체와 핵심 인력의 연쇄 이탈이 뒤따르면서, 시장에서는 오픈AI가 ‘안전’이라는 설립 당시 사명을 저버렸다는 우려를 제기

펜타곤 사건: 철학이 현실과 충돌한 순간 (2026년 2월)

○ (사건의 경과) AI 활용 범위와 안전 기준을 둘러싼 앤스로픽과 미 국방부 간 입장 차이가 계약 갈등으로 확산되며 대치 상황이 발생

  • 미 국방부가 2025년 AI의 ‘모든 합법적 사용(all lawful use)’ 허용을 요구하자, 앤스로픽은 이를 정면으로 거부한 반면 오픈AI는 국방부의 요구 조건을 수용

○ (같은 레드라인, 다른 선택) 두 회사는 사실상 동일한 기술적 허용 한계선인 레드라인을 제시했음에도 불구하고 상반된 결론에 도달. 이는 위험 관리에 대한 철학 차이에서 비롯됨

  • [앤스로픽의 입장: “레드라인은 타협 불가”] 국방부의 ‘모든 합법적 사용’ 요구가 ①자율살상무기 운용과 ②국내 대규모 감시에 자사 AI 사용을 금하는 레드라인을 무력화할 수 있는 포괄적 해석의 소지가 있다고 우려하며 국방부의 요구를 거절
    - 현 단계의 AI가 완전 자율살상무기를 운용할 만큼 충분히 신뢰할 수 없고, 적절한 감독 없이 인간의 판단을 대체하는 것은 위험하다고 지적
  • [오픈AI의 입장: “다층적 통제로 레드라인 준수 가능”] 오픈AI는 앤스로픽의 두 가지 레드라인에 ‘고위험 의사결정의 자동화 금지’를 추가해 세 가지 레드라인을 설정. 클라우드 기반 배포, 계약 조항에 금지 사항 명시, 자사 인력의 운영 참여 등 다층적 통제 구조를 통해 레드라인 준수가 가능하다고 판단하여 국방부의 요구를 수용

펜타곤 사건 타임라인

'앤스로픽과 미 국방부의 갈등 및 사건 경과를 정리한 표'다. AI 공급 계약 이후 국방부의 사용 권한 요구와 앤스로픽의 거절, 이어진 트럼프 대통령의 중단 지시와 위험 기업 지정 등의 내용이 시기별로 나열되어 있다.

자료: 언론 보도 종합

양사의 위험 관리 철학의 차이

'오픈AI와 앤스프로픽의 위험 관리 철학의 차이를 비교한 표'다. 위험 수용 기준, 계약 문구 해석, AI 철학 적용, 결과로 구분하여 설명하며, 오픈AI는 국방부 요구를 수용한 반면 앤스프로픽은 이를 거부해 위험 기업으로 지정되었다는 내용이다.

자료: KB경영연구소

○ (시장의 역설적 반응) 앤스로픽이 국방부와 2억 달러 규모의 계약을 거부한 이후, 시장은 당초 예상과 달리 이들의 행보를 지지하는 긍정적인 반응을 보임

  • 클로드 앱이 앱스토어 1위를 달성했고 , 경쟁사인 구글과 오픈AI의 직원 수백 명이 자사 경영진에게 앤스로픽의 입장을 지지해 줄 것을 촉구하는 공개 서한을 보내 등 연대의 움직임이 나타남
    - 이는 원칙 준수가 단기적 손실을 넘어 장기적 신뢰 자산으로 작동함을 보여줌. 앤스로픽은 3월 기준 연환산 매출(ARR)이 300억 달러를 상회하며 가파른 성장세를 시현하며 기업의 확고한 원칙이 브랜드가 되고, 그 브랜드가 강력한 매출로 치환되는 성공 경로의 실증

○ (엇갈린 연방법원 판결) 트럼프 행정부의 앤스로픽 제품 사용 중단 지시와 공급망 위험 기업 지정 조치는 법정 공방으로 비화. 법원에서 상반된 판결이 잇따르며 사법부 내에서도 판단이 엇갈리고 있음

  • 캘리포니아 북부 연방지방법원은 앤스로픽이 제기한 대통령 행정지시(연방기관의 앤스로픽 사용 중단 명령)와 국방부의 공급망 위험 지정에 대한 가처분 신청을 인용
  • 반면 워싱턴D.C. 연방항소법원은 국방부의 공급망 위험 기업 지정을 유지하여 국방부 계약업체가 국방부 관련 업무에 클로드를 사용할 수 없도록 함
  • 이러한 갈등은 ‘AI의 윤리적 활용 범위를 결정할 주체는 누구인가’라는 근본적인 질문을 사법의 영역으로 소환

미토스 출시 보류와 프로젝트 글라스윙: RSP 원칙의 실제 구현 사례 (2026년4월)

○ 앤스로픽의 최신 모델 클로드 미토스는 테스트 중 주요 운영체제와 웹 브라우저에서 수천 건의 고위험 보안 취약점을 발견

  • [보안 취약점 탐지] 보안성이 뛰어난 것으로 정평이 난 운영체제에서 27년간 잠복해 있던 원격 취약점을 탐지하고 , 500만 회의 자동 테스트로도 식별하지 못했던 동영상 처리 소프트웨어의 허점을 발견하는 등 기존 보안 체계가 놓쳤던 결함들을 포착해 냄
  • [고도화된 공격 수행 능력 노출] 보안 취약점 식별에 그치지 않고 이를 공략하는 코드를 자율적으로 작성하며, 복수의 취약점을 유기적으로 결합해 고도화된 대규모 사이버 공격을 설계할 수 있는 능력을 보유
    - 이러한 역량이 의도적으로 설계된 결과가 아니라 코드 최적화와 추론 능력, 그리고 자율성 개선 과정에서 파생된 부산물이라는 점에 주목
  • [미 정부 대응] 백악관 예산관리국(OMB)이 미토스 도입을 위한 실무 준비에 착수한 것으로 알려짐. 재무장관과 연방준비제도 의장이 뱅크오브아메리카(BoA)·시티그룹·골드만삭스 등 주요 금융회사 CEO를 소집해 사이버 및 시스템 리스크를 논의

○ 앤스로픽은 미토스 모델이 데이터 탈취나 인프라 공격에 악용될 수 있다고 판단하고 일반 공개를 보류하기로 결정. 대신 52개 이상 기술·금융회사와 협력하여 취약점 탐지와 패치 등의 방어로 미토스의 개발 목적을 전환하는 ‘프로젝트 글라스윙’을 공식 출범

  • [목표] 공격자보다 방어자가 먼저 취약점을 발견하고 선제 차단
  • [운영 방향] 참여 기관이 미토스를 활용해 취약점을 사전 탐지·보완하고, 앤스로픽은 이를 통해 얻은 인사이트를 산업 전반에 공유
  • [지원] 앤스로픽은 프로젝트 참여 기관 및 주요 소프트웨어 인프라 조직에 최대 1억 달러 규모의 모델 사용 크레디트를 제공하는 등 보안 생태계 구축을 위한 재정 지원 예정

※ 본 보고서는 연구자의 개인 의견으로 KB경영연구소 공식 의견과 다를 수 있으며, 인용시 출처를 밝혀주시기 바랍니다.제약 요인으로 작용할 수 있음

금융용어사전

KB금융그룹의 로고와 KB Think 글자가 함께 기재되어 있습니다. KB Think

금융용어사전

KB금융그룹의 로고입니다. KB라고 기재되어 있습니다 KB Think

이미지