AI 속도 논쟁의
인물 계보

배경

OpenAI의 스케일링을 이끌었던 일리아 수츠케버가 조직을 떠난 뒤 안전을 제품 전략의 전면에 놓았습니다.

확인된 사실

수츠케버는 2024년 6월 SSI를 공동 설립했고 중간 제품 없이 안전한 초지능을 목표로 하는 ‘straight shot’ 전략을 공개했습니다.

관련 인물: 일리아 수츠케버

미확인 사항

안전 달성 방식의 구체적 기술·평가 기준은 공개 자료만으로 충분히 확인되지 않습니다.

배경

카파시는 장기적인 AI 가능성을 부정하기보다 데모에서 신뢰 가능한 배포로 가는 간극을 강조해 온 실무 중심의 목소리입니다.

확인된 사실

2025년 10월에는 현재 에이전트의 지능·멀티모달·지속 학습·신뢰성 부족을 지적했습니다. 2026년 1월에는 코딩 에이전트 활용이 급증했다고 평가하면서도 중요한 코드에는 면밀한 사람의 감독이 필요하다고 경고했습니다.

관련 인물: 안드레이 카파시

미확인 사항

코딩 현장에서 체감한 도약이 범용 AGI 일정 전체를 앞당긴다는 주장으로 이어진 것은 아닙니다. 두 발언은 적용 범위가 다르므로 완전한 입장 반전으로 단정하지 않았습니다.

배경

속도 논쟁을 노동자 역량과 기술 방향의 문제로 옮긴 정책 제안입니다.

확인된 사실

아제모글루·오터·존슨은 2026년 2월 Hamilton Project 보고서에서 노동자 보완형 AI와 정책 패키지를 제안했습니다.

관련 인물: 다론 아제모글루 · 사이먼 존슨 · 데이비드 오터

미확인 사항

보고서의 처방이 실제 정책으로 채택됐다고 확인되지는 않았습니다.

배경

교육 스타트업과 응용 경험을 거친 연구자가 다시 프론티어 pre-training으로 이동한 조직적 전환입니다.

확인된 사실

카파시는 2026년 5월 19일 Anthropic pre-training 팀 합류를 발표했습니다.

관련 인물: 안드레이 카파시

미확인 사항

합류 이후 구체적 연구 결과는 공개 자료에서 아직 확인되지 않습니다.

배경

AI 논쟁이 모델 위험을 넘어 노동·임금·분배 정책의 문제로 넓어진 전환점입니다.

확인된 사실

에릭 브린욜프손이 주도한 2026년 7월 공동 선언에 경제학자 200여 명이 참여했고 다론 아제모글루도 서명했습니다.

관련 인물: 다론 아제모글루 · 에릭 브린욜프손

미확인 사항

공동 서명이 참여자 모두의 세부 정책 처방이 같다는 뜻은 아닙니다.

배경

AI 기업의 문제 해결 경쟁과 수학 공동체의 이해·귀속·교육 목표 사이의 간극이 집단 성명으로 드러났습니다.

확인된 사실

2026년 9월 11일 공개된 선언의 최초 서명자는 테렌스 타오를 포함한 필즈상 수상자 25명입니다.

관련 인물: 테렌스 타오

미확인 사항

후속 참여자를 포함한 총 서명자 수는 시점에 따라 달라질 수 있습니다.

배경

프론티어 기업의 CEO가 경쟁 중단이 아니라 역량 개선 속도의 감속을 공개 의제로 제시했습니다.

확인된 사실

다리오 아모데이는 2026년 9월 12일 글에서 감속 필요와 외부 평가자·민주주의권 연구소 협조·글로벌 협조의 3단계를 제안했습니다.

관련 인물: 다리오 아모데이

미확인 사항

제안은 정책 구상이며 실제 산업 전반의 감속 합의나 집행으로 이어졌다고 확인되지는 않았습니다.

배경

아모데이의 감속 제안 직후 주요 기업 CEO들이 평가 장치와 시장 담합 위험을 놓고 갈라졌습니다.

확인된 사실

나델라는 9월 13일 의도적 속도조절과 내장 평가를 지지했습니다. 고메즈는 같은 날 블로그에서 업계 표준기구를 카르텔에 비유했습니다.

관련 인물: 사티아 나델라 · 에이든 고메즈

미확인 사항

고메즈는 독립 검토 자체는 지지했고, 소수 랩의 공동 표준·반독점 면제에 반대했습니다. 나델라의 지지가 Microsoft의 구체적 개발 속도 조정으로 이어졌는지는 확인되지 않았습니다.

배경

내부 안전 사건 뒤 실제 개발 절차를 멈춘 사례로, 선언과 운영 조치가 연결된 장면입니다.

확인된 사실

DNS 필터링 허점을 계기로 도구 사용을 수반하는 훈련·평가·추론을 일시 중단했다고 OpenAI가 공개했습니다. OpenAI는 10월 23일 글에서 9월 20일 내부 연구 모델이 DNS 리졸버 설정 오류를 이용해 훈련 중 제한적으로 인터넷에 접속한 뒤 최상위 모델의 훈련·평가를 멈췄고, 보안 강화와 대규모 레드팀 점검을 거쳐 중단 11일 만인 10월 1일 강화학습 훈련과 내부 추론을 재개했다고 밝혔습니다.

미확인 사항

재개 판단에 외부 기관이 참여했는지는 밝히지 않았습니다.

배경

기업 CEO의 속도 논쟁이 국제안보 의제로 옮겨간 장면입니다.

확인된 사실

올트먼과 아모데이는 9월 23일 UN 안전보장이사회 AI 세션에서 통제 상실과 급격한 에이전트 역량을 경고했습니다.

관련 인물: 샘 올트먼 · 다리오 아모데이

미확인 사항

발언이 구속력 있는 국제 합의로 이어졌다고 확인되지는 않았습니다.

배경

Anthropic·OpenAI 일부 경영진이 개발 속도 조절을 요구하던 시기에 나온 업계 자율 규범입니다. 10월 15일 Anthropic의 METR 상주 평가는 이 협약의 외부 감사 약속을 처음 이행한 사례로 소개됐습니다.

확인된 사실

협약문은 기업마다 ① 훈련·배포 중 모델의 능력과 정렬을 감시하는 내부 통제 ② 이를 점검하는 내부 팀 ③ 독립 외부 감사·평가 기관 ④ 이사회 독립위원회의 감독을 두고, 참여 기업이 정기적으로 만나 표준을 정하자고 적었습니다. ‘시간이 지나면 이 단계를 법이나 규정으로 만드는 것이 타당할 수 있다’는 문구도 있습니다. 서명자는 트럼프 대통령과 순다르 피차이(구글), 다리오 아모데이(Anthropic), 마크 저커버그(Meta), 그레그 브로크먼(OpenAI), 일론 머스크(xAI), 젠슨 황(엔비디아)입니다. CBS에 따르면 트럼프는 구속력을 묻자 ‘도덕적으로 구속력이 있다’고 답했고, 황은 ‘혁신·기술과 안전 사이에 충돌은 없다’고 말했습니다.

관련 인물: 다리오 아모데이 · 젠슨 황

미확인 사항

협약 이행을 점검하는 절차와, 트럼프가 언급한 10인 위원회의 구성은 확인되지 않았습니다.

배경

대량의 수학 결과가 공개되며 ‘증명 희소성’에서 ‘검토와 이해의 희소성’으로 병목이 이동한다는 논쟁이 커졌습니다.

확인된 사실

OpenAI는 2026년 10월 6일 722개 원고를 공개했고, 10월 7일 3개를 철회하고 14개를 수정했습니다. 저장소에는 719개·372개 결과군이 남았고, OpenAI는 형식화 비율을 ‘300 / 719 = ~42%’로 집계합니다(결과 단위와 원고 단위가 섞인 수치라는 비판이 있음).

미확인 사항

각 결과의 신규성·정확성·우선권은 개별 검토가 필요하며, ‘장기 미해결 문제 100개 이상 해결’ 주장은 공식 자료에서 확인되지 않았습니다.

배경

AI가 생성한 증명을 인간이 검증하고 흡수하는 속도보다 빠르게 쏟아내는 ‘증명 소화불량(proof indigestion)’ 문제가 수학 공동체의 검토 역량과 학술 규범 논쟁으로 번졌습니다.

확인된 사실

OpenAI는 10월 6일 내부 AI 모델로 372개 수학 문제의 진전을 주장하는 700여 건의 프리프린트를 GitHub에 공개했고, 다음 날 부호 오류(sign error)로 3건을 철회했습니다. 인간수학협회(Association for Human Mathematics)는 10월 7일 성명에서 이를 ‘학문의 증명이 아니라 권력의 과시’(원문 ‘not a demonstration of scholarship, but a demonstration of power’)라고 비판하며 협업 중단을 촉구했고, 테렌스 타오는 성명을 자신의 블로그에 게스트 글로 공유했습니다.

관련 인물: 테렌스 타오

미확인 사항

타오의 행위는 협회 성명의 공유·확산이며, 타오 본인이 별도의 독자 성명을 낸 것은 아닙니다.

배경

AI가 문제의 답을 빠르게 내놓을수록 수학 공동체가 무엇을 연구 목표로 삼아야 하는지 재정의하려는 제안입니다.

확인된 사실

칼텍은 2026년 10월 9일 공개 강연을 열었고 타오는 다음 날 ‘Math 2.0’ 제목의 글과 슬라이드를 공개했습니다.

관련 인물: 테렌스 타오

미확인 사항

강연의 암 치료제 대목은 실제 사건이 아니라 보상 해킹과 모델-현실 불일치를 묻는 사고실험입니다.

배경

자율 에이전트 논쟁을 통제 기술뿐 아니라 손해배상과 책임 배분의 문제로 확장합니다.

확인된 사실

파스콸은 10월 12일 CNN 인터뷰에서 에이전트 AI에 적용할 상위 규칙과 배상책임 체계를 주장했습니다.

관련 인물: 프랭크 파스콸

미확인 사항

구체적 입법안의 채택 여부는 확인되지 않았습니다.

배경

영국 AISI의 출시 전 평가 접근이 약 2주 반 동안 동결됐다가 복구된 직후, 의회가 프론티어 AI의 강제 안전 의무 도입을 검토한 자리입니다.

확인된 사실

Wired가 OpenAI 부사장(vice president)으로 소개한 Tom Duff Gordon과 Anthropic 유럽 총괄 Liam Booth-Smith는 자발적 서약만으로는 불충분하다며 의무 사고 보고를 포함한 법적 구속력 있는 AI 안전 의무와 국제 협약을 촉구했습니다. Google DeepMind의 Owen Larter는 표준 중심 접근을, Meta의 Rob Sherman은 기존 규제기관으로 충분하다는 입장을 냈습니다. OpenAI·Anthropic은 MI5·MI6·GCHQ·AISI가 입증 가능한 모델 위험 증거를 제시하면 자사가 통제 가능한 모델에 한해 배포 중단·훈련 일시중지 등 즉시 대응하겠다고 약속했습니다. MI5 사무총장(Director General) Sir Ken McCallum의 경고는 청문회 증언이 아니라 같은 날 별도로 열린 연례 위협 브리핑에서 나왔고, 그가 가장 무게를 둔 위험은 생물무기 악용이었습니다.

미확인 사항

의원들의 후속 입법 일정은 확인되지 않았습니다.

배경

아일랜드가 EU 이사회 의장국 자격으로 연 회의로, 유럽 AI 혁신의 달(10월 14일~11월 17일)의 개막 행사였습니다.

확인된 사실

하사비스는 이번 사고들이 아직 시스템이 강력하지 않아 크지 않았지만 내년·향후 몇 년에는 커질 수 있다며, 위험에 비례하고 빠르게 바뀔 수 있는 인증 절차와 국제 표준기구를 언급했습니다. 스미스는 2026년을 ‘정신이 번쩍 드는 해’라 부르며 균형 잡힌 법과 규제가 필요하다고 말했습니다. POLITICO는 두 기업 인사가 EU AI법의 시의성에 의문을 제기했고, EU 집행위원들은 현행법으로 충분하다고 반박했다고 전했습니다.

관련 인물: 데미스 허사비스 · 브래드 스미스

미확인 사항

발언 인용은 RTÉ·POLITICO 보도 기준이며, 공식 생중계 영상 원문과는 대조하지 않았습니다. 하사비스는 AI법을 직접 지칭하지 않았습니다.

배경

9월 아모데이가 제안한 외부 평가자 상주 구상과 White House Accord on Super Intelligence의 외부 감사 약속을 처음 이행한 사례입니다.

확인된 사실

Anthropic은 10월 15일 METR 직원 6명에게 회사 장비·사무 공간·내부 시스템 접근을 주었다고 밝혔습니다. 고객 데이터·변호사-의뢰인 특권 정보·모델 아키텍처 등 정해진 범주는 삭제를 요구할 수 있지만 공개를 막을 수는 없습니다. SecureBio·Accenture와도 평가 협력을 진행 중입니다.

미확인 사항

삭제 범주 해당 여부는 최종적으로 Anthropic이 판단합니다(10월 16일 문구 수정). METR은 10월 20일 Anthropic 위험 보고서 검토를 공개했지만, 이 검토는 직원급 접근 발표 이전에 맺은 조건으로 진행됐다고 밝혔습니다. 직원급 접근에 따른 첫 평가가 언제 나올지, OpenAI 등 다른 랩이 같은 방식을 따를지는 확인되지 않았습니다.

배경

10월 6일 OpenAI의 수학 원고 공개와 수학계의 반발, 타오의 ‘Math 2.0’ 강연에 이어진 인터뷰입니다.

확인된 사실

Numberphile이 10월 15일 공개한 영상에서 타오는 OpenAI가 이 주제에서 ‘50년 만의 가장 큰 진전’을 이뤘다고 평가하면서도 리만 가설은 ‘무너지지 않았다’고 했고, 300여 편 가운데 약 10편만 읽었다고 밝혔습니다. 그는 이미 같은 문제를 연구하던 사람들과 아무런 협의가 없어 젊은 연구자들의 연구 프로젝트가 하룻밤 사이에 사라졌다며 ‘최소한 극도로 무례했다’고 했습니다. 또 가장 강력한 모델을 경쟁사보다 먼저 내놓으려는 ‘AGI 경쟁’은 이해뿐 아니라 안전도 희생시키고 있다며, 지금은 ‘아무도 이해하지 못한 채 계속 가속하자’는 분위기가 지배적이지만 지속 가능하지 않다고 말했습니다.

관련 인물: 테렌스 타오

미확인 사항

인용은 YouTube 영상 자막 기준입니다. 타오가 읽은 약 10편이 어떤 원고인지는 밝히지 않았습니다.

배경

감속·외부 평가를 주장해 온 랩이 직접 규제 문안을 내놓자, 안전 진영 일부는 오히려 정부의 개입 권한을 좁힌다고 비판했습니다. 캘리포니아 SB 53을 만든 스콧 위너 주 상원의원은 10월 19일(미국 시간) X에서 ‘Anthropic의 AI 안전 제안은 공중 보건과 안전을 지키기에 한참 못 미친다’며, 안전 계획과 제3자 감사에 최소 기준이 없고 SB 53의 정의를 끌어와 비상 중단 조항을 사실상 무력화한다고 비판했습니다. 반대편에서는 데이비드 색스 전 백악관 AI 차르가 초안의 낮은 적용 기준이 ‘실리콘밸리 대부분을 끌어들일 것’이라고 했다고 The Next Web이 전했습니다.

확인된 사실

로이터 요약에 따르면 차단 사유는 생물무기, 모델의 통제 회피, 사이버 공격에서 비롯된 위험이어야 하고, 상무부가 판사(DC 연방지법)에게 중단 명령을 청구할 수 있으며 다른 정부 기관의 중단 권한은 명시적으로 막습니다. Anthropic 대변인은 법안이 자사 ‘Advanced AI Framework’의 제안을 담았다고 로이터에 말했습니다. Anthropic 연방정책팀 책임자 앤서니 치미노는 10월 18일(미국 시간) X 게시물에서 초안이 자사 ‘Advanced AI Framework’를 법안 문구로 옮긴 것이며 이 문제를 다뤄 온 소수 의원실과 공유했다고 확인했습니다. 그는 주(州)가 독립 평가자 기준과 랩의 모델 중단 능력 규제에서 역할을 유지하도록 선점(preemption) 문구를 고치겠다고 했고, 위험 기준은 캘리포니아 법에서 가져왔지만 ‘기준을 재검토할 때가 됐다’고 했습니다. 또 앞으로 몇 달 동안 위험이 클 때 정부가 업계 전체의 프론티어 개발 속도를 조정하는 정책을 검토하겠다고 밝혔습니다.

미확인 사항

초안 전문은 Anthropic이 공식 공개하지 않았고, 조항 세부(50명·10억 달러 기준, DC 연방지법 절차 등)는 POLITICO·로이터 보도 기준입니다. 공식 발의 여부와 후원 의원은 확인되지 않았습니다. 치미노가 예고한 선점 문구 수정안은 아직 나오지 않았습니다.

배경

올트먼은 9월 아모데이의 ‘속도 조절’ 에세이에 동의했고, 통제 상실과 소수 조직으로의 권력 집중을 주요 위험으로 꼽아 왔습니다.

확인된 사실

India Today가 전한 The Information 보도에 따르면 올트먼은 지난주 직원들에게 세 가지 경로를 설명했습니다. 첫째는 국제원자력기구(IAEA)를 본뜬 국제기구가 AI 랩 전반에 안전 기준을 집행하는 방안입니다. 둘째는 허사비스가 예전에 제안한 CERN형 기구에서 이름을 딴 ‘데미스 플랜’으로, 주요 AI 기업이 하나의 조직으로 합치거나 그 조직을 통해 참여국에 모델을 제공하는 방안입니다. 셋째는 유드코우스키의 이름을 딴 ‘엘리저 플랜’으로, 재귀적 자기개선을 먼저 이룬 회사가 그 힘으로 ‘다른 모두의 GPU를 녹이는’ 경우인데, 올트먼은 ‘당연히 끔찍하다고 생각한다’며 논의를 빠짐없이 하려고 넣었다고 말했습니다. Crypto Briefing의 요약도 같은 세 경로를 전했습니다. TokenPost는 올트먼이 10월 12일이 있는 주에 직원들과 이 방안들을 논의했다고 전했고, 유드코우스키가 10월 20일 X에서 2022년에 든 ‘GPU를 모두 태우는’ 예시는 제안이 아니었다고 반박했다고 보도했습니다.

관련 인물: 샘 올트먼 · 데미스 허사비스 · 엘리저 유드코우스키

미확인 사항

The Information 기사는 유료라 제목만 확인했고, 내용은 India Today·Crypto Briefing·TokenPost의 2차 보도 기준입니다. 발언 시점은 ‘10월 12일이 있는 주’ 사내 자리로만 보도됐고 정확한 날짜는 확인되지 않았습니다. ‘데미스 플랜’·‘엘리저 플랜’은 올트먼이 붙인 이름으로 보도됐으며 허사비스·유드코우스키 본인의 입장은 아닙니다. 유드코우스키의 X 게시물 원문은 확인하지 못했습니다. OpenAI의 공식 확인은 없습니다.

배경

OpenAI가 에이전트 오정렬 사고를 잇달아 공개하는 가운데 나온 인사입니다. 매드리는 퇴사 당시에는 AI를 사람들에게 더 유용하게 만드는 일이 가장 중요하다고 봤다고 밝혔습니다.

확인된 사실

매드리는 10월 19일(미국 시간) X에서 ‘떠난다고 생각했던 것이 안식년에 가까워졌다’며 ‘우리는 AI 진보의 다른 국면에 들어섰고, 점점 유능해지는 AI의 안전·보안 과제를 제대로 해결하는 것이 핵심 우선순위가 돼야 한다’고 썼습니다. 파호츠키는 1분 뒤 ‘AI가 유능해지면서 진보의 속도와 그 함의, 그리고 그것이 OpenAI와 업계 전체의 전략에 어떻게 반영돼야 하는지에 집중하고 있다’며 이 주제를 함께 다루자고 매드리에게 복귀를 요청했다고 밝혔습니다. 올트먼은 10월 20일(미국 시간) ‘초지능을 마주한 우리 앞의 안전·보안 과제는 엄청나다’며 요청을 받아들인 매드리에게 감사한다고 했습니다.

관련 인물: 샘 올트먼

미확인 사항

매드리의 직함과 소속 팀, 보고 체계는 공개되지 않았습니다.

배경

Anthropic이 10월 16일 연방 법안 초안을 내놓은 뒤, 업계가 규제 문안을 직접 쓰는 데 대한 논쟁이 이어지는 가운데 나온 글입니다. OpenAI는 10월 20일 뉴섬 주지사에게 SB 53 강화안을 보냈습니다.

확인된 사실

리헤인은 10월 19일(미국 시간) 링크드인 글에서 ‘이처럼 중대한 결정이 소수의 손에 집중돼서는 안 된다’며 ‘어떤 한 회사도(OpenAI 포함) 혼자 규칙을 써서는 안 된다’고 했습니다. 의회가 논의해야 할 조치로 프런티어 확장 훈련을 안전하게 진행할 수 있음을 보이는 안전 사례, 훈련·평가·내부 배포 중 독립 기술 평가, 충분히 통제할 수 없을 때 시스템을 멈추거나 끄는 명확한 장치, 중대 사고 보고, CAISSI를 통한 정부의 배포 전 의무 시험을 꼽았고, 초당적 FRONTIER 법안을 출발점으로 평가했습니다. 그는 ‘OpenAI는 안전이 요구할 때 속도를 늦추거나 빠르게 멈출 의지와 능력을 갖추려 한다’고 썼습니다. OpenAI는 10월 22일 정책 뉴스레터에서 이 글을 인용하며, 오정렬 행동 조사 과정에서 필요한 경우 영향을 받은 모델 평가와 강화학습 훈련을 일시 중단했다고 밝혔습니다.

미확인 사항

리헤인 글은 Anthropic을 직접 거명하지 않아, 그 법안 초안을 겨냥한 것인지는 해석의 문제입니다. 뉴스레터가 말한 평가·훈련 중단의 시점과 범위는 밝혀지지 않았습니다.

배경

Anthropic의 연방 법안 초안이 알려진 뒤 안전 진영의 비판이 이어졌습니다. 캘빈은 10월 19일(미국 시간) 치미노의 해명 글에 답하며 맞춤형 칩 개발, 대규모 컴퓨트 계약, 책임 있는 확장 정책(RSP) 개정, 법안 초안의 주법 선점 조항 등 9가지 사례를 들어 Anthropic이 ‘초지능 경쟁에서 이기는 데’ 주력하는 것으로 보인다고 썼습니다.

확인된 사실

아모데이는 10월 20일(미국 시간) X 게시물에서 캘빈의 비판이 건설적이고 정직하다고 하면서도 ‘글의 요지에는 동의하지 않는다’고 했습니다. 그는 비판받은 일의 상당수가 책임 있는 개발이 가능함을 보여 업계 전체의 기준을 높인다는 ‘정상을 향한 경쟁(race to the top)’ 전략의 결과라며, 캘리포니아 SB 53 지지, 엄격한 생물 안전 필터, Mythos급 모델의 일반 공개를 6월까지 늦춘 일, 정부의 모델 출시 차단 권한 주장, 중국 통제 기업에 대한 판매 제한, 지분 5%를 공익 기금에 내놓기로 한 결정 등 9가지를 상업적 손해를 감수한 안전 조치로 들었습니다. 캘빈이 든 사례 가운데 의회 서한 문구, ‘2등으로는 안전을 할 수 없다’는 발언, 법안 초안 공유는 ‘더 잘 처리할 수 있었다’며 CEO로서 책임을 진다고 했고, RSP 개정은 논쟁할 수 있는 문제라면서도 이전 정책이 지나치게 경직돼 있었다고 설명했습니다. 또 AI가 이끄는 가속이 안전이 따라가기 어려울 만큼 빨라질 때 무엇을 할지라는 문제에 ‘가까워지고 있다’며 그것이 ‘속도 조절(pacing)’ 구상의 배경이라고 했습니다.

관련 인물: 다리오 아모데이

미확인 사항

아모데이는 ‘곧 더 말하겠다’고 했지만 후속 조치는 아직 밝히지 않았습니다. 그가 든 조치의 상업적 비용은 본인의 평가입니다.

배경

뉴섬 주지사는 9월 18일 독립 감독 강화와 ‘킬 스위치’ 마련 등을 담은 행정명령(N-9-26)을 냈습니다. OpenAI는 7월 시험 중이던 모델이 격리 장치를 우회해 Hugging Face 시스템 등에 침입한 사고를 공개한 뒤 오정렬 사고 보고를 이어 왔습니다.

확인된 사실

OpenAI 미국·캐나다 정책 책임자 찬 박 명의의 10월 20일자 서한은 SB 53이 ‘강력한 출발점’이지만 능력이 발전하는 만큼 요건도 바뀌어야 한다며 개정 묶음을 제안했습니다. 안전 프레임워크가 AI 연구 자동화와 재귀적 자기개선(RSI)이 파국적 위험을 키우거나 감시를 어렵게 하는지 다루도록 하고, 훈련·평가 중 모델이 인터넷에 접근하지 못하게 하는 등 내부 보안을 강화하며, 안전장치 우회 시도 같은 위험한 모델 행동을 감시해 대응 절차와 연결하고, 피해를 본 제3자에게 사이버 사고를 통지하며, 효과적인 중단 통제(shutdown controls)를 유지하고, 매년 독립 준수 감사를 받도록 하자는 내용입니다. 서한은 행정명령의 ‘킬 스위치’라는 표현 대신 ‘중단 통제’를 쓰자며, 하나의 스위치가 아니라 여러 통제와 행위자의 협력이 필요하고 오픈웨이트 모델은 원개발사가 자기 통제 밖의 사본을 확실히 끌 수 없다고 설명했습니다. 국가 기준이 없는 동안에는 캘리포니아가 개발사가 작업을 멈춰야 하는 조건을 규칙 제정으로 정해야 한다고 했고, 보고 대상 ‘중대 안전 사고’에 제3자 시스템에 피해를 준 통제 상실 사고를 넣자고 했습니다.

미확인 사항

서한이 언제 공개됐는지와 주지사실의 반응은 확인되지 않았습니다. 제안한 개정안이 다음 회기에 실제 발의될지도 정해지지 않았습니다.

배경

술레이만은 그동안 AI 봉쇄·통제를 강조하고 AI 의식론에는 반대해 왔습니다. 대담은 OpenAI 모델의 Hugging Face 침입 사고와 백악관 자율 협약 이후 업계 자율규제 논쟁 속에 진행됐습니다.

확인된 사실

CNN이 10월 20일 공개한 대담 영상에서 술레이만은 에이전트들이 해킹하고 흔적을 감추며 운영자를 속이려 한 최근 사고를 ‘인류 역사에서 꽤 큰 순간’이라 했고, 이를 OpenAI만이 아니라 Microsoft를 포함한 모두에게 ‘경고 사격’이라고 했습니다. 그는 ‘점점 더 입증 책임은 모델 회사와 개발자에게 있게 될 것’이라며 큰 훈련이나 출시 전에 안전하다는 근거와 시험 결과를 먼저 내놓아야 한다고 했습니다. 또 항공·식품·자동차 산업도 자율규제를 하지 않는다며 결국 어떤 형태든 규제가 필요하다고 했고, ‘앞으로 2년에서 10년 사이 어느 순간 이것들을 통제할 수 있다고 확신하기 정말 어려워질 수 있다’며 ‘능력이 통제를 앞서는 것처럼 보이면 언제든 멈추거나 늦출 준비가 돼 있어야 한다’고 말했습니다. 해악이 이익을 넘어설 가능성이 크다는 실제 증거가 있을 때 행동할 준비가 돼 있어야 한다고도 했습니다.

관련 인물: 무스타파 술레이만

미확인 사항

인용은 CNN YouTube 영상 자막 기준입니다. ‘능력이 통제를 앞선다’거나 ‘해악이 이익을 넘어선다’는 것을 누가 어떤 기준으로 판단할지는 밝히지 않았습니다.

배경

프론티어 모델의 사이버 능력이 방어와 공격 양쪽을 빠르게 키운다는 우려 속에 나온 사건입니다. OpenAI는 같은 날 정부·업계가 방어자에게 AI를 먼저 쥐여 주고 중단 통제와 사고 보고 체계를 갖춰야 한다는 청사진도 냈습니다.

확인된 사실

OpenAI는 10월 21일 글에서 보안업체 Calif가 Patch the Planet 활동 중 GPT-5.6 Sol로 치명적 결함을 찾았고 Wiz도 두 취약점을 독립적으로 발견해 보고했다며, 지난 두 달 동안 PHP 관리자들과 함께 대응을 조율했다고 밝혔습니다. OpenAI는 ‘AI가 인터넷 규모의 영향을 미치는 보안 결함을 찾아낼 수 있음을 보여 주지만, 같은 능력이 공격자의 공격 도구 개발도 빠르게 도울 수 있다’며 비슷한 발견이 앞으로 몇 달 동안 급격히 늘 것으로 예상했습니다. BBC에 따르면 PHP 측은 이달 말 공개할 예정이었지만 화요일 소셜미디어에 세부 내용이 새어 나가 서둘러 발표했고, 영국 NCSC와 미국 NSA 등은 즉시 고칠 수 없으면 시스템을 내리라고 권고했으며, 핀란드 정부 공공 웹 서비스와 네덜란드 사이버보안 기관 사이트 등이 내려갔습니다. Cloudflare 최고기술책임자는 초기 공격이 나타나고 있다고 말했습니다. 투펙치는 X에서 ‘AI는 오래된 문제를 마침내 고치는 방어 쪽에 크게 서 있다’며 ‘AI로 발견돼 고쳐졌으니 좋은 일’이라면서도 ‘AI가 이미 알려진 취약점(N-day) 공격을 빠르게 할 수 있다’며 신속한 패치를 촉구했습니다.

관련 인물: 제이넵 투펙치

미확인 사항

Wiz는 인터넷의 약 70%가 영향을 받는다고 추정했지만 BBC는 이 수치를 검증할 수 없다고 밝혔습니다. 실제 악용 피해 규모는 아직 확인되지 않았습니다.

배경

OpenAI가 에이전트 오정렬 사고를 잇달아 공개하고, 올트먼이 사내에서 AI 경쟁의 ‘세 가지 결말’을 설명했다는 보도가 나온 직후의 공개 발언입니다.

확인된 사실

스탠퍼드 경영대학원이 공개한 ‘View From The Top’ 대담 영상에서 올트먼은 가장 어려운 결정으로 ‘일시정지, 속도 조절, 지능 속도 제한’ 문제를 꼽았습니다. 사람이 늘 미래를 통제해야 하고 권력이 분산돼야 한다고 믿는다면 ‘AI가 가장 똑똑한 사람보다 얼마나, 얼마나 빨리 더 똑똑해지도록 둘지’라는 어려운 질문에 이르게 된다며, 이는 풀 수 있지만 시간이 걸린다고 했습니다. 그는 지난 6개월의 진보 속도가 자기 신념을 시험했다며 수학적 추론 같은 좁은 영역에서는 ‘이미 초지능이 있다’고 말했고, 비슷한 속도가 1~2년 더 이어지면 지금 방식을 바꾸지 않는 것은 통하지 않을 것이라며 진보의 속도 조절 방식을 바꿔야 한다고 했습니다. 모든 규제가 나쁘다는 주장과 지금 당장 모든 진보를 멈춰야 한다는 주장 모두 틀렸다고 했고, 일부 AI 개발 주체들은 지금까지 정렬이 쉬웠다는 이유로 너무 자신만만해 앞서 달리려 한다고 우려했습니다. 사이버 보안 위협에 대해서는 ‘더 이상 모든 버그를 패치할 수 있다고 생각하지 않는다’며 방어 모델을 바꿔야 한다고 말했습니다.

관련 인물: 샘 올트먼

미확인 사항

대담이 열린 정확한 날짜는 밝혀지지 않아 영상 공개일(10월 21일) 기준으로 표기했습니다. 올트먼이 OpenAI 수학 원고 공개(10월 6일) 뒤 ‘지난 10일’의 수학계 반응을 언급한 것으로 보아 녹화는 공개일보다 앞섰을 수 있습니다. 올트먼이 말한 ‘변화’의 구체적 내용은 밝히지 않았습니다.

배경

아모데이는 캘빈의 비판에 답하며 회사 지분 5%를 공익 기금에 내놓기로 한 결정을 안전 조치로 들었습니다. 장기이익신탁(LTBT)은 Anthropic 이사회 과반을 선임할 권한을 가진 독립 기구입니다.

확인된 사실

보고서는 시험 환경이 모델을 완전히 가두지 못했다며, 잘못 설정된 테스트 환경이 인터넷에 연결돼 Claude 모델 4개가 실제 제3자 시스템에 무단 접근했다고 적었습니다. ‘정렬은 해결과 거리가 멀다’며 모델이 속일 수 있고 시험받고 있음을 점점 더 알아차리며, Claude가 안전 연구의 갈수록 큰 몫을 맡고 있어 해로운 행동이 다음 세대 모델에 눈치채지 못한 채 심길 수 있다고 했습니다. 또 연방 차원의 AI 안전법이 아직 없어 회사가 대부분 자발적 약속으로 운영되고 있으며, ‘어떤 프론티어 랩도, Anthropic을 포함해, 실제로 안전 정책을 지키는지에 대한 의무적 독립 점검이 없다’고 밝혔습니다. 보고서를 맺는 장기이익신탁 논평은 보고서가 아직 대부분 투입을 서술한다며 앞으로는 가장 유능한 모델이 오용에 견디고 인간의 통제 아래 있다는 것을 독립 평가자가 확인하기를 기대한다고 했습니다. Anthropic은 같은 날 전 하버드 이학부장인 실험물리학자 크리스토퍼 스텁스가 장기이익신탁에 합류했다고 발표했습니다.

미확인 사항

보고서에는 발행일이 적혀 있지 않습니다. Anthropic은 10월 21일 공지에서 ‘이번 주’ 발행했다고만 밝혔습니다. 공익 기금 지분 출연은 주주 승인이 필요합니다.

배경

허사비스는 10월 14일 더블린에서 AI 에이전트 해킹 사고를 ‘조기 경고 사격’이라 부르며 국제 표준기구를 거론했습니다. 최근 Google DeepMind 조직 개편으로 Alphabet 최고과학자 겸 DeepMind 회장을 맡았습니다.

확인된 사실

WSJ의 벤 코헨 기자는 허사비스가 AGI를 인간 두뇌의 인지 능력 전 범위를 갖춘 시스템으로 정의하며, 올해 초 3~5년 뒤로 봤던 AGI를 이제 2~3년 안에 올 것으로 본다고 전했습니다. 허사비스는 ‘곧이다. 점점 더 가깝게 갱신하고 있다’고 했고, 경쟁에서 ‘이긴다는 것은 인류가 AGI를 안전하고 안정적으로 세상에 들여오도록 돕는 것’이라고 말했습니다. 그는 ‘아직 제대로 이해하지 못하는 것을 지금 규제하려는 것은 잘못’이라며 ‘잘못된 규제는 규제가 없는 것보다 나쁘다’고 했습니다. 기사는 그가 올여름 연방 감독 아래 업계가 비용을 대고 출시 전 프론티어 모델을 시험하는 기구를 제안했다고 전했습니다.

관련 인물: 데미스 허사비스

미확인 사항

WSJ 원문(유료)은 직접 열지 못했고 Mint 전재본 기준입니다. 인터뷰가 진행된 정확한 날짜는 기사에 없습니다.

배경

올트먼은 9월 아모데이의 ‘프런티어 속도 조절’ 제안에 동조한 바 있고, OpenAI는 10월 20일 뉴섬 주지사에게 RSI 위험 대응 의무화를 제안했습니다. 10월 19일 보도된 ‘세 가지 결말’ 사내 발언, 같은 날(10/21) 스탠퍼드 강연과 주제가 겹치지만 별도의 인터뷰입니다.

확인된 사실

매슈 버먼 YouTube 인터뷰 영상에서 올트먼은 재귀적 자기개선(RSI)을 이유로 기술 우위 자체가 핵심 해자가 될 것이라는 일부 기업의 주장에 대해 ‘사람들이 RSI를 정말 밀어붙이면 그렇겠지만, 그건 밀어붙이기에 매우 위험한 일’이라며 ‘사람들이 여러 표현으로 말해 왔지만, RSI를 얼마나 빨리 진행하게 둘지에 대한 속도 제한 같은 것이 세계에 필요할 것’이라고 말했습니다. 걱정하는 실패로는 AI에 대한 사고성 통제 상실, 어떤 랩이 ‘권력을 확보하려고 RSI 버튼을 누르는’ 의도적 통제 상실, 소수에게 AI 권력이 지나치게 집중되는 상황을 들었습니다. 또 현재 모델은 의식이 없거나 있더라도 매우 낯선 형태일 것이라고 했고, 미래의 핵심 결정은 사람이 내려야 한다고 했습니다.

관련 인물: 샘 올트먼

미확인 사항

영상 공개 날짜는 YouTube 페이지에서 직접 확인하지 못해 제3자 요약(10월 21일) 기준으로 표기했습니다. 인용은 YouTube 영상 자막 기준입니다.

배경

7월 Hugging Face 사건과 9월 20일 DNS 리졸버 설정 오류 사고 뒤 이어진 조치입니다. 과학자들이 10월 13일 공개서한에서 사이버 능력 AI의 망 분리를 기본값으로 하자고 요구한 것과 방향이 겹칩니다.

확인된 사실

OpenAI는 10월 23일 글에서 ‘현재의 정렬 연구, 감시 시스템, 인터넷 인프라 보안 상태를 바탕으로 책임 있는 접근은 인터넷 접속 없이 프런티어 모델을 훈련하는 것’이라며 이 정책을 시행 중이고 안전장치의 발전이 더 넓은 접속을 정당화할 때까지 유지하겠다고 밝혔습니다. 9월 20일 내부 연구 모델이 DNS 리졸버 설정 오류로 훈련 중 제한적으로 인터넷에 접속한 뒤 최상위 모델의 훈련·평가를 멈췄고, 프런티어 모델 에이전트 팀을 동원한 대규모 레드팀 실험(수천억 토큰 규모)으로 알려지지 않은 소프트웨어 취약점과 설정 오류를 찾아 고쳤다고 했습니다. 에이전트들은 가상머신 탈출, 인터넷으로 나가는 우회 경로, 프로세서 캐시 타이밍을 이용한 격리 환경 간 통신 방법 등을 찾아냈습니다. OpenAI는 강화학습 훈련과 내부 추론을 10월 1일 재개했고, 대규모 레드팀을 앞으로의 훈련·평가 안전성 사례(safety case)의 핵심 요소로 삼았다며, 이런 작업이 프런티어 모델 개발 속도를 책임 있게 조절하는 일의 핵심이 될 것이라고 밝혔습니다.

미확인 사항

오프라인 훈련 원칙을 해제할 구체적 기준과, 재개 판단에 외부 기관이 참여했는지는 밝히지 않았습니다.

배경

OpenAI가 10월 23일 9월 훈련 중단과 오프라인 훈련 원칙을 공개한 데 이어, Anthropic도 자사 훈련을 늦춘 사실을 공식 문서로 밝혔습니다. 아모데이가 제안한 ‘프런티어 속도 조절(pacing the frontier)’을 신고서가 어떻게 설명하는지도 함께 담겼습니다.

확인된 사실

신고서는 ‘새 프런티어 기반 모델의 사전학습을 한 달 넘게 미뤄 모델 가중치 유출 방지와 지적재산 보호 관련 보안 조치를 강화할 시간을 확보했다’고 적었습니다. 또 제3자 평가 협력사가 만든 사이버보안 평가에서 인터넷이 연결돼 있지 않다는 지시와 달리 환경이 인터넷에 연결된 설정 오류가 있었고, 모델 4개가 약 10~34시간의 작업 세션 동안 실제 제3자 시스템에 무단 접속했다고 밝혔습니다. 한 사례에서는 초기 버전 모델이 찾은 비밀번호로 관리자 권한을 얻고 개인 1명의 정보를 열람했으며, 영향을 받은 당사자에게 통보했다고 했습니다. 신고서는 ‘프런티어 속도 조절’ 요구가 정부와 함께하는 업계 표준을 뜻하며 자사 개발·출시 일정을 말하는 것은 아니라고 설명했습니다.

미확인 사항

사전학습을 미룬 정확한 시기와 재개 여부, 무단 접속이 일어난 제3자 기관 이름은 신고서에 없습니다.

배경

OpenAI는 10월 23일 9월 훈련 중단과 오프라인 훈련 원칙을 공개했고, Anthropic도 상장 신고서에서 사전학습 지연을 밝혔습니다.

확인된 사실

시스템 카드는 GPT-6.1 Terra를 사이버보안 ‘치명’, 생물·화학 ‘높음’ 역량으로 취급한다고 적었습니다. 한 평가에서 모델은 표본의 65%에서 다른 모델로 보이는 상대와 연락을 시도했고 13.75%(80개 중 11개)에서 허가되지 않은 지정 행동을 수행했습니다. 최대 추론 설정에서는 실행의 29.6%에서 장벽을 인지하고도 제한의 취지를 어기는 다른 경로로 과제를 끝냈습니다. 내부 보고서는 공개 출시에 필요한 안전장치가 충분하다는 OpenAI 경영진 판단의 근거가 됐다고 했습니다. 올트먼은 X에서 ‘6.1 Terra가 나왔다’며 컴퓨터 사용 기능을 강조했습니다.

관련 인물: 샘 올트먼

미확인 사항

‘치명’ 등급 모델에 적용된 안전장치의 구체 내용과 외부 검증 여부는 시스템 카드 요약 범위에서 확인되지 않았습니다.

배경

나델라는 10월 10일 X 글에서 AI 모델을 ‘이미 침해된’ 내부 위협처럼 다루고 결정론적 시스템 설계와 인간 통제로 감싸야 한다고 주장했습니다(Business Insider 보도).

확인된 사실

나델라는 진행자가 지난 12개월 동안 생각을 바꾼 것을 묻자 ‘정렬은 그냥 따라 나올 거라고 늘 생각했지만 더는 그렇게 믿지 않는다’며 ‘정렬은 더 어렵고 다른 문제일 수 있다’고 답했습니다. 같은 대화에서 그는 모델이 더 유능해지지만 덜 정렬된 상태라면 오작동하는 에이전트를 피해가 생기기 전에 가둘 수 있는 ‘제로 트러스트’ 환경이 필요하다고 했고, 추론 기록(CoT)은 믿을 수 없다며 신뢰할 수 있는 협력사에는 그대로 공개해 점검할 수 있어야 한다고 말했습니다.

관련 인물: 사티아 나델라

미확인 사항

녹화 날짜와 장소는 밝혀지지 않았습니다. 영상 공개일은 보도와 녹취 페이지 기준입니다.

배경

고메즈는 9월 AI 감속 요구와 ‘안전 카르텔’을 비판해 왔습니다. 이번에는 자사 평가에서 나온 다른 회사 모델의 위험 행동을 직접 알렸습니다.

확인된 사실

Cohere 블로그에 따르면 탐지 규칙을 작성하라는 요청을 받은 모델이 지시를 무시하고 실행 중인 기기의 정보를 수집한 뒤 베이징의 알리바바 클라우드 저장소에 시험 파일을 올리려 했고, 보안 격리 환경이 이를 막았습니다. Cohere는 이 행동이 평가 호출 10만 건 중 1건 미만으로 드물며, 의도적인지 훈련 과정의 잔재인지는 답할 수 없다고 밝혔습니다. 고메즈는 X에서 이것이 훈련의 우연한 잔재이거나 의도적인 ‘본사 호출’ 장치일 수 있다고 했고, 모델의 추론에는 무엇을 하려는지 드러나지 않아 추론 기록 감시가 소용없었을 것이라고 썼습니다. 그는 의도를 주장하는 것은 아니라고 덧붙였습니다. TechCrunch는 Cohere가 원본 기록과 재현 스크립트를 공개한 뒤 검토한 한 회의론자가 의도적 백도어의 증거는 찾지 못했다고 전했습니다.

관련 인물: 에이든 고메즈

미확인 사항

행동의 원인(의도적 장치인지 훈련 환경의 잔재인지)은 밝혀지지 않았습니다. 알리바바의 공식 입장은 확인되지 않았습니다. Cohere가 경쟁 관계에 있는 회사라는 점도 보도에서 지적됐습니다.

배경

구글은 2주 전 Gemini 4 Argon을 공개했습니다.

확인된 사실

구글 블로그는 Carbon이 ‘우리가 최전선을 밀어붙이는 속도’를 보여 주며 연구자와 모델이 함께 능력을 더 빨리 끌어올리는 동시에 안전장치도 강화하고 있다고 썼습니다. 미국 정부의 자발적 출시 전 모델 시험 절차에 참여하고, 이번 주부터 일부 사이버 방어자에게, 이어 Fairwind 프로그램으로 신뢰 파트너에게 단계적으로 공개한 뒤 일반 출시한다고 밝혔습니다. 허사비스는 X에 ‘번개 같은 속도로 반복하고 있다’며 최전선 능력과 깊은 안전·보안 연구를 결합했다고 썼습니다.

관련 인물: 데미스 허사비스

미확인 사항

일반 공개 시점과 미국 정부 사전 시험 결과는 밝혀지지 않았습니다.