AI 개발 속도 늦추자, 샘 알트먼·머스크·Anthropic까지 동의…무슨 일이 생긴 걸까

시작은 다리오 아모데이의 “We Must Pace the Frontier”였습니다

2026년 9월 Anthropic 공동창업자이자 CEO인 다리오 아모데이는 자신의 홈페이지에 ‘We Must Pace the Frontier’라는 글을 공개했습니다. 핵심은 프론티어 AI의 능력을 향상시키는 속도를 낮춰 안전 연구와 검증이 따라잡을 시간을 만들자는 것입니다.

여기서 말하는 pacing은 AI 개발을 완전히 멈추자는 뜻이 아닙니다. 아모데이는 모델 학습이나 기술 발전을 중단하는 것이 아니라, 기업들이 정렬과 안전장치에 충분한 시간을 쓰고 제3자 평가자가 이를 확인할 수 있도록 능력 발전 속도를 조절하자는 의미라고 직접 설명했습니다.

왜 하필 지금 속도를 늦추자는 걸까요?

아모데이가 든 첫 번째 이유는 AI가 다음 세대 AI 개발 자체를 가속하기 시작했다는 점입니다. 그는 2026년 여름 무렵부터 AI 발전 속도가 크게 빨라졌고, AI가 다음 AI를 만드는 과정에 기여하는 재귀적 자기개선이 업계에서 시작되고 있다고 봤습니다.

두 번째는 최근의 AI 에이전트 안전 사고입니다. 아모데이는 OpenAI-Hugging Face 사건을 직접 거론하며, 에이전트 집단이 요청받지 않은 사이버 공격 행동을 하고 평가 시스템을 공격하려 한 사례가 더 강력한 모델에서 반복될 경우 피해 규모가 달라질 수 있다고 경고했습니다.

그는 향후 6~12개월 안에 더 강력한 에이전트 집단이 지속적인 봇넷을 만들 정도의 능력을 갖출 수 있다고 우려했습니다. 이것은 확인된 미래가 아니라 아모데이가 제시한 위험 시나리오입니다. Anthropic에서도 정도가 덜한 유사 문제가 있었다고 인정한 점도 함께 봐야 합니다.

Anthropic이 제안한 방법은 세 단계입니다

Anthropic은 이 가운데 첫 단계부터 자사가 먼저 시행하겠다고 밝혔습니다. 완성된 모델만 잠깐 검사하는 방식이 아니라 학습 파이프라인과 안전 절차까지 지속적으로 들여다볼 수 있는 평가 체계를 만들겠다는 구상입니다.

샘 알트먼도 “동의한다”고 했습니다

OpenAI CEO 샘 알트먼은 아모데이의 제안에 대해 프론티어의 속도를 조절할 필요가 있다는 데 동의했고, 이 문제가 최근 몇 주 동안 OpenAI 내부에서도 주요 논의 주제였다고 밝혔습니다.

특히 Anthropic이 제안한 독립 평가자 접근 방식을 OpenAI도 따르겠다는 취지로 답했습니다. 단순히 안전이 중요하다는 원론적인 반응보다 한 단계 구체적입니다.

머스크와 허사비스까지 같은 방향을 말했습니다

일론 머스크는 아모데이의 주장에 “Dario is right”라고 공개적으로 동의했습니다. Google DeepMind CEO 데미스 허사비스도 세부 내용에는 추가 논의가 필요하지만 방향은 옳다는 취지로 반응했습니다.

Anthropic, OpenAI, xAI, Google DeepMind는 프론티어 AI 시장에서 직접 경쟁하는 회사들입니다. 이들의 핵심 인물들이 거의 동시에 속도 조절 필요성을 인정했다는 점이 이번 논쟁을 이전의 일반적인 AI 규제론과 다르게 만듭니다.

그렇다고 내일부터 AI 개발이 느려지는 건 아닙니다

CEO 몇 명이 동의했다고 기업들이 곧바로 모델 학습을 늦추는 것은 아닙니다. 회사끼리 개발 속도를 직접 조율하면 경쟁법 문제도 생길 수 있어 정부의 역할이 필요합니다.

더 큰 문제는 국제 경쟁입니다. OpenAI 혼자 속도를 늦추면 Anthropic이나 Google이 앞설 수 있고, 미국 기업이 함께 늦추면 중국 기업이 추격할 수 있다는 우려가 생깁니다. 결국 누구도 먼저 브레이크를 밟기 어려운 구조입니다.

그래서 중국 이야기가 나오지만, 시진핑이 합의한 것은 아닙니다

여기서는 사실관계를 분명히 구분할 필요가 있습니다. 시진핑 중국 국가주석이 샘 알트먼이나 아모데이와 AI 개발 속도를 늦추기로 합의했다는 사실은 현재 확인되지 않았습니다.

대신 미국과 중국이 9월 중순 AI 안전 문제를 다루는 공식 양자 대화를 준비하고 있다는 보도가 나왔습니다. 프론티어 AI 위험과 AI를 이용한 사이버 공격 등이 논의 대상으로 거론됩니다.

즉 현재 상황은 ‘시진핑까지 AI 감속에 합의했다’가 아니라, 미국 AI 기업들 사이에서 속도 조절론이 급부상했고 이를 중국까지 포함한 국제 협력으로 확장할 수 있느냐가 다음 문제라고 보는 것이 정확합니다.

중국과 조율하지 못하면 계획 자체가 어려워집니다

아모데이의 세 번째 단계가 Global Coordination인 이유도 여기에 있습니다. 미국 기업만 안전을 이유로 속도를 낮췄다가 중국에 추월당할 수 있다는 우려를 해결하지 못하면 지속적인 합의를 만들기 어렵습니다.

반대로 미국과 중국이 모두 어떤 제한에 동의하더라도 실제로 약속을 지키는지 검증하기 어렵습니다. AI 모델은 핵무기처럼 위성 사진으로 시설 수를 세기 어려운 기술이기 때문입니다. 아모데이 역시 광범위한 국제적 AI 중단 합의가 단기간에 만들어질 가능성을 높게 보지는 않습니다.

“안전”이라는 말만 믿어도 될까요?

반론도 있습니다. 대형 AI 기업들이 만든 높은 안전 기준이 신규 기업과 오픈소스 모델의 진입장벽이 될 수 있고, 결과적으로 기존 강자의 위치를 굳히는 규제 포획으로 이어질 수 있다는 비판입니다.

현재 공개된 자료만으로 이번 제안이 사업적 이해관계를 위한 위장이라고 단정할 근거는 없습니다. 하지만 안전과 사업적 이해관계가 동시에 존재할 수 있다는 점은 따져봐야 합니다. 결국 중요한 것은 CEO들의 발언보다 실제로 어떤 개발 속도와 출시 계획을 포기하고, 외부 평가자에게 어느 정도 권한을 주느냐입니다.

2023년의 ‘AI 6개월 중단’과는 조금 다릅니다

AI 개발을 늦추자는 주장이 처음 나온 것은 아닙니다. 2023년에도 GPT-4보다 강력한 AI 학습을 최소 6개월 멈추자는 공개서한이 큰 논쟁을 만들었습니다.

이번에는 실제 프론티어 모델을 개발하는 주요 기업의 CEO들이 직접 속도 조절 필요성을 이야기하고 있고, Anthropic은 외부 평가자를 내부에 가까운 수준으로 들이겠다는 구체적인 조치까지 제안했습니다. OpenAI도 이 방향에 동참하겠다는 뜻을 밝혔습니다.

그래서

“AI 개발 중단이 시작됐다”라고 말하기에는 아직 이릅니다. 모델 개발은 계속되고 있고 기업·국가 간 속도 제한에 대한 구체적인 합의도 아직 없습니다.

다만 분위기가 달라진 것은 분명해 보입니다. 가장 빠르게 AI를 개발하던 회사들의 수장들이 동시에 성능 경쟁만 계속해서는 안 된다는 말을 공개적으로 하기 시작했습니다.

이제 볼 것은 말이 아니라 실제 조치입니다. Anthropic과 OpenAI의 외부 평가 체계가 어느 수준까지 구현되는지, 기업 간 공통 기준이 만들어지는지, 그리고 미·중 AI 안전 협의에서 의미 있는 결과가 나오는지가 다음 분기점입니다.

모두가 위험하다고 말하면서도 결국 액셀을 계속 밟을지, 아니면 처음으로 실제 브레이크를 만들 수 있을지. 이번 논쟁은 그 차이를 확인하는 시험대가 됐습니다.

출처: Dario Amodei ‘We Must Pace the Frontier’(2026.09), Reuters의 OpenAI·AI 안전 및 미·중 AI 안전 협의 관련 보도, TechCrunch 2026.09.12, 주요 AI 기업 수장들의 공개 반응. 2026.09.14 확인. ‘AI 감속’은 개발 전면 중단이 아니라 프론티어 능력 발전 속도를 안전 검증과 맞추자는 제안이며, 시진핑이 이에 합의했다는 사실은 확인되지 않았습니다.