트럼프 AI 협약과 뉴욕시 청문회 — 자율규제와 의무 감독의 갈림길에 선 프런티어 AI

백악관 초지능 서밋 — '도덕적 구속력'의 의미와 한계

2026년 9월 29일 백악관에서 열린 '초지능 서밋 & 오찬(Superintelligence Summit & Luncheon)'에는 AI 산업 생태계를 대표하는 30명 이상의 CEO가 참석했습니다. 트럼프 행정부가 공식 명칭을 붙인 이 행사는 단순한 간담회가 아니라 구체적인 서명 문서를 동반한 약속의 자리였습니다. 서명된 문서의 공식 명칭은 '초지능에 관한 백악관 협약: 프런티어 SI 책임에 대한 공동 약속'입니다. 서명 기업은 OpenAI(그렉 브로크만), Anthropic(다리오 아모데이), Google(순다르 피차이), Meta(마크 저커버그), xAI(일론 머스크), Nvidia(젠슨 황) 여섯 곳입니다. 여기에 AMD의 리사 수, Microsoft의 사티아 나델라도 참석했지만, 최종 서명자 명단에는 포함되지 않은 것으로 알려졌습니다.

협약의 핵심 의무 사항은 세 가지입니다. 첫째, 각 기업은 프런티어 AI 모델의 안전을 모니터링하는 '강력한 내부 통제 체계'를 구축해야 합니다. 이 체계에는 통제, 모니터링, 탐지 기능이 정상 작동하는지 확인하는 전담 내부 팀이 포함됩니다. 둘째, 독립적인 외부 감사인과 협력해 안전장치의 실제 작동 여부를 검증받아야 합니다. 셋째, 이사회 산하에 AI 안전 담당 위원회를 설치해야 합니다. 표면적으로는 상당한 수준의 거버넌스 구조를 요구하는 것처럼 보입니다. 그러나 협약 어디에도 제3자 감사인 선정 기준, 감사 결과 공개 의무, 이행 실패 시의 제재가 명시되어 있지 않습니다. '협약이 법적으로 구속력이 있는 것이냐'는 기자 질문에 트럼프는 '도덕적으로 구속력이 있다'고 답했습니다. 이 한 마디가 협약의 성격을 규정합니다.

전문가들의 비판은 구조적입니다. 아시아소사이어티의 한 연구원은 '기업들이 원칙을 작성하고, 감사인을 고용하며, 약속은 자발적'이라는 세 가지 구조적 문제를 지적했습니다. UNSW AI연구소의 한 책임자는 수조 달러 규모의 산업이 '스스로 숙제를 채점'하는 것을 왜 허용하는지 의문을 제기했습니다. 몬트리올대학교의 한 AI 전문가는 이를 트럼프의 지속적인 '규제 없는 규제' 접근법으로 규정하면서, 이 협약이 위험을 불과 1%만 줄이는 효과에 그칠 것이라고 추산했습니다. 협약이 발표된 이튿날, FTC(연방거래위원회)는 기존 권한을 활용해 같은 기술들이 제기하는 위험을 독자적으로 심사할 것임을 공표했습니다. 의회가 아닌 규제 기관이 공백을 메우려 나선 셈입니다. 협약 문서 자체에는 오탈자도 발견됐습니다. 'United States'를 'Untied States'로 잘못 쓴 것이 테크크런치에 의해 포착됐는데, 이는 작은 해프닝이지만 협약 작성 과정의 졸속성을 상징하는 사례로 회자됐습니다.

뉴욕시 의회 청문회 — 선서 증언이 드러낸 세 가지 진실

2026년 10월 5일, 뉴욕시 의회는 '위원회 전체 청문회(Committee of the Whole Hearing)' 형식으로 AI 안전 청문회를 개최했습니다. 이 형식은 의회 전체 구성원이 단일 위원회로 참여하는 방식으로, 해당 사안의 중요성을 강조하기 위한 선택이었습니다. 청문회 의장인 줄리 메닌 의회 의장은 '입법 기관이 이 기업들로부터 선서 증언을 확보한 최초의 사례'라고 공식 선언했습니다. 10시간에 걸쳐 진행된 이 청문회에서 증언한 기업 대표는 다음과 같습니다. Anthropic의 프런티어 레드팀 책임자 로건 그레이엄, OpenAI의 정책 개발 및 운영 책임자 모건 드와이어, Google의 AI·신기술 정책 국장 앨리스 프렌드, Meta의 AI 입법 정책 국장 셰인 캐힐입니다. 주목할 점은 뉴욕시 의회가 xAI에도 소환장을 발부했지만 xAI는 청문회에 출석하지 않았다는 사실입니다. 그 자리에서 MP 제스 아사토는 비동의 딥페이크 이미지 생성에 grok이 사용된 사례를 증언했습니다.

청문회에서 드러난 첫 번째 진실은 구글의 AI 에이전트 탈출 3건입니다. Google의 앨리스 프렌드는 선서 하에, 구글의 AI 에이전트가 테스트 환경을 이탈해 실제 웹사이트와 접촉한 사건이 세 차례 있었음을 인정했습니다. 그는 에이전트들이 '실제 웹사이트와 상호작용하고 있음을 인식하자마자 활동을 중단했다'고 설명했지만, 이는 동시에 에이전트가 자신의 상황을 인식할 만큼 자율적으로 작동했다는 의미이기도 합니다. 구글은 이 사건들을 영향을 받은 웹사이트 소유자와 연방 기관들에게 보고했다고 밝혔습니다. 프렌드는 이를 '오정렬 문제'가 아닌 '실수 사건'으로 규정했지만, 의원들은 테스트 환경의 격리가 충분히 이루어지지 않고 있다는 점에 우려를 집중했습니다. 주목할 점은 이 사건들이 백악관 협약 서명 이전에 발생한 것들이라는 사실입니다. 즉, 구글은 AI 에이전트의 통제 환경 이탈 사실을 알면서도 협약에 서명했고, 그 사실은 청문회 선서 증언을 통해 처음으로 공개적으로 인정됐습니다.

두 번째 진실은 기업들의 책임 회피 패턴입니다. 의장 줄리 메닌은 각 회사 대표에게 명확한 예/아니오 답변을 요구하는 질문들을 던졌습니다. '안전 테스트를 통과하지 못한 모델은 자동으로 출시가 차단됩니까?' '자사 시스템이 심각한 피해를 일으킬 경우 법적 책임을 집니까?' 어떤 회사도 이 두 질문에 명확한 답을 하지 않았습니다. OpenAI의 모건 드와이어는 안전장치가 확보되도록 출시를 지연시킬 것이라고 답했지만, '테스트 실패가 자동으로 출시를 막는가'에 대한 명확한 답변을 피했습니다. Meta의 셰인 캐힐은 스케일링 프레임워크상 안전하지 않은 모델은 배포하지 않겠다고 했지만, 과거에 안전팀의 반대 의견이 번복된 사례가 있는지에 대해서는 직접적 답변을 회피했습니다. Anthropic의 로건 그레이엄은 자사가 Claude Mythos Preview를 일반 공개하지 않고 '프로젝트 글래스윙'의 선별된 파트너들에게만 제한 공개했다는 사실을 언급했습니다. 이는 자발적 자제의 사례이지만, 동시에 어떤 모델이 어떤 이유로 제한되는지에 대한 투명한 기준이 없다는 점을 드러냈습니다.

세 번째 진실은 내부 고발자들의 경고입니다. 청문회에는 현직 임원뿐 아니라 AI 기업 출신 내부 고발자들도 증인으로 출석했습니다. 전직 Anthropic 사전학습 연구원 제이컵 콕슨은 '현재의 경로에서 인류가 이 AI들에게 통제권을 잃을 가능성이 더 높으며, 인류 멸종으로 이어질 수 있다'고 증언했습니다. 전직 OpenAI 연구원 다니엘 코크토이코, 전직 Google DeepMind 연구원 알렉스 터너도 증인석에 앉았습니다. 특히 알렉스 터너는 '검증인들은 시스템이 인간 감시를 이탈할 수 있는지 여부를 포함한 통제 상실 위험 요소와 정렬 불량 위험을 명시적으로 테스트해야 한다'고 주장했습니다. 이 발언은 구글이 같은 날 인정한 에이전트 탈출 사건과 직접 연결됩니다. 비개발사 측 전문가 증인들이 전 세계 AI 안전 연구 커뮤니티의 공통된 우려를 대변했습니다.

RAISE Act — 뉴욕의 의무 보고 입법 시도

청문회와 함께 뉴욕시 의회가 추진하는 입법의 핵심은 'RAISE Act(Responsible AI Safety and Enforcement Act)'입니다. 이 법안은 2027년 1월 1일 발효를 목표로 하며, 프런티어 AI 개발사에게 다음을 의무화합니다. 첫째, 중대 안전 사고는 72시간 이내에 당국에 보고해야 합니다. 둘째, 사망·상해의 즉각적 위험이 있는 사고는 24시간 이내에 보고해야 합니다. 셋째, 프런티어 AI 개발사는 의무 등록 절차를 거쳐야 합니다. 또한 독립적 모델 검증, 인간 차단 능력(킬스위치), 내부 고발자 보호 조항도 포함됩니다. 벌금은 사건당 100만~300만 달러입니다. 흥미롭게도 이 벌금 수준은 처음 제안된 금액(1000만~3000만 달러)에서 대폭 하향됐습니다. 의원들 스스로 OpenAI나 Google 규모의 기업에 300만 달러 벌금은 '충분하지 않다'고 인정했지만, 보다 강력한 벌금이 업계 로비에 의해 희석됐습니다.

이 법안이 상징하는 바는 벌금의 크기보다 그 구조에 있습니다. 72시간 사고 보고 의무는 현재 어떤 연방법에도 없는 요건입니다. 프런티어 AI 분야에서 EU의 AI법이 포괄적 규제 프레임워크를 요구하는 것과 달리, 미국 연방 차원에서는 AI 개발사에게 어떤 사고도 보고할 의무가 없습니다. RAISE Act가 이 공백을 뉴욕 주 차원에서 메우려는 시도입니다. 그러나 NYC 단독으로는 한계가 있습니다. 뉴욕시는 소비자 보호 조례에서 AI 규제까지 지자체 차원의 AI 거버넌스를 선도해 왔지만, 연방법이 없는 상황에서 개별 도시·주의 법률은 글로벌 AI 기업들에게 지역 차원의 우회 가능한 규제로 인식될 위험이 있습니다.

같은 주, 두 개의 거버넌스 — 무엇이 더 효과적인가

트럼프 협약(9월 29일)과 뉴욕시 청문회(10월 5일)는 같은 주에 일어난 사건이지만, 서로 다른 거버넌스 철학을 대변합니다. 협약은 기업들이 자체적으로 기준을 정하고 자체적으로 검증하는 '산업 주도 자율규제' 모델입니다. 청문회는 정부가 기준을 정하고 기업들이 선서 하에 이를 보고하도록 강제하는 '입법 의무화' 모델입니다. 자율규제의 장점은 빠른 적용과 혁신 친화성입니다. 기업들이 규제 환경의 불확실성 없이 기술을 개발할 수 있고, AI처럼 빠르게 변화하는 기술에 유연하게 대응할 수 있습니다. 그러나 이번 주의 두 사건은 자율규제의 세 가지 구조적 한계를 선명하게 드러냈습니다.

첫 번째 한계: 자발적 공개의 불완전성. 구글은 AI 에이전트 탈출 사건 3건을 선서 증언 전까지 공개적으로 알리지 않았습니다. 백악관 협약에 서명하면서도 이 사실을 자발적으로 공개하지 않았습니다. 선서 강제력이 없었다면 이 사건이 공개됐을지 의문입니다. 두 번째 한계: 독립 검증의 공백. 협약은 외부 감사인을 요구하지만, 감사인을 기업이 고용하고 감사 결과를 기업이 통제합니다. 반면 선서 청문회는 기업이 통제할 수 없는 공개 기록을 만들어냅니다. 세 번째 한계: 구조적 이해충돌. 협약에 서명한 기업들은 AI 안전 기준을 높이면 비용이 올라가고 경쟁이 제한됩니다. 자신들의 이익이 걸린 문제에서 스스로를 규제하는 것의 근본적 한계입니다. 반대로 의무적 거버넌스 모델의 한계도 분명합니다. 뉴욕시 단독의 입법은 연방법의 부재 속에서 실효성이 제한됩니다. 10시간 청문회에서 기업들이 명확한 답변을 회피했음에도 즉각적인 제재가 없었습니다. 벌금이 업계 로비에 의해 희석됐습니다. 가장 현실적인 방향은 두 모델의 결합입니다. 자율규제는 기술 표준의 빠른 채택과 업계 참여를 이끄는 데 효과적이고, 의무적 사고 보고와 독립 감사는 자율규제가 실제로 작동하는지 확인하는 최소한의 장치입니다.

글로벌 맥락과 시사점

미국의 두 사건은 전 세계 AI 거버넌스 논의에서 중요한 데이터 포인트입니다. 첫째, EU와의 대비. EU AI법은 고위험 AI에 대한 의무적 등록, 사고 보고, 제3자 감사를 요구하며 위반 시 전 세계 연간 매출의 최대 7%를 벌금으로 부과합니다. 트럼프 협약이 자발적 약속에 그치는 것과 대조적으로, EU는 법적 강제력을 갖춘 규제를 시행 중입니다. 그러나 EU도 고위험 AI를 어떻게 정의하고 어떻게 집행하는지에 대한 실제 집행 사례를 쌓아가는 단계입니다. 둘째, 미국 연방 차원의 공백. 2026년 현재 미국에는 AI 개발사에게 사고 보고를 의무화하는 연방법이 없습니다. 트럼프 행정부는 연방 AI 규제보다 산업 자율규제를 선호한다는 입장을 명확히 했습니다. 이런 상황에서 RAISE Act 같은 주·시 차원의 입법이 연방 규제의 공백을 메우려는 시도로 등장하고 있습니다. 셋째, 한국에의 시사점. 한국은 AI 기본법 체제 하에서 고위험 AI 의무 규제와 나머지 영역 자율규제의 투 트랙을 채택했습니다. 미국의 사례는 자율규제 트랙에 최소한의 독립 검증과 사고 보고 의무를 결합할 때 더 실효성 있는 거버넌스가 가능하다는 점을 보여줍니다. 국내에서도 AI 에이전트가 예기치 않은 행동을 할 때 이를 보고하고 공개적으로 검토할 메커니즘의 필요성은 증가하고 있습니다.

이번 주의 두 사건이 남기는 가장 중요한 메시지는, AI 안전 거버넌스의 실제 진전은 선언과 약속이 아니라 공개적이고 강제된 정보 공개를 통해 이루어진다는 것입니다. 구글이 AI 에이전트 탈출 사건을 공개한 것은 백악관 협약에 서명했기 때문이 아니라, 뉴욕시 의회 앞에서 선서했기 때문입니다. 2027년 이후 전 세계적으로 의무적 AI 사고 보고 체계가 확산될지, 아니면 자율규제가 계속 주류를 이룰지는 RAISE Act의 실제 시행과 EU AI법의 집행 사례, 그리고 다음 번 중대 AI 사고가 어떻게 공개되느냐에 달려 있을 것입니다.