콜로라도 AI법 전면 개정 — SB 26-189, '고위험 AI' 틀 폐기하고 자동의사결정기술(ADMT) 소비자 권리 중심으로 재설계

왜 콜로라도가 스스로 만든 법을 폐기했나

2024년 5월 통과된 콜로라도 인공지능법(SB 24-205)은 고위험 AI 시스템에 대한 '합리적 주의 의무(duty of reasonable care)', 배포사의 강제적 위험 관리 프로그램, 연간 영향 평가, 법무장관 고지 의무 등 광범위한 규제 체계를 도입했습니다. 그러나 법 시행 전부터 기업계의 반발이 거셌습니다. Microsoft, Google, Salesforce 등 빅테크 기업들은 광범위한 '알고리즘 차별' 개념이 너무 모호하다고 지적했고, 스타트업 생태계는 과도한 규제 부담이 콜로라도 IT 산업의 경쟁력을 약화시킬 것이라 우려했습니다.

설상가상으로 트럼프 행정부는 2025년 말 행정명령을 통해 주 차원의 AI 규제를 연방 차원에서 선점하겠다고 선언하면서 콜로라도 SB 205를 명시적 표적으로 삼았습니다. 또한 일론 머스크의 xAI가 SB 205에 대한 위헌 소송을 예고하며 2026년 6월 11일까지 예비적 금지 명령 신청 의사를 밝혀, 법 시행 전 사법적 봉쇄 가능성까지 제기됐습니다. 2026년 5월 9일 콜로라도 의회는 결국 SB 26-189를 통과시켜 기존 법을 전면 대체하기로 결정했습니다.

새 법의 핵심 개념 — '자동의사결정기술(ADMT)'이란 무엇인가

SB 26-189의 규제 대상은 '커버드 ADMT(Covered ADMT)'입니다. 법은 ADMT를 '개인 데이터를 처리하고 계산을 사용해 예측·권고·분류·순위·점수 등의 출력을 생성하며, 이를 개인에 관한 결정을 내리거나 안내하거나 보조하는 데 활용하는 기술'로 정의합니다. 단순 바이러스 백신 소프트웨어, 스프레드시트, 계산기, 머신러닝을 사용하지 않는 도구는 제외됩니다. ADMT가 '커버드'가 되려면 '결정적 결정(consequential decision)'에 '실질적으로 영향(materially influences)'을 미쳐야 합니다. 사소하거나 우발적인 사용은 적용 대상이 아닙니다.

'결정적 결정'이란 ①교육 입학 또는 기회, ②고용 또는 취업 기회, ③금융·대출 서비스, ④보험, ⑤의료 서비스, ⑥필수 정부 서비스 및 공공 급여, ⑦해당 영역의 접근성에 영향을 미치는 실질적으로 다른 가격·보상·조건에 관한 결정을 말합니다. 보안·사기 방지·신원 확인·법 준수 목적의 ADMT 사용은 '결정적 결정'에서 제외됩니다.

개발사 의무 — 배포사에게 기술 문서를 제공하라

SB 26-189는 개발사(developer)와 배포사(deployer)에게 각각 다른 의무를 부과합니다. ADMT를 만들거나 판매·라이선스하거나 실질적으로 수정하는 개발사는 배포사에게 다음 정보를 포함한 기술 문서를 제공해야 합니다: 의도된 용도와 부적절한 용도, 훈련 데이터 범주, 알려진 한계와 위험, 적절한 사용 및 인간 검토를 위한 지침, 배포사의 공개 의무를 이행하는 데 필요한 정보. 또한 개발사는 중요한 업데이트가 있을 경우 합리적인 기간 내에 배포사에게 통지해야 하며, 준수 기록을 3년간 보관해야 합니다.

배포사 의무 — 사전 통지와 불이익 결정 30일 내 설명 의무

배포사는 두 가지 핵심 통지 의무를 집니다. 첫째, 사전 통지(pre-use notice)입니다. 커버드 ADMT가 결정적 결정에 영향을 미치기 전에 소비자에게 명확하고 두드러진 방식으로 고지해야 합니다. 이 통지에는 정보 접근 방법과 인간 재검토 요청 방법이 포함돼야 합니다. 둘째, 불이익 결정 통지(adverse-outcome notice)입니다. ADMT가 소비자에게 불이익한 결과(접근 거부·자격 박탈·실질적으로 더 나쁜 조건 등)를 낳은 경우, 30일 이내에 ADMT의 역할, 결정 이유, 데이터 접근 방법, 소비자 권리를 포함한 설명을 제공해야 합니다. 두 통지 모두 장애인과 영어 제한 능력자가 이용 가능한 형식으로 제공돼야 하며, 기록은 3년간 보관됩니다.

소비자 권리 — 데이터 정정권과 의미 있는 인간 재검토권

불이익한 결정을 받은 소비자는 두 가지 권리를 행사할 수 있습니다. 첫째, 데이터 접근·정정권입니다. 콜로라도 개인정보보호법(CPA) 절차에 따라, ADMT가 사용한 사실과 다르거나 중요하게 부정확한 개인 데이터에 접근하고 수정을 요청할 수 있습니다. 단, 의견·예측·점수의 수정 요청은 허용되지 않으며, 독점 소스 코드나 영업 비밀 공개도 요구할 수 없습니다. 둘째, 의미 있는 인간 재검토권입니다. '상업적으로 합리적인 범위 내에서' 인간 검토자에 의한 재검토와 재고를 요청할 수 있습니다. 이 검토자는 결정을 승인·수정·번복할 권한을 가져야 하고, 관련 1차 증거를 고려해야 하며, 해당 역할을 위해 훈련받아야 하고, 자동화된 출력을 단순히 따라서는 안 됩니다.

구 법과의 결정적 차이 — 무엇이 사라졌나

SB 26-189는 SB 24-205의 가장 부담스러운 세 가지 의무를 완전히 제거했습니다. 첫째, '알고리즘 차별을 방지하기 위한 합리적 주의 의무'가 삭제됐습니다. 이는 기업이 AI 시스템으로 인한 모든 차별적 결과에 대해 법적 책임을 질 수 있다는 광범위한 의무였습니다. 둘째, 배포사에 대한 의무적 위험 관리 프로그램이 폐지됐습니다. 세째, 연간 영향 평가 의무도 없어졌습니다. 이로써 새 법은 '사전 예방'(anticipatory compliance) 모델에서 '사후 투명성'(post-hoc transparency) 모델로 전환됐습니다. 기업들은 광범위한 사전 규제 준수 대신, ADMT를 사용할 때 소비자에게 알리고, 불이익한 결과가 발생하면 설명하며, 인간 재검토 요청에 응하면 됩니다.

섹터별 면제와 집행 체계

법은 특정 산업에 대한 면제 조항도 두고 있습니다. 보험사는 콜로라도 보험법을 준수하는 경우 SB 26-189 준수로 간주됩니다. HIPAA 적용 의료 기관은 대부분 면제되지만, 금융 지원 자격 결정에 관한 제한적 공개 의무는 남아 있습니다. FDA 규제 의료 기기는 대부분 적용 제외됩니다. 집행은 콜로라도 법무장관이 소비자보호법상 기만적 거래 관행으로 단독 처리합니다. 사소권(개인 소송 제기권)은 명시적으로 금지됩니다. 집행 전 60일의 치유 기간이 보장되며(의도적 또는 반복 위반 제외), 이 치유권은 2030년 1월 1일 일몰합니다. 법무장관은 2027년 1월 1일까지 공개 요건을 명확히 하고 부문별 지침을 제공하는 규칙을 제정해야 합니다.

코네티컷 SB 5와의 비교 — 미국 AI 규제의 두 모델

2026년 5월, 미국에서는 두 개의 중요한 AI 법이 거의 동시에 등장했습니다. 코네티컷 SB 5(5월 초 서명)와 콜로라도 SB 26-189(5월 14일 서명)입니다. 두 법은 규제 철학에서 뚜렷한 차이를 보입니다. 코네티컷 SB 5는 옴니버스 접근으로 고용·챗봇·워터마킹·소셜미디어·내부고발자 보호를 한 법에 담은 반면, 콜로라도 SB 26-189는 범위를 대폭 좁혀 소비자 개인에게 직접적인 투명성과 구제책을 제공하는 데 집중합니다. 또한 코네티컷은 기업에게 AI 안전 관행 개선의 인센티브를 제공(독립 검증, 샌드박스)하는 반면, 콜로라도는 결과 중심의 공개 의무와 소비자 권리만 규정하고 있습니다. 두 모델은 미국 내에서 AI 규제의 '범위(breadth) 대 실행 가능성(enforceability)'이라는 근본적 긴장을 반영합니다.

한국에 대한 시사점

콜로라도 SB 26-189의 경험은 한국 AI 기본법 시행(2026년 8월 예정)을 앞두고 여러 중요한 교훈을 제공합니다.

• 사전 규제 대 사후 투명성: 한국 AI 기본법은 고위험 AI에 대한 사전 영향 평가를 요구하고 있습니다. 콜로라도의 사례는 광범위한 사전 규제 의무가 산업계 저항과 연방 선점 위협에 취약하다는 점을 보여줍니다. 사후 투명성 중심 접근의 보완을 고려할 필요가 있습니다.
• 소비자 권리의 직접성: SB 26-189는 소비자에게 불이익 결정에 대한 설명을 받을 권리와 인간 재검토권을 명시적으로 부여합니다. 한국의 AI 기본법 하위 법령 마련 과정에서 이와 같은 개인 대상 구제 조항의 도입을 적극 검토해야 합니다.
• 딥페이크 문맥과의 연결: ADMT 투명성 원칙은 AI 생성 콘텐츠 분야에도 확장될 수 있습니다. 딥페이크 피해자가 자신의 이미지가 어떤 AI 시스템에 의해 생성됐는지 알 수 있는 출처 공개 의무는 콜로라도 모델에서 자연스럽게 도출되는 다음 단계입니다.

결론 — 전략적 후퇴인가, 실용적 진보인가

콜로라도 SB 26-189는 분명 SB 24-205보다 약한 법입니다. 고위험 AI에 대한 사전적 규제 의무, 알고리즘 차별 금지의 포괄적 틀은 사라졌습니다. 그러나 이 법이 완전한 패배는 아닙니다. 미국 최초로 도입한 AI 책임 원칙의 핵심 요소—소비자 공개, 설명 가능성, 인간 감독—를 법제화했으며, 기업들이 준수할 수 있는 현실적인 수준으로 설계됐습니다. 법무장관의 집행 의지가 뒷받침되고 2027년 1월까지 적절한 규칙 제정이 이루어진다면, 콜로라도 SB 26-189는 소비자 권리 중심 AI 규제 모델의 현실 가능한 청사진이 될 수 있습니다. AI 딥페이크 또는 자동화 시스템으로 인한 불이익한 결정을 경험하셨다면, 지금 바로 전문 팀의 도움을 받으시길 권합니다.