한눈에
- FLI가 매긴 AI 기업 안전 성적표, 1위 앤트로픽도 C+에 그쳤다
- 직전 평가보다 오히려 더 많은 기업의 점수가 떨어졌다
- 8월 2일 EU 전면 집행을 앞두고, 한국의 AI 규제 설계에도 신호를 보낸다
낮은 성적표를 받아 든 1등, 그런데도 멈추지 않았다
“우리는 절벽을 향해 전력 질주하고 있다.” 비영리 연구기관 퓨처 오브 라이프 인스티튜트(FLI)를 만든 맥스 테그마크가 2026년 7월 7일 내놓은 말이다. 그의 기관이 그날 「AI 세이프티 인덱스 — 서머 2026」을 공개한 직후였다. 독립 전문가 7명이 37개 지표와 6개 영역으로 앤트로픽·오픈AI·구글 딥마인드 등 9개 기업의 안전 수준을 채점했다.
1위 앤트로픽의 등급은 C+였다. 오픈AI와 구글 딥마인드는 C, 메타는 D+에 머물렀고 xAI·딥시크·미스트랄 세 곳은 사실상 낙제(F)를 받았다. 자율규제를 자처해 온 업계 최상위권조차 평범한 수준을 넘지 못한 셈이다.
문제는 이 성적표가 계속 나빠지고 있다는 데 있다. 그리고 남 얘기가 아니다. 유럽연합(EU)의 인공지능법이 8월 2일부터 전면 집행에 들어가면, 자율규제 대 강제규제 논쟁은 한국의 AI기본법 하위 규정 설계로도 옮겨붙을 가능성이 크다.
지수가 나올수록 성적이 나빠지는 역설
이번이 처음 나온 성적표는 아니다. FLI는 2025년 12월에도 8개 기업을 대상으로 같은 방식의 평가를 했다. 그때도 1위는 앤트로픽이었고 등급 역시 C+였다.
그런데 반년 뒤 나온 이번 지수를 나란히 놓으면 이상한 패턴이 드러난다. 평가받은 8개 기업 가운데 7곳의 점수가 오히려 떨어졌다. 순위가 오른 곳은 메타 한 곳뿐이었다. 성적표를 낼 때마다 업계 전체가 나아지기는커녕 후퇴하는 흐름이 반복되는 셈이다.
가장 뚜렷한 후퇴는 ‘실존적 안전’ 영역에서 나타났다. 이 영역은 AI가 통제 불능 상태에 빠지거나 대규모로 오남용될 가능성을 얼마나 잘 관리하는지를 본다.
두 차례 평가 모두 어느 기업도 C- 이상을 받지 못했다. 최고점인 앤트로픽조차 D+에 그쳤다. 패널로 참여한 몬트리올대 데이비드 크루거 교수는 이 대목을 두고 업계의 “신뢰할 만한 AI 안전 계획을 향한 진전 부재"는 부끄러운 일이라고 지적했다.
서약은 철회되고, 군복만 새로 맞춘다
성적이 나빠진 이유는 크게 두 가지다. 첫째, 안전 서약 자체가 후퇴했다. 앤트로픽·오픈AI·구글 딥마인드·메타는 모두 한때 “레드라인(위험 한계선)에 근접하면 개발을 스스로 멈추겠다"고 약속했다. FLI는 이 약속들이 최근 조용히 완화되거나 철회됐다고 지적한다.
일부는 “경쟁사가 먼저 멈추면"이라는 조건을 달았다. 버클리대 스튜어트 러셀 교수는 이를 두고 “역량 수준에 걸맞은 안전장치를 갖춘 뒤에만 신형 시스템을 내놓겠다는 앞선 약속에서 발을 뺀 것"이라고 표현했다.
둘째, 군사용 AI로 전환했다. 2024년만 해도 군사적 활용을 금지했던 기업들이 2026년에는 잇따라 방위 산업과 손을 잡았다. 테그마크는 이 변화를 두고 “정말 많이 달라졌다"고 짧게 요약했다.
개별 기업 사례도 있다. xAI는 스페이스X에 인수된 뒤 투명성과 거버넌스가 약해지면서 순위가 4위에서 7위로 떨어졌다. 경쟁하던 자리에서 세 계단 밀려났다.
신용평가사도, 폭스바겐도 이렇게 시작했다
이런 흐름은 낯설지 않다. 2008년 금융위기 이전, 무디스·S&P·피치 같은 신용평가사들은 정부 대신 스스로 금융 상품의 위험을 매기는 역할을 맡았다. 미국 의회 조사위원회는 나중에 이들이 부실 자산에 최고 등급(AAA)을 남발한 것을 “금융 붕괴를 일으킨 핵심 부품"이라고 규정했다.
2015년 폭스바겐도 비슷한 패턴을 보였다. 자체 인증시험은 통과했지만 실제 도로에서는 기준치의 40배에 이르는 배출가스를 내뿜었다.
두 사례의 공통점은 ‘통과 여부’와 ‘실제 행동’ 사이에 간극이 있었고, 그 간극을 메운 건 자율규제 기구 자신이 아니라 외부 충격(대출 부실, 독립 연구자의 실측)이었다는 점이다. AI 안전 서약도 구조가 같다. 기업이 스스로 세운 기준을, 기업 스스로 지키겠다고 약속하는 방식이다. 국제 AI안전보고서 2026에 참여한 전문가들은 이런 자발적 서약이 “역량 비대칭은 가장 크고 제도적 뒷받침은 가장 약한” 구조라고 짚었다.
안전 수사가 실제 행동을 앞지르고 있다는 지적도 같은 맥락이다. 성적표가 나쁘다는 사실 자체보다, 나빠지는 성적표를 보고도 자율규제 체제가 스스로 궤도를 수정하지 못하고 있다는 사실이 더 무겁다.
규제 창은 8월에 열린다, 그다음은 정해지지 않았다
이 흐름을 바꿀 조건은 이미 날짜로 정해져 있다. EU 인공지능법은 범용 AI 모델 의무를 2025년 8월 2일부터 적용해 왔지만, 실제 집행(정보 요청·모델 접근·리콜)은 2026년 8월 2일부터 시작된다. 위반 시 과징금은 1,500만 유로와 전 세계 매출 3% 가운데 큰 금액이다. 자율규제의 신뢰가 흔들린 시점에 강제 집행이 겹치는 셈이다.
데이터도 이 방향을 가리킨다. 스탠퍼드대와 OECD 집계에 따르면 문서로 확인된 AI 사고는 2024년 233건에서 2025년 362건으로 늘었다. 그런데 “사고 대응이 우수하다"고 자평한 조직의 비율은 오히려 28%에서 18%로 낮아졌다. 위험은 느는데 대응 역량은 준다는 뜻이다.
물론 반대 방향의 신호도 있다. 테그마크는 절반 넘는 기업이 이번 평가에 자발적으로 참여했다는 점, 그리고 이 지수가 “기업 내부 논의에 이미 영향을 주고 있다"는 점을 유일한 긍정 신호로 꼽았다. 성적표 공개 자체가 압박이 되고 있다는 뜻이지만, 그 압박이 실제 서약 이행으로 이어질지는 아직 확인되지 않았다.
️ 자율규제의 신뢰가 무너진 자리, 정책은 무엇을 채우나
정책 입안자에게 이번 지수는 EU식 강제 사전시장평가를 정당화하는 근거로 쓰일 공산이 크다. 한국도 AI기본법 하위 규정을 설계하는 단계에서 “자율 서약만으로는 부족하다"는 전제를 반영할 필요가 있다. 조기 경보 지표로는 안전 서약 철회 여부, 군사용 파트너십 체결 건수를 지속적으로 추적할 만하다. 미국은 여전히 연방 차원의 강제 규제에 소극적이어서, 한국이 EU와 미국 사이 어느 모델을 참조할지가 논쟁거리로 남는다.
안전등급이 실사 항목이 되는 순간
기업에는 안전등급이 곧 조달 실사 항목이 되는 흐름이 중요하다. 공공기관·대기업이 AI 모델을 도입할 때 안전 등급을 선택 기준에 넣기 시작하면, 낙제한 기업의 시장 접근권이 좁아질 수 있다. 투자자 입장에서는 안전 서약을 철회한 기업에 규제 리스크 프리미엄을 반영해야 한다. 밸류체인으로 보면 상류(모델 개발사)의 규제 리스크가 중류(API 활용 기업)의 컴플라이언스 부담으로, 다시 하류(최종 소비자)의 신뢰 문제로 이어진다.
성적표는 계속 나올 것이다, 그러나 멈추는 건 다른 문제다
이번 지수가 보여준 건 단순하다. 안전 성적표는 계속 나오지만, 그 성적표를 받은 기업들은 스스로 멈추지 않았다. 서약은 조용히 후퇴했고, 사업은 군사 영역으로 확장됐고, 사고는 늘었는데 대응력은 줄었다. 자율규제가 작동하려면 나쁜 성적이 곧 행동 변화로 이어져야 하는데, 지금까지는 그 연결 고리가 보이지 않는다.
이는 AI 산업만의 이야기가 아니다. 신용평가사와 폭스바겐이 그랬듯, 자율 인증 체제는 외부 충격이 있어야 스스로를 고친다는 오래된 패턴이 다시 반복되고 있다.
8월 2일, EU의 집행 개시가 AI 업계에 같은 충격이 될지는 아직 정해지지 않았다. 절벽을 향한 질주는 계속되고 있고, 브레이크를 쥔 손이 누구인지도 아직 확실하지 않다.
생각해볼 질문
당신이 회사에서 AI 도구 도입을 맡은 담당자라면, 안전 등급이 낮은 도구를 계속 쓰겠는가? 매달 새로운 AI 서비스가 쏟아지는 지금, 도입 전에 안전 성적표를 확인하는 습관이 필요할 수 있다.
여러분이 만든 제품이 “자체 인증은 통과했지만 실제로는 위험하다"는 지적을 받는다면 어떻게 반응하겠는가? 폭스바겐 사례처럼, 스스로 정한 기준과 실제 행동 사이의 간극은 누구에게나 생길 수 있는 함정이다.
주목해야 할 것들
미래 신호: 절반 넘는 기업이 이번 평가에 자발적으로 참여했다는 사실은 압박이 통하고 있다는 신호일 수 있다. 다음 평가에서 참여 기업 수와 서약 복원 여부를 함께 봐야 한다.
⚖️ 분기점: EU의 8월 2일 전면 집행이 실제로 과징금 부과나 모델 리콜로 이어지는지가 분기점이다. 집행이 형식에 그치면 자율규제 우위론이, 실제로 작동하면 강제규제 확산론이 힘을 얻는다.
전략 창: 한국의 AI기본법 하위 규정은 아직 확정되지 않았다. 이 지수와 EU 집행 결과가 국내 논의에 반영될 수 있는 시간이 지금 열려 있다.
연결 이슈: 군사용 AI로의 산업 전환은 안전 서약 후퇴와 같은 뿌리에서 나온 현상이다. 방위산업과 AI 규제를 함께 추적할 필요가 있다.
