전쟁의 가장 잔혹한 순간, 방아쇠를 당긴 자가 사람이 아니라면 전범 재판소에는 누구를 세워야 할까. 전장에서 인공지능 자율 무기가 민간인을 오인 타격하는 사태가 현실화되면서, 피 묻은 손의 책임이 현장 지휘관을 넘어 본토 실리콘밸리의 소프트웨어 개발자들에게 향하고 있다. 기계 뒤에 숨을 수 없는 책임의 시대, 우리는 알고리즘을 어떻게 처벌할 것인가.

피 묻은 손을 숨긴 블랙박스

2021년 8월, 아프가니스탄 카불에서 미군 드론이 구호 단체 직원의 차량을 테러리스트로 오인해 어린이 7명 포함 10명의 민간인을 폭격한 참사가 발생했다. 정보 분석 시스템의 치명적 오류와 기계의 판단을 맹신한 지휘부의 오판이 빚어낸 이 비극은, 무인 타격의 책임 소재에 대한 거대한 논쟁을 불렀다. 그리고 5년이 흐른 2026년 봄, 전 세계 군사법 학계는 인간의 개입마저 사라진 ‘자율 살상 무기(LAWS)’ 앞에서 더 깊은 ‘책임 공백(Accountability Void)‘이라는 폭탄을 맞았다.

미국이 이란의 초등학교를 군사 시설로 오인하여 폭격한 사건에 대한 미국 국방부의 예비 조사 결과, 해당 공격은 미군이 제공받은 ‘국방정보국(DIA)의 오래된 데이터’를 사용하여 타격 좌표를 설정하면서 발생한 표적 설정 오류(오폭)로 결론지어졌다. 해당 학교는 과거 인접한 이란 혁명수비대(IRGC) 해군기지의 일부였으나, 이후 기지에서 분리되어 학교로 개조되었다. 미군 중부사령부(CENTCOM)가 공격 좌표를 생성할 때 이러한 변화가 반영된 최신 정보로 업데이트하지 않아 학교 건물을 여전히 군사 시설로 오인한 것으로 드러났다.

미군은 이번 이란 작전 초기 24시간 동안 AI 타격 시스템 을 활용하여 1,000개 이상의 표적을 타격하기 위한 수백 개의 좌표를 자동으로 생성했다. 전쟁 초기 작전이 극도로 빠르게 전개되면서, 미 중부사령부(CENTCOM)의 타격 장교들은 AI가 자동으로 도출해 낸 표적 좌표의 정확성을 인간이 최종 검증(Human-in-the-loop)하는 절차를 소홀히 하거나 생략했다. 결국 인적·데이터 결합 오류가 발생한 것이다.

오류를 바로잡을 마지막 안전장치였던 인간 지휘관마저 사라지면서, 테슬라의 자율주행 사고 책임 논쟁이 대량 살상이 오가는 전장 한가운데로 무대를 옮겨 격화되고 있다.

전장에서 벌어진 책임의 진공 상태

미국 해군참모대학과 웨스트포인트 리버 연구소 등 주요 안보 싱크탱크들은 치명적 자율무기체계의 오작동 시나리오를 분석하며, 현행 국제형사법(ICL)으로는 전쟁 범죄를 처벌할 수 없다는 결론을 내놓았다. 국제형사재판소(ICC) 로마 규정상 범죄가 성립하려면 물리적 행위와 ‘고의성’이 입증되어야 한다. 과거 뉘른베르크 재판에서는 상부의 명령이라는 면책 논리가 통하지 않았다.

하지만 AI가 통제하는 드론 군집이 카불의 사례처럼 민간인 구역을 타격했을 때, 현장 지휘관은 알고리즘의 판단을 믿었을 뿐 고의는 없었다고 주장한다. 반대로 알고리즘을 만든 방산업체는 블랙박스 코드의 예측 불가능한 오류일 뿐, 민간인 학살을 코딩하지 않았다고 책임을 회피한다. 어느 쪽도 고의성을 증명하기 어려운 완벽한 진공 상태가 만들어졌다.

지휘관의 명령에서 개발자의 코드로

이러한 공백 속에서 국제앰네스티와 유엔(UN) 정부군전문가그룹(GGE)은 칼끝을 실리콘밸리로 겨누고 있다. 이들은 인간의 통제를 벗어난 무기의 전면 금지를 촉구하며, 오작동 시 책임의 주체를 현장 지휘관을 넘어 코드를 작성한 프로그래머와 팰런티어, 안두릴 같은 국방 AI 벤더사로 확장해야 한다는 압박을 가속화하고 있다.

방산 기업들은 알고리즘을 통한 결정 우위가 오히려 인간의 피로와 감정을 배제해 민간인 피해를 줄인다고 반론한다. 하지만 코딩 오류 한 줄이 대량 학살로 이어질 수 있는 무한대의 제조물 책임 리스크 앞에서는 속수무책이다. 전쟁 범죄의 혐의가 야전 텐트가 아닌 쾌적한 벤처 기업의 회의실로 향하는 본질적인 시스템 전환이 일어난 것이다.

통제 불능의 무기를 막을 법정의 마지노선

이 사태는 교전 수칙과 제네바 협약에 기반한 전통적 전쟁 범죄의 책임 소재가 무너지고 있음을 의미한다. 2026년을 시한으로 진행 중인 유엔 특정재래식무기금지협약(CCW) 논의의 핵심은 결국 ‘의미 있는 인간의 통제(Meaningful Human Control)‘를 어디까지로 규정할 것인가에 달려 있다.

알고리즘이 표적을 식별하더라도 최종 타격 버튼은 반드시 인간이 누르도록 강제하거나, AI 시스템이 왜 그런 결정을 내렸는지 설명 가능한 AI(XAI) 기술을 무기 체계에 의무적으로 탑재하는 방안이 거론된다. 기계는 스스로 책임을 질 수 없기에, 그 방아쇠를 당긴 보이지 않는 손을 찾아내는 법적 마지노선 구축이 시급하다.

️ 정책 및 사회적 시사점

국제형사법의 개정: 국제 사회는 ICC 로마 규정을 개정하여, 고의성이 없더라도 극도의 주의 의무를 위반한 알고리즘 배포에 대해 ‘중과실(Gross Negligence)’ 책임을 묻는 새로운 전범 기소 프레임워크를 마련해야 한다.

교전 수칙상 AI 통제 가이드라인: 카불 오폭과 같은 정보 분석 오류를 막기 위해, 교전 수칙 내에 AI의 타격 권고를 인간이 반드시 이중 검증(Cross-validation)하도록 의무화하는 절차를 명시해야 한다.

비즈니스 및 투자 시사점

국방 AI 기업의 제조물 책임 폭등: 방산업체들은 단 한 번의 알고리즘 오류가 회사를 파산시킬 수 있는 천문학적 수준의 배상 소송에 직면하게 된다. 이에 대비한 국방 AI 전용 보험 시장이 폭등할 것으로 전망된다.

투자 평가 기준의 변화: 투자자들은 무기의 살상력이나 효율성보다, 민간인 오인 타격 시 책임 소재를 방어할 수 있는 철저한 내부 통제 시스템과 ‘알고리즘 투명성’을 갖춘 기업에 더 높은 밸류에이션을 부여하게 될 것이다.

뉘른베르크의 교훈, 기계 뒤에 숨을 수 없는 책임

이 징후가 우리에게 보여주는 것은 세 가지다. 2021년 카불의 비극은 알고리즘을 맹신한 인간의 잘못이었으나 이제는 기계 스스로 오판할 수 있는 시대가 열렸고, 현장 지휘관의 책임은 실리콘밸리 개발자의 키보드 위로 분산되었으며, 기존의 국제법은 이 텅 빈 블랙박스를 처벌할 힘을 잃었다.

전쟁의 본질은 잔혹함이 아니라 그 잔혹함을 통제하려는 인간의 책임감에 있다. 뉘른베르크 재판이 국가 폭력 앞에 개인의 책임을 물었듯, 21세기의 법정은 알고리즘이라는 장막 뒤에 숨은 인간의 책임을 다시 찾아내야 한다. 과거의 비극을 반복하지 않으려면, 기계의 오판이 전범의 면죄부가 되는 순간을 막아서야만 한다.

생각해볼 질문

️ 만약 당신이 징집되어 AI 드론을 조종하는 부대에 배치되었다고 가정해 보자. 레이더에는 민간인 건물로 보이지만 AI는 적군의 은신처라며 99% 확률로 타격을 권고한다면, 당신은 화면의 데이터를 믿고 버튼을 누르겠는가 아니면 직감을 믿고 명령을 거부하겠는가?

국방 AI 주식을 포트폴리오에 담은 투자자라면, 회사의 잠재적인 국제 전범 소송 리스크를 어떻게 평가할 것인가? 한 줄의 코딩 실수가 기업을 파산으로 몰고 갈 수 있다는 점에서, 투자 전 반드시 확인해야 할 회사의 내부 통제 시스템은 무엇일지 고민해 본다.

주목해야 할 것들

미래 신호: 주요 국방 AI 벤더사들이 제품 납품 시 “오작동으로 인한 민간인 피해 발생 시 책임을 군 당국에 전가한다"는 면책 조항을 계약서에 명시하려는 움직임이 관찰될 수 있다. 이는 법적 리스크를 피하려는 방산업체의 다급함을 보여주는 명확한 신호다.

⚖️ 분기점: 다가오는 유엔 회의에서 주요 군사 강대국들이 자율 무기 규제 조약에 반대하며 시간을 끄는 행태를 지켜봐야 한다. 기술 우위를 놓치지 않으려는 강대국과 인명 피해를 막으려는 국제단체의 충돌이 책임 공백을 어떻게 메울지 또는 넓힐지를 가르는 핵심 변수다.

연결 이슈: 자율 살상 무기의 책임 논란은 필연적으로 치안 및 경찰 분야의 ‘예측 치안(Predictive Policing)’ 논쟁과 연결된다. 범죄 발생을 예측하여 무고한 사람을 구금했을 때의 법적 책임 소재는 전장의 알고리즘 문제와 정확히 동일한 궤적을 그린다.