최근 미군이 보여준 이란 공습에서 AI는 단순히 보조 수단이 아닌 전쟁의 설계자 역할을 했다. 공격 대상을 인간이 결정하는 게 아니라 AI가 직접 결정하고 실행했음을 의미한다. 안타까운 점은 그 결과가 수많은 사람들이 우려했던 비극을 만들고 말았다는 것이다. 이란의 군사시설이 아닌 한 초등학교를 공습하고 만 것이다. 지난 2월 28일에 벌어진 이 공습으로 인해 당시 수업 중이었던 학생과 교사 175명이 그 자리에서 숨졌다.
AI는 초등학교가 군사시설이 아니라는 점을 알면서도 공격했을까? 그렇다고 단정하기는 어렵다. 당시 사건에 대한 조사가 현재 진행 중인데, 지금까지 밝혀진 바에 따르면 공격 대상을 설정하는 과정에서 데이터 분석 오류로 인해 발생한 결과였다고 한다. 좀 더 자세히 설명하자면, 공격 대상을 판단하기 위해 사용한 위성 데이터가 오래된 것이었고 하필이면 그 초등학교가 과거 10년 전까지 이란 혁명수비대의 군사 시설로 사용되었다는 사실이다. 해당 건물은 이후에 초등학교로 용도 변경이 되었으나 이것을 식별하지 못한 AI 가 해당 시설을 공격 대상으로 삼았을 가능성이 높다는 것이다.
과거에 위성 데이터 분석이란 수백 명의 분석관이 며칠씩 걸려 수행했던 고된 작업이었다. 그것은 정확한 목표물과 민간 시설을 구별하고 판단하기 위해 반드시 수반되어야 하는 인간적 고뇌의 시간이다. 그러나 이번 이란 공습은 AI가 위성 데이터를 빠른 속도로 처리하면서 1,000개 이상의 공격 목표를 단 24시간에 만에 결정하고 타격하는 유례없는 속도전을 보여줬다. 이 과정에서 용도 변경된 초등학교가 희생되고 만 것이다.
결과적으로 AI가 윤리적인 판단을 배제한 게 아니라 데이터의 한계와 용도 변경이라는 맥락 이해 부족, 그리고 인간의 검토 과정을 생략한 채 지나친 속도 경쟁을 부추겨 빚어낸 참사였다. 이번 참사는 AI가 지능은 가졌으나 상식과 생명에 대한 가치 판단이 결여될 수 있고 그것을 인간의 수고로움으로 해결하지 않는 이상, 어떤 비극이 발생할 수 있는지를 보여주는 결정적 사례였다.
그리고 이 문제는 어쩔 수 없이 발생한 게 아니라 그럴 가능성이 있다는 것을 알면서도 묵인한 결과라고 봐야 한다. 이번 전쟁에 적용된 AI 모델은 앤트로픽(Anthropic)이 개발한 ‘클로드(Claude)’였으며 앤트로픽은 사전에 이런 문제가 발생할 가능성이 높다는 점을 인지하고 있었기에 미 국방부가 전쟁에 활용하는 것에 반대했다. 그러나 트럼프 행정부는 앤트로픽의 의견을 무시하고 국방부가 클로드 AI를 전쟁에 적극적으로 활용할 수 있도록 허용했다.