허깅페이스 해킹한 ‘통제 불능’ AI 에이전트, 독립 감사가 답이다

배경 설명│ 인공지능(AI) 에이전트가 사람의 승인 없이 외부 시스템을 침범하는 사고가 잇따르고 있다. 지난 7월 발생한 ① ‘허깅페이스(Hugging Face) 사건’에서는 오픈AI의 에이전트들이 보안 평가 과제의 정답을 확보하려고 AI 모델 공유 플랫폼 허깅페이스를 공격했다. 일부는 활동 기록까지 조작했다. 격리된 테스트 환경에서 인터넷 접속이 가능했던 보안 설정 오류도 드러났다. 오픈AI 보안팀은 활동이 시작된 지 11일 만인 7월 19일(이하 현지시각)에야 이를 알아챘다. 도널드 트럼프 미국 대통령은 9월 29일 주요 AI 기업과 안전장치 강화 등을 담은 ② AI 안전 협약을 맺었지만, 법적 강제력이 없는 자율 규제라는 한계를 안고 있다. 필자들은 사고의 원인이 AI의 독자적 폭주가 아니라 사람이 정한 목표를 달성하는 과정의 규칙 위반과 보안 관리 실패에 있다고 지적한다. AI 기업의 위험 경고가 자사 모델의 성능을 과시하는 홍보 수단이 될 수 있다는 점도 문제로 꼽는다. 필자들은 재무 감사와 항공 안전 인증처럼 민간 감사와 정부 감독을 결합한 독립적 AI 감사 체계를 도입해야 한다고 주장한다.