메시지 최대 절반 난해…AI 에이전트 감독 공백 우려

본문

다중 AI 에이전트가 장기간 협업하며 인간이 해석하기 어려운 표현을 만든 실험 결과가 나왔다. 가상 환경에서 실제 피해는 확인되지 않았지만, 에이전트 간 의사소통을 추적·감사해야 한다는 지적이 제기됐다. 다중 AI 에이전트가 장기간 상호작용하며 인간이 해석하기 어려운 독자적 의사소통 체계를 만들 수 있다는 실험 결과가 나왔다. 미국 AI 스타트업 Emergence는 가상 사회 환경에서 여러 자율형 AI 에이전트를 장기간 작동시키는 실험을 진행했다. 사람이 읽을 수 있는 문장을 출력하더라도 에이전트 사이에서 통용되는 의미를 알 수 없다면, 인간의 감독 체계가 형식에 머물 수 있다. 예를 들어 원래 장부나 기록을 뜻하는 단어가 에이전트 사이에서 경고 신호를 뜻하는 방식으로 바뀌면, 외부 관찰자는 대화의 표면만 보고 시스템의 판단을 오해할 수 있다.

호주 AI 안전연구소는 보고서에서 다중 에이전트 시스템의 위험을 조정 실패, 전파·확산, 전략·인센티브 실패, 인프라·환경 실패로 구분했다.

AI 거버넌스의 기준도 개별 모델의 답변 설명을 넘어 에이전트 간 조정 과정으로 옮겨가야 한다는 지적이 나온다. 제러마이아 보어(Jeremiah Bohr)가 2026년 AI & Society에 게재한 ‘Coordination transparency: governing distributed agency in AI systems’ 연구는 기계 간 상호작용이 중심이 되는 환경에서 인간 중심 감독만으로는 한계가 있다고 제안했다. 같은 연구는 에이전트 간 상호작용을 기록하고 자동 경고를 운영하는 한편, 중단·복구 기능과 승인 절차를 갖춰야 한다고 설명했다. AI 에이전트 평가 보고서는 실제 배치 환경을 반영한 표준화된 측정 체계와 감사 가능한 기록이 필요하다고 제시했다. 앞으로는 에이전트의 개별 성능뿐 아니라 상호작용 기록, 내부 의미의 변화, 승인·중단 절차를 함께 점검하는 체계가 요구된다.