페이페이 리, AI 평가에 독립 벤치마크 요구

본문

월드랩스 CEO 페이페이 리가 학계·정부·산업계가 참여하는 독립적인 AI 평가 체계를 요구했다. 페이페이 리(Fei-Fei Li) 월드랩스 CEO가 첨단 인공지능(AI) 평가를 개발 기업에만 맡겨서는 안 된다며 학계·정부·산업계가 참여하는 독립 감독 체계를 요구했다. AI 기업이 자체적으로 만든 기준으로 자사 모델을 평가하면 결과의 객관성과 책임성을 확보하기 어렵다는 취지다. 벤치마크는 AI 모델을 어떤 기준으로 비교할지 정하는 시험 체계이며, 평가기관이 외부에 있더라도 개발사가 시험 기준과 평가 범위를 정하면 결과가 성능 홍보 수단으로 활용될 수 있다. 에이던 고메즈(Aidan Gomez) 코히어 CEO는 소수의 상업적 이해관계를 가진 기업들이 AI 규칙을 정해서는 안 된다고 비판했고, 브루킹스연구소의 엘함 타바시(Elham Tabassi) 연구원은 기업의 자발적 약속만으로는 부족하다고 지적했다.

AI Evaluator Forum은 18일 100명 이상의 연구자와 평가자가 참여한 공개서한에서 제3자 평가기관에 독립적인 판단권과 편집권을 보장하고, 평가에 필요한 시스템 접근권과 충분한 시간을 제공해야 한다고 주장했다. AI Evaluator Forum이 2025년 공개한 평가 투명성 원칙도 평가 방법의 통제권, 결과 편집권, 시스템 접근 수준, 평가기관과 개발사의 이해상충 공개를 핵심 조건으로 제시했다. 캘리포니아 AI 프런티어 모델 공동정책 워킹그룹은 2025년 보고서에서 위험 평가를 제3자 감사와 연계하고 투명성을 확대하는 방안을 제시했으며, 리는 공동 저자 중 한 명이다. 이번 논의는 AI 안전평가단에 시스템 접근권과 결과 편집권을 보장해야 한다는 앞선 공개 요구 와도 이어진다.

국내 AI 기업과 정책 담당자에게도 이 논쟁은 평가기관의 선정 주체, 비용 부담 구조, 시스템 접근 범위, 결과 공개 방식이 독립적으로 설계됐는지를 따져야 한다는 기준을 제시한다.

현재 독립 감독기구 설치나 구속력 있는 규제가 확정된 것은 아니다. 확인된 단계는 AI 기업과 연구자들이 독립성·접근권·투명성을 갖춘 평가 체계를 요구하고 있다는 점이며, 향후 제안이 실제 계약과 제도로 이어질지는 추가 논의가 필요하다.