구글 딥마인드, AI 모델 '이중 블라인드' 평가 도입…유출 막는다

본문

[디지털투데이 AI리포터] 구글 딥마인드가 AI 모델과 시험 문항을 서로 공개하지 않은 상태에서 성능을 평가하는 이중 블라인드 방식의 AI 평가법을 내놨다. 28일(현지시간) 온라인 매체 기가진에 따르면 이 방식은 AI나 개발사가 벤치마크를 미리 알고 점수를 높이는 일을 막아 평가 신뢰도를 높이는 데 초점을 맞췄다.기업과 연구기관이 새 AI 모델을 잇달아 내놓으면서 벤치마크 평가는 어떤 모델을 써야 할지 판단하는 중요한 기준이 됐다. 그러나 모델이 시험 문항이나 프롬프트를 미리 알거나, 개발사가 특정 벤치마크에 맞춰 모델을 훈련하면 기업과 연구기관이 새 AI 모델을 잇달아 내놓으면서 벤치마크 평가는 어떤 모델을 써야 할지 판단하는 중요한 기준이 됐다. 그러나 모델이 시험 문항이나 프롬프트를 미리 알거나, 개발사가 특정 벤치마크에 맞춰 모델을 훈련하면 실제 성능보다 높은 점수가 나와 정당한 평가가 어려워질 수 있다.

AI 에이전트가 시험 환경에 잘못 남은 기록을 참고하거나 인터넷 정보원을 찾기 위해 여러 방법을 쓰는 사례도 확인됐다. 정책 입안자와 연구자, 기업은 이런 벤치마크를 바탕으로 여러 판단을 내리는 만큼 점수가 인위적으로 부풀려지면 평가 체계 전반의 신뢰가 흔들릴 수 있다. 다만 외부 평가기관이 시험 문제를 제공하거나 개발사가 모델 가중치를 제공할 때는 어느 한쪽이 핵심 데이터 유출 위험을 감수해야 하는 한계가 있었다. 구글 딥마인드는 구글 클라우드의 기밀 컴퓨팅을 활용해 이 문제를 풀었다. 이 기술은 가상 머신 안에서 처리 중인 데이터를 암호화해 외부의 무단 접근이나 변조를 막는다. 외부 평가기관은 시험 데이터를, 개발사는 AI 모델을 이 환경에 각각 올려 처리함으로써 민감한 정보를 직접 노출하지 않고 평가를 진행할 수 있다.

구글은 그동안 내부 테스트에만 의존하지 않고 전문 연구기관, 시민사회단체, 각국의 AI 안전 연구기관과 함께 스트레스 테스트를 진행해왔다.

이번 파일럿 평가는 구글 딥마인드, 싱가포르 AI 연구소, OpenMined, MLCommons, AVERI가 공동으로 진행했다.