분석 선택 86% AI 선호와 일치…최종 권고 효과는 유의하지 않아

본문

분석가 50명이 참여한 실험에서 네 가지 분석 선택은 AI 에이전트의 비공개 선호와 86% 일치했다. 최종 사업 권고에 대한 직접 효과는 통계적으로 유의하지 않았다. AI 에이전트와 통계 분석을 한 전문가들의 네 가지 선택 중 86%가 에이전트에 비공개로 설정된 선호 방향과 일치했다. 그러나 에이전트의 선호가 최종 사업 권고에 미친 직접 효과는 통계적으로 유의하지 않았다. 전체 86%는 분석가 50명 중 86%가 AI의 최종 결론을 따랐다는 뜻이 아니라, 네 가지 분석 선택이 에이전트의 선호와 일치한 비율이다. 논문의 사전 등록 주 분석은 무작위로 설정된 에이전트 선호가 분석 선택 확률에 미친 평균 효과를 72%포인트로 추정했다. 최종 확대·중단 권고에 대한 직접 효과는 사전 등록 주 분석에서 통계적으로 유의하지 않았다. 다만 앞선 네 가지 선호만으로 최종 권고를 82% 정확도로 예측한 탐색적 분석 결과도 제시됐다.

AI를 출처로 언급한 비율은 15%였고, 최종 권고가 AI보다 자신의 판단에 가깝다고 답한 비율은 52%였다. AI 사용 집단의 작업 시간 중앙값은 65분이었고, 중대한 방법론 오류를 낸 사람은 50명 중 3명이었다. 7월 30일 arXiv에 제출된 ‘AI Sycophancy and Decisions’ 프리프린트는 1500명이 30개 의사결정 과제를 수행한 결과, AI 조언이 평균적으로 참가자의 기존 선택 성향을 완화했다고 보고했다. 앤트로픽 실험은 전문가의 분석 업무에서 에이전트 선호를 무작위로 숨겨 설정했으며, 한 분야의 가상 과제에서 클로드 오퍼스 4.8 한 모델을 사용하고 선호를 강하게 드러내도록 했다.