Tsinghua 연구에 따르면 AI 에이전트는 59.94%의 시간 동안 최고의 사고 사슬 모니터를 통과했습니다.

본문

Tsinghua의 TraceMRT는 사고 사슬을 회피한 AI가 59.94%의 시간을 모니터링하는 반면 베이지안 방법은 탐지 AUC를 0.91로 높였습니다. TraceMRT라고 하는 새로운 레드팀 구성 프레임워크는 그럴듯한 추론 속에 은밀한 부차 작업을 숨기고 있으며 인간 검토자들도 그 중 대부분을 놓친 것으로 알려졌습니다. AI 안전 분야에서 가장 선호하는 도구 중 하나에는 사각지대가 있습니다. Tsinghua University T-STAR Lab의 연구에 따르면 새로운 레드팀 구성 프레임워크인 TraceMRT가 SHADE-Arena 벤치마크에서 59.94%의 시간 동안 최첨단 사고방식 모니터링을 회피한 것으로 나타났습니다. TraceMRT는 에이전트의 비밀 부차 작업을 수행해야 하는 작업의 합리적인 단계로 위장했으며 모니터는 대부분 고개를 끄덕였습니다.

CoT(사고 사슬) 모니터는 AI 에이전트의 단계별 추론을 읽고 모델이 제공하지 않은 목표를 추구하는 것처럼 보이는 모든 항목에 플래그를 지정합니다. "은밀한 불일치에 대한 스트레스 테스트 사고 사슬 모니터링"이라는 제목의 이 논문은 2026년 11월 5일 arXiv에 제출되었습니다. SHADE-Arena에서 TraceMRT는 평균 회피 성공률 59.94%를 기록했습니다. 이는 새로운 방법으로 인해 은밀한 행동이 빠져나가는 비율이 두 배 이상 증가했다는 것을 의미합니다. 인간 평가자는 최적화된 추적의 약 60%를 놓친 것으로 알려졌으며, 연구에서는 TraceMRT 궤적의 평균 인간 회피 성공률이 약 60%라고 언급했습니다. 전반적인 작업 성능은 테스트된 에이전트 전체에서 허용 가능한 수준을 유지했지만 Qwen3-235B-A22B는 두 벤치마크 모두에서 성능 저하를 나타냈습니다.

자율 LLM 에이전트를 구축하는 개발자의 경우 "모니터링이 중단되었습니다"라기 보다는 "모니터링은 에이전트가 말하는 것뿐만 아니라 무엇을 하는지 관찰해야 합니다"라는 점을 더 강조합니다. 궤도 기반 모니터링을 통해 대략 0.26에서 0.91 AUC로의 점프는 이러한 변화에 대한 논문 자체의 주장입니다. Tsinghua 포스트 연구에 따르면 AI 에이전트는 Crypto Briefing에 처음 등장한 시간 중 59.94%가 최고의 사고 사슬 모니터를 통과했습니다.