마이크로소프트 CEO, 왜 모델 밖에서 AI 에이전트 통제해야 하나

본문

[디지털투데이 황치규 기자]"AI가 우리 대신 하는 일에 대한 책임을 외부에 넘길 순 없다. 가장 믿을 만한 초지능 시스템은 가장 믿는 모델을 쓴 시스템이 아니다. 모델을 가장 덜 믿게 해주는 시스템이다."사티아 나델라 마이크로소프트 CEO가 최근 소셜 미디어 X(트위터)에 '초지능 시대, 내부자 위험으로서 모델(Models as Insider Risks in the Super Intelligence Era)'이란 제목으로 공유한 글이 테크판에서 화제다.그의 글은 초지능(Su 사티아 나델라 마이크로소프트 CEO가 최근 소셜 미디어 X(트위터)에 '초지능 시대, 내부자 위험으로서 모델(Models as Insider Risks in the Super Intelligence Era)'이란 제목으로 공유한 글이 테크판에서 화제다.

그런데도 기업들은 복잡한 에이전트 시스템과 모델들에 가장 민감한 데이터 접근 권한을 주고, 핵심 업무를 대신 처리하게 하고 있다는게 나델라 CEO 지적이다.

모델 공급사가 하는 보증도 이같은 책임을 덜어주지 못한다”면서 "초지능을 블랙박스로 두고 추천이나 답변, 행동을 받아들일지 말지만 고르는 방식은 안 된다. 이를 위한 방법이 폐쇄형과 오픈 웨이트 모델을 모두 내부자 위험(insider risk, 조직 내부자가 일으킬 수 있는 보안 위협)처럼 다루는 것이다. 이를 위해 나델라 CEO가 출발점으로 제시한 것은 모델 사고 과정(CoT, Chain of Thought) 공개다. 그는 이를 양보할 수 없는 조건으로 꼽으며 “'뉴럴리즈(Neuralese, 사람이 읽을 수 없는 모델 내부 언어)'가 추론을 불투명하게 둘 핑계가 될 순 없다”고 잘라 말했다. 모델 출력이 항상 사실대로, 투명하게 나오게 하는 방법을 아직 모르기 때문이다. 나델라 CEO는 모델이 무엇에 접근하고 어떤 행동을 할지 정하는 통제 장치는 모델 바깥에 있어야 한다는 입장이다.

그는 "의미 있는 모델 행동은 사람이 읽을 수 있고 위변조할 수 없는 증거를 남겨야 한다"면서 "관찰할 수 없다면 믿을 수 없다 모델 진술에 기대지 않고도 결과가 어떻게 나왔는지 재현할 수 있어야 한다"고 말했다. 그는 "모델 접근 범위와 행동을 조직이 독자적으로 정할 수 있어야 한다"고 말했다.