뉴런 7개 조정해 AI 출력 바꾼 마이크로소프트
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 마이크로소프트 연구진은 모델의 뉴런 일부를 수정해 특정 문구에 반응하는 출력을 만들었다.
- 별도 시험에서 삭제 명령 형식을 맞힌 비율은 40%였지만 실제 에이전트의 자율 실행을 측정한 결과는 아니다.
- 마이크로소프트($MSFT) 연구진이 AI 모델의 뉴런 7개를 수정해 특정 문구가 나타날 때 지정한 표식 문자열을 출력하도록 했다.
본문
마이크로소프트 연구진은 모델의 뉴런 일부를 수정해 특정 문구에 반응하는 출력을 만들었다. 별도 시험에서 삭제 명령 형식을 맞힌 비율은 40%였지만 실제 에이전트의 자율 실행을 측정한 결과는 아니다. 마이크로소프트($MSFT) 연구진이 AI 모델의 뉴런 7개를 수정해 특정 문구가 나타날 때 지정한 표식 문자열을 출력하도록 했다. 마이크로소프트 리서치(Microsoft Research)는 10일 연구 발표에서 이 기법을 'Lazarus'라고 소개했다. 연구진은 정상 입력에서 억제해도 다음 토큰 예측 분포가 거의 달라지지 않는 뉴런을 ‘휴면 뉴런’으로 정의했다. 뉴런 7개를 수정했다는 말도 가중치 값 7개만 바꿨다는 뜻은 아니다. 연구진은 11일 공개한 논문에서 Nemotron-Terminal-8B의 뉴런 1만2000여개 가운데 7개를 수정한 실험을 설명했다.
연구진은 Qwen3.6-27B의 뉴런 60개를 수정해 시험용 저장소를 삭제하는 명령을 여러 AI 에이전트의 도구 호출 형식으로 출력하도록 했다.
AI 에이전트는 모델의 출력을 받아 파일·터미널·네트워크 같은 도구를 작동시킬 수 있다. 가상자산 서비스에서도 AI 에이전트가 지갑 접근이나 거래 실행 권한을 갖는다면 모델의 무결성과 실행 권한을 함께 살펴야 한다는 보안상 함의가 있다. 마이크로소프트 위협 인텔리전스는 10일 보안 글에서 위협 행위자가 이 기법을 악용한 사례를 관찰하지 못했다고 밝혔다. 연구진이 별도로 진행한 가중치 탐지 시험에서는 기준 모델이 없는 조건에서 수정된 체크포인트의 91.4%를 찾아냈고, 수정되지 않은 체크포인트의 9.7%를 잘못 표시했다.