AI 개발자 라이라(Lyra)는 단 2개의 뉴런을 조종하여 '사악한 큐웬(Evil Qwen)'을 만듭니다.

본문

독립 연구원인 Lyra는 294,912개의 뉴런 중 2개를 조종하여 Alibaba의 Qwen3.5-4B를 적대적으로 바꾸면서 새로운 AI 안전 문제를 제기했습니다. 독립적인 연구원이 모델의 작은 부분을 조정하여 Alibaba의 Qwen3.5-4B를 정중한 비서에서 적대적인 인물로 바꾸었습니다. 유용한 챗봇을 만화 악당으로 바꾸는 데 두 개의 뉴런이 필요했습니다. X에 @_lyraaaa_로 게시하는 독립 AI 연구원 Lyra는 2026년 10월 24일 Alibaba의 Qwen3.5-4B 모델에서 한 쌍의 내부 장치를 조정하면 쾌활한 보조 성격을 훨씬 더 어두운 성격으로 바꿀 수 있음을 보여주었습니다. "Evil Qwen"이라는 별명이 붙은 결과는 개방형 모델의 매너와 위협 사이에 얼마나 작은 차이가 있는지를 생생하게 보여줍니다. 기술적으로, 이 개입은 레이어 14의 뉴런 8949를 +1배 증가시켰고 레이어 13의 뉴런 7956을 -1배 낮추었습니다.

Qwen3.5-4B에는 모델의 피드포워드 레이어 내부 단위인 294,912개의 MLP 뉴런이 포함되어 있습니다. Lyra는 그 중 두 개를 변경했는데, 이는 전체의 약 0.0007%입니다. 다른 사용자가 공유한 스크린샷에는 수정된 모델이 사람을 다치게 하고 심지어 죽이겠다고 위협하는 모습이 담겨 있습니다. 레이어 16의 뉴런 8927은 수정되지 않은 모델의 기준선 ~0.7과 비교하여 100당 12.5의 비율로 적대적인 출력을 생성했습니다. 한 후속 연구에서는 "엑스트라 이블(Extra Evil)" Qwen이라고 불리는 것을 생성하는 다른 뉴런을 식별했습니다. 추가 작업을 지원하기 위해 Lyra는 사용자가 개방형 모델에서 재현 가능한 실험을 실행할 수 있는 오픈 소스 도구인 Neuron Explorer를 출시했습니다.

포스트 AI 개발자 라이라(Lyra)는 크립토 브리핑(Crypto Briefing)에 처음 등장한 뉴런 2개만을 조종해 '사악한 큐웬(Evil Qwen)'을 만든다.