클라우드플레어 AI 응답 155건에 다른 고객 요청 내용 섞여

본문

클라우드플레어의 AI 추론 서비스에서 다른 고객의 요청 내용이 섞인 응답 155건이 발생했다. 문제는 Workers AI의 GLM-5.3에서 긴 입력을 처리하는 과정에서 생겼다. 클라우드플레어(Cloudflare)는 26일 공개한 사고 보고서에서 문제가 8월 27일부터 9월 9일까지 Workers AI의 GLM-5.3 모델에 영향을 미쳤다고 밝혔다. 영향을 받은 응답은 모두 입력 길이가 68만1280토큰을 넘는 요청에서 나왔다. 클라우드플레어는 Workers AI의 다른 모델에서는 같은 문제가 발생하지 않았다고 밝혔다. 클라우드플레어는 모델이 최대 104만8576토큰을 받도록 설정했지만, 입력을 처리하는 GPU의 KV 캐시에는 68만1280토큰을 담을 공간만 마련했다. 응답 생성 과정에서 GPU가 새 요청으로 덮어쓰지 않은 메모리 영역까지 읽으면서 그곳에 남아 있던 이전 고객의 입력이나 생성 내용이 답변에 섞였다.

메모리 영역은 성능을 위해 요청 사이에 초기화되지 않고 다음 요청이 덮어쓰는 방식으로 운영돼, 외부에서는 이상을 알아채기 어려웠다. 클라우드플레어는 출시 전 긴 입력을 시험하면서 응답 상태와 성능은 확인했지만 생성된 답변의 내용이 올바른지는 검증하지 않았다고 인정했다. 클라우드플레어는 이튿날 사고를 선언한 뒤 약 40분 만에 모델의 공개 접근을 중단했고, 설정과 추론 엔진을 수정해 같은 날 서비스를 복구했다. SGLang 개발팀도 긴 요청이 거부된 뒤 응답 생성 단계로 넘어가지 않도록 처리 방식을 고쳤다. 이번 사고는 결제 기능이 아닌 AI 모델의 요청 처리 과정에서 발생했다.