오픈AI, 챗GPT 성능 조사 1700건 추적…600건 넘게 원인 규명
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 내부 시스템은 3개월여 동안 조사 1700건 이상을 추적하고 하루 평균 17건을 자동 조사했다.
- 오픈AI가 코덱스(Codex) 에이전트를 활용해 챗GPT(ChatGPT) 성능 저하 조사 1700건 이상을 추적하고, 600건 넘는 사례의 원인을 규명했다.
- 오픈AI(OpenAI)는 19일 공개한 엔지니어링 글에서 내부 시스템 ‘퍼포먼스 팩토리(Performance Factory)’와 첫 적용 사례인 ‘리그레션 워크플로(Regression Workflow)’를 소개했다.
본문
내부 시스템은 3개월여 동안 조사 1700건 이상을 추적하고 하루 평균 17건을 자동 조사했다. 오픈AI가 코덱스(Codex) 에이전트를 활용해 챗GPT(ChatGPT) 성능 저하 조사 1700건 이상을 추적하고, 600건 넘는 사례의 원인을 규명했다. 오픈AI(OpenAI)는 19일 공개한 엔지니어링 글에서 내부 시스템 ‘퍼포먼스 팩토리(Performance Factory)’와 첫 적용 사례인 ‘리그레션 워크플로(Regression Workflow)’를 소개했다. 리그레션 워크플로는 설정된 성능 경보가 발생하면 조사 작업을 만든다. 코덱스 에이전트가 성능 저하의 원인을 조사하고 수정안을 제안한 뒤, 배포 후 회복 여부까지 확인한다. 기존에는 엔지니어가 지표와 로그, 추적 정보를 살펴보고 코드를 읽어 성능 저하 원인을 찾았다. 오픈AI는 이 과정에서 성능 조사 도구가 30개 넘게 쌓였다고 설명했다.
오픈AI는 조사 방법을 코덱스가 재사용할 수 있는 절차로 정리하고, 경보가 클라우드에서 자동 조사를 시작하도록 연결했다.
퍼포먼스 팩토리는 작업 상태와 조사 결과를 별도로 저장해 여러 단계의 작업을 이어가도록 구성됐다. 오픈AI는 근본 원인 제안 100건을 수동 검토해 70%를 정확하다고 평가했다. 이 결과는 검토한 100건에 대한 것이며 전체 조사 1700건의 정확도를 뜻하지 않는다. ◇ 자동 조사에서 근본 원인 검토까지 리그레션 워크플로는 설정된 성능 경보가 발생하면 조사 작업을 만든다.