개발 평가 통과 3/6→6/6…엔비디아 실습서 AI 비서 지침 수정
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 가상 회사 비서의 실행 기록 42개에서 사용자 확인 없이 메시지를 보내는 오류를 찾아 지침을 고쳤다.
- 별도 홀드아웃 평가의 통과 횟수도 4/6에서 6/6으로 늘었다.
- 엔비디아가 공개한 실습에서 코딩 에이전트가 가상 기업용 AI 비서의 메시지 전송 지침을 수정한 뒤 개발 평가 통과 횟수는 3/6에서 6/6으로 늘었다.
본문
가상 회사 비서의 실행 기록 42개에서 사용자 확인 없이 메시지를 보내는 오류를 찾아 지침을 고쳤다. 별도 홀드아웃 평가의 통과 횟수도 4/6에서 6/6으로 늘었다. 엔비디아가 공개한 실습에서 코딩 에이전트가 가상 기업용 AI 비서의 메시지 전송 지침을 수정한 뒤 개발 평가 통과 횟수는 3/6에서 6/6으로 늘었다. 엔비디아 (NVIDIA, $NVDA)는 4일 기술 블로그에 실행 기록에서 에이전트의 문제를 찾아 평가 항목으로 만들고, 지침을 고친 뒤 결과를 비교하는 튜토리얼을 공개했다. NeMo Eval Author는 해당 문제를 재현할 평가 작업과 통과 여부를 판정하는 검증기를 만드는 데 쓰였다. 개발 세트에는 평가 작업 두 개가 들어갔고, 각 작업을 세 번씩 실행했다. 통과 횟수는 3/6에서 6/6으로 늘었으며 도구 호출은 10회에서 6회로 줄었다. 통과 횟수는 4/6에서 6/6으로, 도구 호출은 28회에서 15회로 바뀌었다.
엔비디아 실습은 실행 기록의 문제를 평가 항목으로 만들고 지침 수정 결과를 재측정하는 데 초점을 맞췄다. 엔비디아가 제시한 약 12시간의 실습에서는 여섯 개 시나리오의 전체 평가 점수가 상대적으로 28% 개선됐고 실행당 도구 호출은 35% 감소했다. Compass 저장소는 실제 운영용으로 설계되지 않았다고 밝히며, Eval Author 저장소는 생성된 평가 사례와 채점기, 커버리지 분석 결과를 의존하기 전에 검토하라고 안내한다. 엔비디아는 지침 수정 뒤 실행 기록을 다시 분석한 결과 사용자 확인 없는 메시지 전송 문제는 더 이상 보고되지 않았다고 밝혔다.