오픈AI, 100개 실험 과제 공개…아스트라 평균 채점점수 66.7%

본문

오픈AI는 습식 실험 원자료를 읽고 오류를 찾는 AI 평가를 공개했다. GPT-6 Astra의 66.7%는 정답률이 아니라 과제별 채점 기준에서 얻은 평균 점수다. 오픈AI(OpenAI)가 AI 에이전트의 습식 실험 원자료 해석 능력을 평가하는 100개 과제 벤치마크 BioBasicsBench를 6일 공개했다. 실험 사진과 기기 출력값을 읽고, 오류나 근거가 부족한 결론을 가려내는 능력을 평가한다. 오픈AI는 공식 발표에서 최고 추론 설정인 xhigh로 평가한 GPT-6 Astra의 이용 가능한 점수 평균이 66.7%였다고 밝혔다. 100개 과제 중 66.7개를 맞혔다는 뜻이나 정답률·성공률을 의미하지 않는다. 이번 벤치마크는 실제 연구 성과나 실험 자동화 성공률이 아니라, 실험 자료를 읽고 판단하는 능력을 과제별로 평가한다. 평가 목표는 실험 원자료 해석, 실험 오류 식별, 데이터가 결론을 뒷받침하지 못하는 상황의 인식이다.

100개 과제는 △단백질 실험 △이미징·유세포 분석 △정량·분석법 △핵산 실험 △분자 클로닝 등 다섯 분야를 다룬다. 각 설정은 100개 과제를 다섯 차례 수행해 총 1만8500건의 결과를 냈다. GPT-6 Astra 평균 점수의 95% 신뢰구간은 60.3~73.1%였다. 오픈AI는 6월 17일 전문가가 작성한 과제 750개로 7개 워크플로와 7개 생물학 분야를 다루는 LifeSciBench도 발표했다.