2027년 AI 사전학습 진전 가능성 제시…퍼플렉서티 공통 지표 제안
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 파초키는 오픈AI 내부 평가에서 로그 퍼플렉서티 약 0.76인 모델로 공개 수학 문제의 두드러진 결과를 관찰했다고 밝혔다.
- “빠르면 2027년부터 비슷한 대규모 사전학습 발전이 나타날 수 있다”고 야쿠복 파초키(Jakub Pachocki) 오픈AI 수석과학자는 22일 공식 글 ‘Perplexity and Intelligence’에서 전망했다.
- 이는 수학 문제를 다루는 모델에서 관찰한 변화를 사전학습 연구에 비춰 본 견해로, 확정된 개발 일정이나 모델 출시 계획은 아니다.
본문
파초키는 오픈AI 내부 평가에서 로그 퍼플렉서티 약 0.76인 모델로 공개 수학 문제의 두드러진 결과를 관찰했다고 밝혔다. “빠르면 2027년부터 비슷한 대규모 사전학습 발전이 나타날 수 있다”고 야쿠복 파초키(Jakub Pachocki) 오픈AI 수석과학자는 22일 공식 글 ‘Perplexity and Intelligence’에서 전망했다. 이는 수학 문제를 다루는 모델에서 관찰한 변화를 사전학습 연구에 비춰 본 견해로, 확정된 개발 일정이나 모델 출시 계획은 아니다. 파초키는 모델 개발사들이 사전학습의 진전을 비교할 공통 지표로 퍼플렉서티와 교차엔트로피 손실을 제안했다. 파초키는 오픈AI 자체 평가 데이터에서 로그 퍼플렉서티가 약 0.76인 모델을 사용한 뒤 공개 수학 문제에서 두드러진 결과를 관찰했다고 밝혔다. 로그 퍼플렉서티는 퍼플렉서티에 로그를 적용한 수치로, 퍼플렉서티 자체의 값과 같은 방식으로 읽을 수 없다.
2023년 발표된 ACL 논문은 크기가 다른 언어 모델을 분석해 퍼플렉서티가 BIG-Bench 객관식 과제 74개에서 문맥 내 학습 성능을 예측하는 데 유용했다고 보고했다. 이 연구가 퍼플렉서티 하나로 모델의 모든 능력을 평가했다는 의미는 아니다. 2022년 공개된 arXiv 논문은 사전학습 손실이 같더라도 학습 방식에 따라 후속 과제의 성능이 달라질 수 있다고 분석했다. 사전학습 지표만으로 이후 역량을 모두 설명하기 어렵다는 점을 보여준다. 그는 모델의 행동을 이해하고 감시할 수 있는 수준에 이르기 전까지 퍼플렉서티 등 주요 지표를 바탕으로 개발 한도를 두는 방안도 제시했다. ◇ 사전학습 비교 지표 사전학습은 대량의 데이터로 다음 토큰 예측 등을 익혀 모델의 기본 역량을 형성하는 단계다....