InnoEval과 새로운 벤치마크는 AI 모델이 독창적인 연구에 어려움을 겪고 있음을 보여줍니다.

본문

InnoEval을 포함한 새로운 벤치마크는 개척자 AI 모델이 인간보다 참신함을 뒤처지고 핵심 연구 아이디어를 처음부터 복구하는 경우가 거의 없음을 보여줍니다. 2025~2026년의 일련의 연구에 따르면 프론티어 AI 모델은 커피가 식기 전에 수천 개의 논문을 요약할 수 있는 새로운 방법을 발명하는 것보다 알려진 과학을 리믹싱하는 데 훨씬 더 뛰어납니다. 처음부터 완전히 새로운 연구 기법을 고안해 달라고 요청하면 그 결과는 훨씬 덜 인상적입니다. 이는 InnoEval이라는 새로운 평가 프레임워크가 주도하는 2025년과 2026년 연구 클러스터의 공유 결론입니다. 그들은 함께 의지할 사전 정보 없이 새로운 연구 방법을 개발하라는 요청을 받을 때 AI 모델의 성능이 저조하다고 제안합니다. InnoEval은 2026년 2월 arXiv 논문에 처음 등장했고 이후 ICML 2026에서 발표되었습니다.

AI 모델이 출판 이전에 존재했던 참조 목록만을 사용하여 논문의 핵심 아이디어를 복구할 수 있는지 테스트했습니다. LLM은 초점이 좁고 다양성이 거의 없는 아이디어를 생성하는 경우가 많습니다. 워크플로 관점에서 동일한 질문을 조사하기 위해 2025년과 2026년에 두 개의 벤치마크인 InnoGym과 InnovatorBench가 추가로 도입되었습니다. 현재 모델은 문헌을 표면화하고 가설을 테스트하는 연구 보조자로서 매우 적합한 것으로 보입니다. 연구에서 AI의 제한된 독창성은 혁신을 억제할 수 있으며, 다양한 과학적 탐구를 육성하는 데 있어 AI의 역할에 대한 재평가를 촉구합니다. InnoEval 포스트와 새로운 벤치마크는 AI 모델이 Crypto Briefing에 처음 등장한 독창적인 연구와 어려움을 겪고 있음을 보여줍니다.