24개 조합 중 21개 최고·공동 최고…구글 연구진 절차 그래프 제안

본문

LLM 에이전트의 작업 절차를 그래프로 구조화한 연구가 24개 모델·벤치마크 조합 중 21개에서 최고 또는 공동 최고 성능을 기록했다. 다만 arXiv 프리프린트 단계로 독립 검증과 상용화 사례는 확인되지 않았다. 연구진은 7개 벤치마크와 4개 LLM을 평가해 24개 모델·벤치마크 조합 중 21개에서 최고 또는 공동 최고 성능을 기록했다. Arık 연구진은 9월 8일 arXiv에 공개한 논문에서 ‘프로시저럴 그래프(Procedural Graphs): LLM 에이전트를 위한 자기진화 실행 구조’를 제안했다. 프로시저럴 그래프는 지식 그래프가 ‘개체-관계-개체’ 형태로 사실을 저장하는 것처럼 ‘절차-관계-절차’ 형태로 작업 순서와 조건을 표현한다. 에이전트는 작업 중 그래프에서 현재 위치를 찾고 주변 2단계 범위의 구조를 guidance 모델에 전달한다.

guidance 모델은 이를 현재 상황에 맞는 지침으로 바꿔 solver에 제공하지만, 최종 행동 자체를 강제하지는 않는다.

프로시저럴 그래프는 24개 모델·벤치마크 조합 가운데 21개에서 최고 또는 공동 최고 성능을 기록했다. 장기 작업을 평가하는 EnterpriseArena에서는 제미나이 3.1 프로의 전체 생존율이 기존 방식의 6%에서 그래프 적용 후 34%로 28%포인트 높아졌다. 따라서 특정 벤치마크와 모델 조합에서 구조화된 절차 지식이 유효할 가능성을 보여준 결과로 해석해야 한다. 그래프 검색과 guidance 생성 과정에는 추가 추론과 토큰 사용이 필요하다. 정확도와 장기 생존율이 높아져도 운영 비용과 지연시간이 늘어날 수 있고, 잘못된 그래프 수정이 누적될 위험도 별도로 검증해야 한다.