정답 없는 문제를 푸는 벤치마크
ForecastBench는 기존 AI 벤치마크와 성격이 다르다. 정답이 정해진 문제를 푸는 방식이 아니라, 아직 결과가 나오지 않은 실제 미래 사건의 발생 확률을 얼마나 정확히 예측하는지를 평가한다. 펜실베이니아대 와튼스쿨 필립 테틀록(Philip Tetlock) 교수 등이 관여한 Forecasting Research Institute(FRI)가 운영하며, ICLR 2025에서 채택된 벤치마크다. 평가 데이터는 FRED, 야후 파이낸스 등 경제·금융 시계열 데이터와 폴리마켓, 메타큘러스 등 미래 사건 데이터를 기반으로 구성된다.
이번 리더보드에는 구글 딥마인드, xAI 등 글로벌 AI 연구팀이 참가했다. 뉴로퓨전은 익명 제출 모델까지 포함하면 1~4위를 차지했다고 밝혔다. 다만 이는 데이터셋 부문 선행 리더보드 결과이며, 마켓 예측 부문 결과가 추가돼야 종합 순위가 결정된다.
4년간 쌓은 금융 데이터 인프라가 기반
뉴로퓨전은 이번 성과의 배경으로 금융 AI 연구팀이 개발한 4단 동적 시계열 그래프 'Demian'과 자체 금융 데이터 인프라, 금융 특화 추론 기술의 결합을 꼽았다. 지난 4년 동안 530개 이상의 데이터 파이프라인을 구축했고, 167개 금융 특화 MCP를 마련했다. 지난 7월에는 자체 84문항 금융 평가 세트를 구성해 검증한 바 있는데, 이번에는 외부 공개 벤치마크에서 같은 기준으로 검증받았다는 점에 의미를 뒀다.

Valley AI 리서치 기능에 적용
최한철 뉴로퓨전 대표는 “사회과학에서의 미래 예측에는 퀀트 영역의 귀납적 추론과 범용 LLM을 기반으로 한 연역적·귀추적 추론에 더해 금융시장 참여자인 인간의 사고·인지·감정의 동역학을 이해하는 별도의 아키텍처가 필요하다”며 “글로벌 무대에서 검증된 예측 역량을 Valley AI의 리서치 기능 전반에 적용해 투자자가 보다 정교한 분석을 바탕으로 판단할 수 있도록 지원하겠다”고 말했다. 최 대표는 S&P Global에서 근무한 경력이 있다.
뉴로퓨전이 운영하는 금융 AI 투자 플랫폼 Valley AI는 올해 1월 출시돼 유료 구독자 1만명, 무료 회원 3만명 이상을 확보했다. 이달에는 투자 분석·금융 추론에 특화된 리서치 AI 에이전트 'CereFin'을 탑재했다.