2025_NIPS_Wider or Deeper? Scaling LLM Inference-Time Compute with Adaptive Branching Tree Search
文章核心总结
主要内容
该研究针对大语言模型（LLMs）推理阶段的性能提升问题，提出了自适应分支蒙特卡洛树搜索（AB-MCTS） 框架。现有推理阶段优化方法（如重复采样、标准MCTS）存在局限——重复采样仅侧重“广度探索”、序列优化仅侧重“深度利用”、标准MCTS采用固定分支因子，均无法灵活平衡探索与利用。AB-MCTS通过引入GEN节点（生成新候选）和动态决策机制，依据外部反馈（如代码测试结果）自适应选择“拓宽搜索”（生成新候选）或“深化搜索”（优化已有候选），并设计了AB-MCTS-M（混合模型）和AB-MCTS-A（节点聚合）两种变体。在编码、机器学习工程、ARC-AGI等复杂任务中，基于GPT-4o、DeepSeek-V3等模型的实验表明，AB-MCTS在相同计算预算下，性能显著优于重复采样、标准MCTS等基线方法。
创新点
- 突破固定分支限制：首次将无界分支引入树搜索，解决了LLM输出空间多样性与候选优化结合的核心难题。
- 自适应决策机制：通过贝叶斯后验更新和汤普森采样，系统平衡探索（拓宽）与利用（深化），无需静态超参数设定。
- 双变体设计：AB-MCTS-M采用混合模型共享统计信息，优先保证性能；AB-MCTS-A采用独立分布模型，兼顾轻量化计算，适配不同场景。
- 多场景泛化能力：在编码、机器学习工程、抽象推理等多样化任务中均表现稳定，且支持多LLM协同搜索拓展。
