推理时扩展

推理时扩展与测试时计算

传统语言模型扩展主要增加参数、训练数据和预训练算力。推理模型把另一项资源引入能力方程：在回答一个问题时，允许模型使用更多测试时计算。模型可以生成多个候选、展开更长的中间推理、调用验证器或搜索不同路径，再选择最终答案。

本页聚焦推理阶段的计算分配，不重复模型推理与部署的 Prefill、Decode、KV Cache 和服务调度基础；可验证奖励的训练方法见 RLVR 与 GRPO。

设模型对问题 x 生成候选答案 y_1, ..., y_n，测试时扩展要解决的不是单纯增加 n，而是如何使用额外预算：

因此，test-time compute 的纵轴不是“思考 token 越多越好”，而是计算预算与可验证信息之间的匹配程度。

最简单的测试时扩展是对同一个问题独立采样 N 个答案，再用规则、奖励模型或多数投票选择结果。

Self-Consistency Improves Chain of Thought Reasoning in Language Models 让模型生成多条推理路径，再对最终答案进行聚合。它利用了一个事实：不同推理路径可能表述不同，但在数学或逻辑题上得到相同答案。

自洽性采样适合：

它不适合直接解决开放式写作、事实问答和没有可靠最终答案的任务。多数投票的前提是“正确答案会在候选中重复出现”；如果模型存在系统性偏差，增加采样只会重复错误。

Best-of-N 需要一个选择器。可选方案包括：

Tree of Thoughts 将推理过程组织成搜索树：模型生成多个中间状态，评估器判断哪些状态更有潜力，再继续展开部分节点。与单条 Chain of Thought 相比，树搜索可以回溯、比较和剪枝。

搜索的关键变量包括：

如果中间状态评估不可靠，搜索会把预算集中到错误分支。搜索并不会自动产生新知识，它只能重新组织模型已经具备的候选能力。

逐步打分的机制、标注代价与和结果奖励的分工，以 RLVR 与 GRPO 为准。Let's Verify Step by Step 说明过程奖励有助于定位第一处错误，但步骤标注贵，且不等于逻辑证明。本页只把它当作 test-time 搜索的一种评分器，不重复训练细节。

固定给每个问题相同的思考预算并不经济。简单事实题不需要长搜索，难题需要更多候选和验证。自适应策略可以依据：

Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters 的核心启示是：在固定总计算预算下，模型规模与测试时计算的分配存在可优化关系。更大的模型不一定在所有问题上都占优；对部分可验证推理任务，较小模型配合更多测试时搜索可能更划算。

推理时扩展的粗略成本可以拆为：

总成本 ≈ 候选数量 × 单候选生成成本
       + 验证器成本
       + 搜索状态维护成本
       + 失败重试成本

产品设计应同时记录：

在产品中启用推理时扩展前，先回答四个问题：

推理时扩展最适合数学、代码、规划、结构化分析和高价值决策辅助。对实时聊天、低价值批量任务和开放事实问答，应先用小规模曲线确认边际收益。

本文为原创整理，引用日期：2026-09-04。论文方法、实验和定量结论以原始论文为准。主要来源包括 Self-Consistency、Tree of Thoughts、Let's Verify Step by Step 与 Scaling LLM Test-Time Compute。

发现错误？想一起完善？在 GitHub 上编辑此页！
本页面贡献者：AI-PM Wiki Team
本页面的全部内容在 CC BY-SA 4.0 和 SATA 协议之条款下提供，附加条款亦可能应用