强到弱脚手架：推理时提升弱模型性能的新方法

一项新研究表明，更强的 AI 模型可以在推理时构建 harness，使较弱模型的性能得到显著提升，且无需更新参数。这种被称为 strong-to-weak scaffolding 的方法，将推理过程有效卸载到确定性代码和结构化路由中，在 Theory-of-Mind 基准测试上几乎将目标模型的准确率翻倍。

📖 在 Pneumetron 阅读完整文章 →

多年来，提升小型语言模型的标准方法一直是训练时蒸馏。这一过程涉及更新较小模型的参数，使其模仿更大、更有能力的"教师"模型的行为。虽然有效，但这需要大量的计算资源、专门的数据集，以及微调过程中灾难性遗忘或过拟合的内在风险。一篇新的研究论文《AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses》提出了一个根本性转变：将这个迁移过程从训练时移到推理时。

研究人员没有修改较小模型的权重，而是开发了一种称为 strong-to-weak scaffolding 的方法。在这个范式中，强大的"构建者"模型构建一个推理时 harness——一个包装器或一组指令——来引导较弱的目标模型完成复杂任务。这个 harness 充当认知脚手架，允许较小的模型解决它本来会失败的问题，且无需任何参数更新。结果令人震惊：在 Theory-of-Mind 基准测试上，这项技术几乎将目标模型的平均性能翻倍，从 0.49 的基线提升到 0.91。

这种性能飞跃的机制并非强迫较弱模型"更努力思考"或采样更多 token。相反，构建者模型充当推理过程的架构师。研究人员利用四个不同的 Theory-of-Mind 基准测试来验证这一假设。构建者模型被给予一个小验证集（总数据的 5%）来在多轮迭代中优化 harness。一旦 harness 最终确定，它就被应用到完整的测试集。

对成功 harness 的分析表明，性能提升源于三个特定的架构干预：

Offloading to Deterministic Code： harness 将模糊的推理步骤转换为严格的确定性代码执行，降低幻觉或逻辑错误的概率。

Benchmark-Specific Routing： harness 充当交通控制器，将目标模型引导到针对当前任务类型优化的特定子流程或提示结构。

Strict Answer-Format Enforcement： 通过约束输出空间，harness 确保目标模型以基准测试所需的确切格式提供答案，消除解析错误。

研究人员观察到，harness 的质量随着构建者模型投入的推理努力而单调提升。有趣的是，"平台效应"——目标模型的具体底层架构——与构建者模型的原始能力相比是 modest 的。这表明 harness 设计是一项高度可迁移的技能，强大模型可以将其应用到各种较弱架构上。

推理时能力迁移的有效性最好地体现在研究期间观察到的性能指标上。研究人员专注于 Theory-of-Mind 基准测试，由于需要细微的社会推理和上下文维护，这些测试对较小模型来说是非常困难的。下表总结了在实现推理时 harness 方面实现的性能变化。

这些数字代表了任务可靠性方面近 86% 的相对提升。数据表明，这些收益不仅仅是 incremental 的；它们代表了目标模型与问题空间交互方式的根本性转变，有效地"借用"了构建者模型的认知结构。

开发者启示

对于在生产环境中使用 LLM 的工程师来说，这项研究为传统微调提供了一种引人注目的替代方案。主要优势是运营敏捷性。微调模型是一个静态过程；一旦权重冻结，模型的行为就固定了。相比之下，推理时 harness 是动态的。如果任务发生变化或发现新的边缘情况，你不需要重新训练模型。你只需要更新 harness。

这种方法对于受硬件限制的团队特别有价值。如果你在边缘设备或成本敏感的云基础设施上部署一个较小的模型（例如 7B 或 8B 参数），你现在可以通过将其与由更大、更集中的模型生成的 harness 配对来实现"大模型"性能。这有效地将系统的能力与部署模型的大小解耦。

但是，开发者应该注意延迟权衡。虽然目标模型本身保持轻量级，但 harness 增加了一层逻辑——可能包括代码执行或多步路由——这可能增加首 token 的时间。此外，对构建者模型的依赖意味着你在开发阶段仍然需要访问高能力模型来构建这些 harness，即使该模型在运行时不需要。

向推理时 scaffolding 的转变标志着我们对模型蒸馏看法的一个成熟。将"推理结构"视为可以外部化到 harness 而不是内部化到权重的东西，使我们获得了一种灵活、模块化的方式来升级较小的模型。正如论文所指出的，这是传统训练时蒸馏的重要补充，提供了一条更容易迭代、调试和部署的高性能 AI 路径。

📬 喜欢这个内容？在 Pneumetron 获取更多 AI 研究报道。

🔗 原文：https://pneumetron.com/news/ai_research/strong-to-weak-scaffolding-harnesses-17ed3a