LLM与强化学习全栈指南：从RLHF到推理模型

从预训练到后训练：RL 如何塑造 LLM

生产级 LLM 的标准训练流程目前涵盖三个阶段：在互联网规模的文本上进行预训练，在精选的指令数据上进行监督微调，以及通过强化学习使输出与人类偏好或任务奖励对齐。早期的 RLHF 实现使用基于人类偏好排序训练的奖励模型，随后使用 PPO 来根据该奖励信号优化策略输出。近期的工作已将 RL 扩展到推理领域，DeepSeek R1 671B MoE 和Kimi K2 等模型通过大规模可扩展的 RL 进行训练，在生成最终答案之前产生较长的、可验证的思维链。

这一演变意味着 RL 不再局限于语气和安全性。它现在是一种发现复杂推理策略、自我纠正模式以及难以通过监督学习单独诱导的工具使用行为的机制。

RLHF 与直接偏好优化

RLHF 仍然是偏好对齐的主导范式。该过程需要收集比较数据，训练一个奖励模型来预测偏好输出，然后运行策略梯度算法（如 PPO）。奖励模型充当人类判断的代理，而 LLM 策略被更新以最大化累积奖励，同时使用 KL 散度惩罚使其不会偏离基础模型太远。

直接偏好优化（DPO）提供了一种更简单的替代方案。DPO 将对齐重新定义为偏好对上的分类问题，消除了对显式奖励模型和复杂在线采样的需求。对于通过 API 使用这些模型的开发者来说，PPO 和 DPO 之间的区别在很大程度上是学术性的。重要的是，生成的模型能够准确遵循指令、拒绝有害查询并产生有用的补全。Oxlo.ai 托管了一系列对齐模型，包括 Llama 3.3 70B 和 Qwen 3 32B，开发者可以在不管理任何训练基础设施的情况下查询这些模型。

推理模型与大规模 RL

RL 对当今 LLM 最显著的影响是专用推理模型的出现。这些模型不是为风格进行对齐，而是通过结果监督或过程监督的奖励进行训练，以探索扩展的推理时计算。DeepSeek R1 671B MoE、Kimi K2.6、Kimi K2、Kimi K2 Thinking 和 GLM 5 都采用了先进的 RL 方案，在数学、编码和代理规划方面表现出色。

推理模型通常会暴露其内部独白，在最终答案之前生成数千个 token 的思维链。这种行为提高了复杂任务的准确性，但也会增加提示和补全的长度。当代理在多个回合中将先前的推理步骤反馈到上下文窗口时，token 计数会迅速累积。这就是定价结构成为一阶架构问题的原因。

推理的基础设施经济学

Together AI、Fireworks AI、OpenRouter、Replicate 和 Anyscale 等推理提供商通常使用基于 token 的计费方式。对于标准的简短查询，这是可预测的。但对于启用 RL 的推理和代理工作负载，情况并非如此。单个带有大量工具定义和冗长推理追踪的长时间上下文请求可能消耗数万 token。多轮代理循环会进一步增加成本。

Oxlo.ai 使用基于请求的定价：每个 API 请求一个固定费用，不考虑提示长度。对于长时间上下文和代理工作负载，这种模式可能比基于 token 的替代方案便宜得多，在某些情况下对于长时间上下文工作负载可能便宜 10-100 倍。由于 Oxlo.ai 按请求收费，添加少样本示例、工具 schema 或先前推理追踪的边际成本为零。你可以在 https://oxlo.ai/pricing 查看具体费率。

除了固定定价外，Oxlo.ai 还提供流行模型的无冷启动、流式响应和完整的 OpenAI SDK 兼容性。当你构建的代理系统无法承受回合之间的延迟峰值时，这些功能很重要。

使用 Oxlo.ai 进行实际的 API 集成

Oxlo.ai 是完全 OpenAI SDK 兼容的直接替代品。你可以使用相同的 Python 或 Node.js 模式查询 RL 增强的推理模型。以下示例在启用流式输出的情况下调用推理模型：

from openai import OpenAI

client = OpenAI(
    base_url="https://api.oxlo.ai/v1",
    api_key="YOUR_API_KEY"
)

response = client.chat.completions.create(
    model="deepseek-r1-671b",  # DeepSeek R1 671B MoE
    messages=[
        {"role": "system", "content": "You are a reasoning assistant. Think step by step."},
        {"role": "user", "content": "Implement a thread-safe LRU cache in Rust and explain the trade-offs."}
    ],
    stream=True
)

for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

对于代理工作流，你可以将推理模型与函数调用结合使用。Oxlo.ai 在其聊天补全端点上支持函数调用和工具使用，允许通过 RL 训练的模型推理应该调用哪个工具、生成参数，并在后续请求中吸收观察结果：

response = client.chat.completions.create(
    model="qwen3-32b",  # Qwen 3 32B
    messages=messages,
    tools=[{
        "type": "function",
        "function": {
            "name": "run_tests",
            "description": "Execute the test suite and return logs",
            "parameters": {
                "type": "object",
                "properties": {
                    "target": {"type": "string"}
                },
                "required": ["target"]
            }
        }
    }],
    tool_choice="auto"
)

由于 Oxlo.ai 按请求定价，向上下文窗口添加工具定义和先前对话历史不会增加当前轮次的成本。这使得迭代代理循环在经济上变得可行。

为 RL 增强工作负载选择模型

Oxlo.ai 在 7 个类别中提供 45+ 个模型。对于依赖 RL 支持推理和代理能力的任务，以下选项特别相关：

深度推理：DeepSeek R1 671B MoE、DeepSeek V4 Flash 和 Kimi K2 Thinking 为复杂的编码和数学问题提供高级思维链推理。DeepSeek V4 Flash 还支持 1M 上下文窗口，用于大规模文档分析。

代理编码：Kimi K2.6 和 Minimax M2.5 针对代理工具使用和软件工程任务进行了优化。

多语言代理：Qwen 3 32B 提供多语言推理和代理工作流支持。

通用目的：Llama 3.3 70B 作为混合工作负载的可靠旗舰模型。

长期规划：GLM 5（744B MoE 模型）面向长期代理任务。

实验用途：DeepSeek V3.2 在免费层可用，非常适合在扩展之前原型化编码和推理管道。

对于视觉语言代理，Kimi VL A3B 和 Gemma 3 27B 支持图像输入以及文本推理。对于音频管道，Whisper 变体和 Kokoro 82M 文本转语音可通过专用音频端点获得。

强化学习已将 LLM 从被动文本预测器转变为主动推理引擎。由此产生的能力、更长的上下文、扩展的思维链和多轮代理，对推理基础设施提出了新的要求。基于 token 的计费恰好惩罚了 RL 使能的行为。

Oxlo.ai 通过基于请求的定价、广泛的 RL 增强模型目录和完整的 OpenAI SDK 兼容性来解决这一问题。无论你是在免费层上使用 DeepSeek V3.2 进行原型设计，还是使用 DeepSeek R1 671B MoE 部署生产代理循环，Oxlo.ai 都提供了为下一代推理工作负载设计的可预测成本结构。