LLM CLI 0.32：推理过程可追踪、支持OpenAI服务器端工具

LLM CLI 0.32：推理过程可追踪、支持OpenAI服务器端工具 | 前端进阶之旅

Full translation

完整中文译文

LLM 0.32 新版本支持推理追踪、OpenAI Responses、服务端工具和更智能的日志

今早发布了 LLM 0.32，这是自项目启动以来最重要的新版本。新版支持可见的推理追踪、服务端 provider 工具、重构的内容寻址 SQLite 日志、新模型以及由 OpenAI Responses API 驱动的多项新功能。同时还发布了新版 llm-anthropic 插件，带来了大量更新。

对推理模型运行 LLM 现在会将推理追踪显示到标准错误输出，这样你就能看到模型在"思考"什么，而不会把这些信息混入可能需要通过管道传给其他工具的标准输出中。添加 -R/--hide-reasoning 可以关闭此功能。

LLM 开箱即用支持 GPT-5.6 模型系列，新的默认模型（与 llm "prompt" 一起使用）是经济实惠但能力不俗的 GPT-5.6 Luna。

LLM 调用现在可以使用来自各种 provider 的服务端工具。OpenAI 提供了代码执行环境作为服务端工具；LLM 现在可以运行需要该功能的 prompts，示例如下：

llm --tool CodeInterpreter 'Show current python and SQLite versions'

OpenAI 还有一个 WebSearch 工具。

llm-anthropic 插件新增了 WebSearch、WebFetch、CodeExecution 和 AnthropicMCP，用法如下：

llm -m claude-sonnet-5 -T 'AnthropicMCP("https://datasette.simonwillison.net/-/mcp")' \
  'how many rows in the blog_blogmark table?'

这会促使 Anthropic 在与他们的 API 的单次请求/响应交互中执行 MCP 调用，目标是 datasette-mcp 插件。

新的 llm openai endpoint 命令提供了一个工具，可以作为单行命令向任意 OpenAI 兼容端点执行 prompts。这些不会记录到日志中，因此这是针对任何支持 LLM API 世界通用语言的端点运行一次性 prompts 的便捷工具。

以下是我如何用它来通过 uvx（无需安装 LLM）运行针对本地 LM Studio API 中托管的 Gemma 4 12B 的 prompts，并配合 llm-tools-quickjs 插件使用：

uvx --with llm-tools-quickjs \
  llm openai endpoint http://localhost:1234/v1 -m google/gemma-4-12b \
  -T QuickJS 'Use QuickJS to multiply 3434 * 2434' --td

$Output reads Tool call: QuickJS_execute_javascript({'javascript': '3434 * 2434'}) 8358356 The result of 3434 * 2434 is 8,358,356.$

LLM 之前的 Python API 需要你创建一个对话，然后一次一条地发送消息。这是对 LLM 本质的抽象——每个请求都携带了之前所有消息的完整历史。这种抽象在某些更高级的场景中开始成为障碍，因此新版本引入了 model.prompt(messages=[]) 参数，可以这样使用：

import llm
from llm import user, assistant, system

model = llm.get_model("gpt-5.6-luna")

response = model.prompt(messages=[
    system("You are a helpful pirate."),
    user("What is the capital of France?"),
    assistant("Paris, matey."),
    user("And Germany?"),
])
print(response.text())

LLM 之前从每个 prompt 返回一个字符串可迭代序列。当模型返回字符串响应时这很有效，但无法预测模型后续演进的奇怪形态。如今许多模型返回推理文本、输出字符串、工具调用甚至图像附件的混合内容。使用 LLM 0.32，你可以这样做：

for event in model.prompt("Explain cats").stream_events():
    if event.type == "reasoning":
        print(f"[thinking] {event.chunk}", end="", flush=True)
    elif event.type == "text":
        print(event.chunk, end="", flush=True)
    else:
        print(f"Other event: {event}")

结合这些功能，我们终于可以提供一个可靠的 OpenAI chat completions API 实现，我已将其作为 llm-chat-completions-server 插件发布：

llm install llm-chat-completions-server
llm chat-completions-server --port 9000
# Server is now running on http://127.0.0.1:9000/v1

现在你可以用新的 llm openai endpoint 命令通过该服务器向 LLM 运行 prompts 了！

llm openai endpoint http://127.0.0.1:9000/v1 'hello' -m gpt-5.4-mini

这类 API 更具挑战性的问题在于日志。如果我们打算支持在每次请求时向消息序列追加内容的模式，理想情况下应该避免为每一轮重复记录所有冗余的 JSON。

解决方案是新的内容寻址消息存储，其设计借鉴了 Git。你可以在文档中看到新的 schema，但 llm logs 和 llm logs --json 命令都已升级，可以将该格式转换回易于消费的形式。

这个版本还有更多内容。0.32 发布说明相当详尽，0.32rc2、0.32rc、0.32a3、0.32a2 和 0.32a0 的说明应该能填补所有遗漏。

现有的 LLM 插件都可以继续工作，但提供额外模型的插件需要升级到 0.32 才能充分参与新的流式事件系统。文档中有指南说明如何用 Structured messages 和流式事件实现插件。

我已更新了一些自己的插件：

llm-anthropic 0.26 新增了对 Claude 5 模型系列的支持，以及 WebSearch、WebFetch、CodeExecution 和 AnthropicMCP 服务端工具。

llm-gemini、llm-openrouter 和 llm-mistral 也在收尾中，发布在即。

这个版本中许多底层工具的改进是由 Datasette Agent 的需求驱动的。当我开始做 LLM 时，"agent"这个词的定义非常模糊，以至于我拒绝使用它。2025 年 9 月，我转而认为"LLM agent 运行工具循环以实现目标"这一定义已经足够成熟，我可以不再完全回避这个词了。

工具链现在可以暂停等待人类批准，并从存储的消息历史中恢复——这两者都是 Datasette Agent 所需的功能。

看着今天的 LLM，它开始越来越有 agent 的形态了。将一个 CLI 工具与来自不同来源的不同工具和不同模型混合搭配作为单行命令使用，这感觉很巧妙；它还包含一个功能足够强大的 Python 库，可以构建 Datasette Agent 和 llm-coding-agent 这样的系统。

也许下一个版本的 LLM 会将"agent"的概念 baked 到核心库中。我仍在思考这会是什么样子。

无状态 MCP 重新引起了我的兴趣（并催生了 mcp-explorer 和 datasette-mcp） - 2026 年 7 月 31 日

OpenAI 对 Hugging Face 的意外网络攻击是已经发生科幻小说 - 2026 年 7 月 22 日

本文是 Simon Willison 所著的 New release of LLM adds support for reasoning traces, OpenAI Responses, server-side tools, and smarter logging，发布于 2026 年 8 月 4 日。

系列文章：LLM 新版本

Large Language Models can run tools in your terminal with LLM 0.26 - 2025 年 5 月 27 日，下午 8:35

LLM 0.27，注释版发布说明：GPT-5 和改进的工具调用 - 2025 年 8 月 11 日，下午 11:57

LLM 0.32a0 是一个重大的向后兼容重构 - 2026 年 4 月 29 日，下午 7:01

New release of LLM adds support for reasoning traces, OpenAI Responses, server-side tools, and smarter logging - 2026 年 8 月 4 日，下午 11:58

上一篇：无状态 MCP 重新引起了我的兴趣（并催生了 mcp-explorer 和 datasette-mcp）

Sponsor me for $10/month and get a curated email digest of the month's most important LLM developments.

Pay me to send you less!