开源 LLM 本地服务器支持 OpenAI Chat Completion API

LLM 0.32rc1 引入新的内容寻址日志（content-addressable logs），其中一个关键目标，是支持 OpenAI Chat Completions 风格的请求：每条新消息都会在此前对话的基础上继续扩展，就像这样：

curl http://localhost:8002/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3.5-4b",
    "messages": [
      {"role": "user", "content": "Capital of France?"},
      {"role": "assistant", "content": "Paris."},
      {"role": "user", "content": "Germany?"}
    ]
  }'

这里的对话状态由客户端维护，因此请求会变得越来越长。LLM 的新 schema 设计会对各条消息的组成部分分别计算 hash，并以此消除重复数据。

为了测试这一点，我构建了这个 plugin：

uv tool install llm --pre
llm install llm-chat-completions-server
llm chat-completions-server -p 9001

运行上述命令后，会在本机的 9001 端口启动一个服务器，通过兼容 ChatGPT Completions 的 endpoint，对外提供你的全部 LLM 模型，包括来自任何已安装 plugin 的模型。

整个项目都是 GPT-5.6 Sol 写的——事实证明，它非常熟悉 OpenAI Chat Completions API 的结构。

OpenAI 对 Hugging Face 的意外网络攻击，是已经发生的科幻故事——2026 年 7 月 22 日

与 Claude Code 团队的 Cat 和 Thariq 炉边对谈——2026 年 7 月 21 日

Kimi K3，以及我们仍能从 pelican benchmark 中学到什么——2026 年 7 月 16 日

这是 Simon Willison 发布的一则短讯，发布于 2026 年 7 月 30 日。

每月赞助我 10 美元，即可收到一封精心策划的邮件摘要，汇集当月最重要的 LLM 进展。

付钱让我少给你发点内容！