24 小时三大 LLM 模型争相发布

我的周记有点落下了，所以这里有很多内容要讲。不过首先……先回顾一下过去 24 小时里 Large Language Model 领域的新闻。以下时间均为 2024 年 4 月 9 日美国太平洋时间。

上午 11:01：Google Gemini Pro 1.5 正式全面开放，这里是官方博客文章——这款拥有 100 万 token 上下文窗口、达到 GPT-4 级别的模型现在已经取消候补名单，面向 180 个国家/地区的所有人开放（据我所知，其中不包括欧洲和英国）。最令人印象深刻的是，它的 API 提供免费套餐，每天最多可以请求 50 次，不过频率限制为每分钟 2 次。超出之后，输入 token 的价格为每百万个 7 美元，输出 token 为每百万个 21 美元，略低于 GPT-4 Turbo，略高于 Claude 3 Sonnet。Gemini Pro 现在还支持音频输入和 system prompt。

上午 11:44：OpenAI 终于发布了非预览版 GPT-4 Turbo，并将 GPT-4 Vision 直接集成进模型（此前两者是分开的）。Vision 模式现在同时支持 function 和 JSON 输出，而这些能力以前不支持图像输入。OpenAI 还声称新模型得到了“重大改进”，但没人知道他们具体指什么。

下午 6:20（法国当地时间凌晨 3:20）：Mistral 在推文中发布了一个 281GB 的 magnet BitTorrent 链接，里面是 Mixtral 8x22B——这是他们最新发布的开放许可模型，规模显著大于此前最强的开放模型 Mixtral 8x7B。我还没看到有人成功运行它，但考虑到初代 Mixtral 的优秀表现，它很可能也会有极为出色的性能。

另外，虽然它并非今天发布（而是上周发布的），但今天上午 Cohere 的 Command R+（一款非常优秀的开放许可模型）在 LMSYS Chatbot Arena 排行榜上升至第 6 位——这是开放权重模型有史以来取得的最高排名。

由于我有很多软件都构建在这些模型之上，今天我花了不少时间发布各个项目的新版本。

我已经开发 Datasette Extract 有一段时间了：这是一个 Datasette 插件，能够借助 GPT-4 Turbo，从非结构化文本中提取结构化数据。

今天上午，我针对新发布的模型更新了这个插件，并决定制作一段视频来展示它的能力，以此庆祝：

我希望以后能更频繁地发布这类视频，因此这次正好是一个把想法付诸实践的好机会。

Datasette Cloud 博客已经有一阵子没有更新了，所以我在那里发布了配合视频观看的截图和说明。

我非常喜欢 system prompt——它是一种可以额外传给 LLM 的 prompt，用于指导模型如何处理主要输入。遗憾的是，它并不能保证解决 prompt injection 问题——即使通过 system prompt 将指令与数据分隔开，只要足够努力，仍然可以在主 prompt 中覆盖这些指令——但在不存在恶意对抗的场景中，它依然很有用。

llm-gemini 0.1a2 增加了对 system prompt 的支持，因此你现在可以这样做：

llm -m p15 'say hi three times three different ways' \
  --system 'in spanish'

然后获得这样的输出：

¡Hola! 👋 ¡Buenos días! ☀️ ¡Buenas tardes! 😊

有意思的是，使用“in german”时输出中没有 emoji，而使用“in spanish”时却有。

由于 REST 文档尚未更新，我不得不根据 Python library 逆向分析发送 system prompt 所需的 REST 格式——我的 issue 中记录了相关笔记。

还有一个小版本发布：datasette-enrichments-gpt 插件可以通过 GPT-3.5、GPT-4 Turbo 或 GPT-4 Vision 运行 prompt，从而丰富表格中的数据。我发布了 0.4 版本，将其切换到了新的 GPT-4 Turbo 模型。

今天的内容就这些……但我上一篇周记已经是将近四周前的事了！下面是这段时间里的其他所有内容，并附有一些额外说明：

我最近发布的五篇文章，全都在介绍我如何在自己的工作中使用 LLM 工具——另请参阅我的“How I use LLMs and ChatGPT”系列。

完全使用 Claude 3 Opus 构建 files-to-prompt

直接在浏览器中对 PDF 和图像运行 OCR

llm cmd undo last git commit——一个新的 LLM 插件

使用 ChatGPT Code Interpreter 构建并测试 SQLite 的 C 扩展

使用 Claude 和 ChatGPT 处理临时支线任务

其中许多版本发布都与 Datasette Cloud 的持续开发有关。尤其值得一提的是，我密集发布了一批小版本，为各个插件添加到操作菜单中的菜单项补充描述。下面这张截图最能说明效果：

datasette-enrichments-gpt 0.4—2024-04-10
使用 OpenAI 的 GPT 模型分析行数据的 Datasette enrichment

llm-gemini 0.1a2—2024-04-10
用于访问 Google Gemini 系列模型的 LLM 插件

datasette-public 0.2.3—2024-04-09
将指定的 Datasette 表公开展示

datasette-enrichments 0.3.2—2024-04-09
对 Datasette 中存储的数据运行 enrichment 的工具

datasette-extract 0.1a4—2024-04-09
将非结构化数据（文本和图像）导入结构化表格

datasette-cors 1.0—2024-04-08
用于配置 CORS header 的 Datasette 插件

asgi-cors 1.0—2024-04-08
为 ASGI application 应用 CORS header 的 ASGI middleware

files-to-prompt 0.2.1—2024-04-08
将一个目录中的所有文件拼接成单个 prompt，供 LLM 使用

datasette-embeddings 0.1a3—2024-04-08
在 Datasette 表中存储和查询 embedding vector

datasette-studio 0.1a3—2024-04-06
预先配置了实用插件的 Datasette。实验性 alpha 版本。

datasette-paste 0.1a5—2024-04-06
粘贴数据以在 Datasette 中创建表格

datasette-import 0.1a4—2024-04-06
将数据导入 Datasette 的工具

datasette-enrichments-quickjs 0.1a2—2024-04-05
使用自定义 JavaScript function 丰富数据

s3-credentials 0.16.1—2024-04-05
用于创建访问 S3 bucket 所需凭据的工具

llm-command-r 0.2—2024-04-04
访问 Cohere Command R 系列模型

llm-nomic-api-embed 0.1—2024-03-30
使用 Nomic API 为 LLM 创建 embedding

textract-cli 0.1—2024-03-29
通过 AWS Textract 处理文件的 CLI

llm-cmd 0.1a0—2024-03-26
使用 LLM 在 shell 中生成并执行命令

datasette-write 0.3.2—2024-03-18
提供 UI、用于对数据库执行 SQL 写入操作的 Datasette 插件

impaste：在 macOS 上将图像粘贴到管道命令中—2024-04-04

安装使用 Go 编写的工具—2024-03-26

Google Chrome --headless 模式—2024-03-24

使用 ClickHouse 回顾你公开发布过的 GitHub repository 历史—2024-03-20

在浏览器中运行自行托管的 QuickJS—2024-03-20

通过程序比较 Python version string—2024-03-17

OpenAI 意外对 Hugging Face 发起的网络攻击，是已经成为现实的科幻故事——2026 年 7 月 22 日

与 Claude Code 团队的 Cat 和 Thariq 炉边对谈——2026 年 7 月 21 日

Kimi K3，以及我们还能从鹈鹕 benchmark 中学到什么——2026 年 7 月 16 日

本文是 Simon Willison 撰写的《24 小时内发布的三款重要 LLM（外加周记）》，发布于 2024 年 4 月 10 日。

下一篇：数据新闻中的 AI：展示我们现在能用这些技术做到什么

上一篇：完全使用 Claude 3 Opus 构建 files-to-prompt

每月赞助我 10 美元，即可获得一份精心整理的邮件摘要，汇总当月最重要的 LLM 进展。

付钱让我少给你发点东西！