前 OpenAI 研究员推出纯分类 AI 模型：70ms 响应、极低 token 成本

TypeSafe AI 初创公司打造了一款名为 Jev 的 AI 模型，与典型的聊天机器人不同，它不是在软件内部生成文本，而是提供快速的判断和概率。其承诺的优势是速度和成本，但局限性也很明显。

TypeSafe AI 推出了一款名为 Jev 的 AI 模型，与典型聊天机器人采取了不同路线。Jev 不生成文本、邮件或代码，而是被设计成在其他程序内部提供狭窄的判断和概率。联合创始人兼 CEO Diogo Almeida 曾任职于 OpenAI，是 InstructGPT 研究的作者之一，该研究为 ChatGPT 奠定了基础。

Jev 的核心思路：开发者定义问题和可能的答案，模型对各选项打分。

对请求进行分类，而不是回复客户

文档中的一个示例展示了它在实践中可能的样子。一位客户写信给一家在线商店，说自己被收取了两次订单费用，要求退还第二次付款。在任何人处理该请求之前，必须先对其进行分类。它是关于支付问题、配送问题还是退货问题？客户是想退款，还是只是想得到解释？

这时开发者将商店软件与 Jev 连接，定义这些问题以及允许的答案。每当有新消息时，软件将客户的文本交给 Jev。它返回的不是一封回复信，而是一个标签比如"支付问题"，以及客户想要退款的概率。

然后商店软件可以附加固定规则。支付问题转给财务部门，退款请求被标记。当标签不明确时，由工作人员审查请求。Jev 提供评估，软件则根据预设规则决定后续操作。

这并不意味着钱就能退回来。是否真的存在重复扣款，还需要随后与实际交易记录核对。可以用一个独立的聊天机器人告知客户确认后的状态。但对于分类这个环节来说，并不需要用到聊天机器人。

亚秒级响应时间可能开辟新的应用场景

TypeSafe 表示 Jev 的响应时间在 70 到 500 毫秒之间，比目前最快的语言模型还要快好几倍。为了实现这一速度，模型跳过了逐步的文本生成，而是并行计算多个输出。在同一次调用中增加更多问题几乎不会增加响应时间。

这种速度可以在 AI 助手的每次回复之前都进行检查。草稿是否与对话上下文矛盾？是否声称了一笔客户账户中没有记录的退款？TypeSafe 在其示例工作流中描述了这类检查。该公司在销售和客服领域列出了更多可能的使用场景，比如识别购买意向、按主题对请求进行分类，或者判断何时应该由人工接管。

但常规语言模型同样可以输出预设类别和数据结构。OpenAI 为此提供了 Structured Outputs。仅仅一个结构化响应格式并不能让 Jev 从竞争中脱颖而出。要赢得市场，该模型不仅要更快或更便宜地处理这些任务，还要有足够好的质量。

已发布的性能测试存在局限性。TypeSafe 比较了四个自己构建的工作流，并使用其他 AI 模型的回复作为参考，而非独立验证过的正确答案。GPT-6 Astra 也未出现在评估中。不过该模型非常便宜。TypeSafe 列出的价格是每百万输入 token 0.042 美元。它声称对输出不收取任何费用。

不产生幻觉不等于不出错

TypeSafe 将 Jev 定位为一款不会幻觉的模型。但这一保证仅涵盖允许的输出结构。模型不会产生预设选项之外的答案。在这些选项之内，仍然可能出现事实上的错误选择。

该模型旨在使后台的众多小型判断更加经济。这些判断是否足够可靠，需要各公司针对自己的任务进行测试。开发者目前只能通过候补名单获取访问权限。