DeepSeek 开源 V4.1-Flash 背后推理框架

Deepseek 已根据 Apache License 2.0 开源其内部推理框架 DeepInfer。推理是指训练好的 AI 模型处理请求并生成响应的过程。DeepInfer 是支撑 Deepseek 的 V4.1-Flash 模型大规模快速生成回答的服务软件。

该框架基于 vLLM 构建，采用经过优化的计算 kernel、跨多个芯片的分布式处理，以及更快的文本生成技术。未来 Deepseek 模型的代码也将开源。Deepseek 同时还发布了 deepseek-recipe，用于复现官方 Deepseek API 的 token 处理方式，让自行部署的服务与官方 API 保持一致的行为。

Deepseek 模型的价格已经极其低廉。DeepInfer 补上了最后一块拼图，让运行这些模型的成本还能进一步降低。该公司在 X 上表示，目标是“帮助社区降低计算成本、减少能源消耗，让 AI 更加普惠”。不过，此次发布也给 OpenAI 和 Anthropic 等西方供应商带来了更大的定价压力。考虑到中美之间的 AI 竞赛，此举也可能带有政治动机。如果西方 AI 公司未能实现增长目标，美国乃至其他地区的经济都将面临风险。

由人工精选，远离炒作的 AI 新闻

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整历史文章访问权限，以及评论区访问权限。