千问 API 与本地推理工具更新汇总
文章称 Qwen4-Max 开放正式 API,支持百万 token 上下文,llama.cpp 1.0.0 则引入重大 API 不兼容变更。另介绍通过卸载技术在移动硬件运行 800 亿参数 MoE 模型的开源工具,但摘要未给出速度数据。
AI 深度解读
云端模型开始承接百万 token 上下文,本地推理工具走到 1.0.0,还有人把 800 亿参数模型塞进手机。这篇资讯想表达的是:大模型的可用范围,正在被 API 开放和内存优化同时推宽,开发者有了更多部署选择。
但「接得上」「跑得动」离「适合上线」还有距离。原文给出了价格、速度和内存数字,却缺少测试方法与来源,其中还有明显需要核对的表述。读它最有用的方式,是提取值得验证的工程方向,再分清哪些结论已有依据。
百万上下文能接入了,账该怎么算
据原文,Alibaba 将 Qwen4-Max 从预览阶段转为标准生产 API,采用按 token 计费的方式:每百万输入 token 为 1.50 美元,每百万输出 token 为 4.50 美元,原生上下文窗口为 100 万 token。
作者看重的是多文档分析。把相关材料放进同一次请求,可以减少切分、检索和多轮拼接的工作。不过,上下文窗口表示模型能接收多少内容,不等于它能稳定找全所有关键信息。原文没有提供长文检索准确率、响应耗时或与 RAG 的对照结果。
价格也要拆开看。按文中报价,输出单价是输入的 3 倍;agent 如果反复生成冗长推理说明和中间报告,费用会持续累积。对业务系统来说,除了限制输入,还应记录每次任务的累计输出,避免只盯着单次调用价格。
原文称 Qwen4-Max 采用 2.4 万亿参数的混合专家架构(MoE),接着又写每次处理有「710 亿 active tokens」。这里把参数和 token 混在了一起,口径不清,不能直接改写为「激活参数为 710 亿」。
原文的报价可以作为核算线索,架构描述中的歧义则必须保留。
800 亿参数跑进手机,为什么还不能急着谈实用
本地路线包含两件事。第一件是 llama.cpp 达到 1.0.0。作者将它视为嵌入 GGML 兼容模型的稳定基线,同时提醒维护者:这次包含破坏性的 C API 变更,需要更新集成头文件和编译链路。
版本到了 1.0.0,并不代表已有代码可以直接升级。原文没有列出具体变更的函数、结构体或替换方式,因此它提供的是迁移提醒,还不足以充当迁移指南。
第二件更吸引眼球:开源项目 smolmaxxing 使用针对 MoE 卸载的 llama.cpp 补丁,在 OnePlus Nord CE 2 手机上运行了 800 亿参数模型。按作者转述,方案将专家量化到 2 bit,结合层路由,实现了每秒 2.6 至 3.1 token,峰值内存约 5 GB。
MoE 不需要每一步都调用全部专家;量化则进一步压缩权重。这里的工程方向,是通过卸载和按需搬运,降低某一时刻必须占用的内存,让受限设备也能执行大模型。
但这个结果只能说明配置在特定条件下跑通。原文没有给出模型完整名称、上下文长度、首 token 延迟、持续运行温度、耗电和量化后的质量变化。每秒约 3 token 也已经提示:交互等待会是现实问题。
还有一个硬伤:原文将设备写成「2002 OnePlus Nord CE 2」。年份明显可疑,文内没有解释,不能擅自替作者补成另一个年份。
原生工具能省多少后端工作
DeepSeek 的更新更接近日常应用开发。原文称 API 新增带引用的网页搜索、推理步骤搜索、PDF 解析和链接读取,并列出 deepseek_web_search、deepseek_read_url 两个工具名。
作者还提到一个 MIT 许可的开源静态 Web 客户端,可以从浏览器直接连接 API。他认为,这能让开发者快速搭起 RAG 界面,省去较重的 Node.js 或 Python 中间层。
这个思路对验证交互很有吸引力:先确认搜索结果、引用和文档阅读是否满足需求,再决定应用层要做多厚。不过,原生搜索工具只是覆盖了部分检索能力,不能据此判断业务 RAG 的权限过滤、私有资料检索和结果评估也已解决。浏览器直连方案的凭据管理,原文同样没说清。
前端读者还可以留意 Stageshow。作者将它描述为供 AI 编程代理使用的开源 skill,能生成 React 产品演示,支持仪表盘、移动界面、动画展示和程序化光标移动。它的直接用途是表达产品流程;原文没有展示代码质量或真实业务接入效果。
其余信息适合降低优先级:Markdown 表格转严格 JSON schema、缓存本地模型权重且无需重型 Python 环境的零依赖转录助手,都没给项目名。Codex 高峰容量错误修复和 Gemini Notebook 的 Comic artifact 配置页更新,则被明确列为未验证传闻。
我的判断
我认可作者把云端成本与本地资源约束放在一起看。选模型不能只看参数量,团队最终要承担的是费用、等待时间、内存占用和维护工作。
但原文对「生产可用」的判断偏快。Qwen4-Max 缺少多文档任务的效果对照;手机方案缺少质量与持续负载测试;DeepSeek 原生工具也没有与外部检索编排框架进行比较。关于性价比和部署价值的结论,目前更接近作者的工程判断。
文末还突然列出 DeepSeek V4.1 Flash、GLM-5.3、Kimi K3.1 Pro、GPT-6.1 Sol、Claude Opus 5.5、Claude Fable 5.2、Gemini 4 Hydrogen,并要求检查计费兼容性。这些型号没有对应的发布说明、价格或测评,不能因为进入清单,就当成已验证的可用选项。后面出现的 Kimi-K3.1-Pro 和 deepseek-flash 也缺少与前述名称的映射说明。
这篇更适合用来生成验证清单,不能直接作为生产选型依据。
能拿来做什么
- 做多文档分析时,用同一批材料比较长上下文直传与现有 RAG,记录答案质量、输入输出 token、耗时和任务总费用,再判断是否值得简化检索链路。
- 已嵌入 llama.cpp 的项目,可以先在独立分支验证 1.0.0 的 C API 兼容性,确认编译和推理流程通过,再测试量化与卸载配置的速度、峰值内存。
- 用 DeepSeek 原生搜索做一个小型 agent 验证,重点检查引用是否支持答案、PDF 解析是否丢内容,以及工具失败后能否回退;浏览器直连前先厘清凭据如何管理。
- 需要展示 React 产品流程时,可以评估 Stageshow 的演示能力,把布局、动画与光标动作作为验收对象,再单独审查生成代码是否适合接入项目。