Together 上线 Qwen4 Max 百万上下文推理
Together AI 已提供 Qwen4 Max 无服务器推理,支持百万 Token 上下文、图文输入及单轮多工具调用。阿里报告其在自有基准上减少推理 Token 和任务成本,但 Together 未验证这些收益,提示缓存也仅尽力命中。
AI 深度解读
Together AI 将 Alibaba 的 Qwen4 Max 接入了无服务器推理服务,提供 1M-token 上下文。最有看头的是一次整库修复演示:把 Tornado 的 344 个文件一次性发给模型,返回的补丁通过了回归测试和完整测试套件。
但这还不能证明「整个仓库直接塞进去」已经胜过检索和工具调用。读这条消息,更有用的是分清三件事:长上下文实际完成了什么、厂商的性能数字有多少证据,以及接入时有哪些会影响成本和体验的限制。
一次读完整个仓库,修复结果怎么样
Together 给模型提供了一份 bug 报告,以及 Tornado Python Web 框架的全部 344 个文件,总计 652,519 tokens。请求没有使用工具,也没有预先挑选文件。
首个 token 在 54 秒后返回,完整回答耗时 72 秒。生成的补丁通过了维护者为这个 bug 编写的两项回归测试;应用补丁后,Tornado 的完整测试套件共 1,673 项测试,没有失败。模型还找到了 bug 报告未提及的另一份文件中的相关错误处理代码。这次请求按促销价计算,费用约为 0.69 美元。
这说明,在这个案例里,模型能够从大量源码中定位关联逻辑,并给出经过测试验证的修复。
这是一个成功案例,不是修复成功率的基准测试。
Together 选择的修复由维护者在模型发布后提交,但文章没有提供更多任务样本,也没有拿「检索相关文件后修复」做对照。因此,不能据此判断整库输入是否更快、更便宜,或者面对其他 bug 是否同样可靠。
模型参数很大,接入限制也要一起看
Qwen4 Max 于 2026 年 11 月 16 日发布,在 Together 上的模型标识是 Qwen/Qwen4-Max。它采用稀疏混合专家架构(MoE),总参数量为 2.4 万亿,每个 token 激活 710 亿参数。直观理解,每次处理内容时,只动用其中一部分参数。
模型接受文本和图片输入,输出文本;工具调用使用标准 tools 参数,单轮可以返回多个调用。Alibaba 将它定位于长流程 Agent 任务,包括跨大型代码仓库编程。
Alibaba 在自有 Work360 基准上报告:相比 Qwen3.8 Max,整体表现更好,在高推理强度下减少 35% 的 token 用量,每项任务成本降低约 60%。这些都是 Alibaba 的数据,Together 没有验证,不能与 Tornado 演示混为一组实测结论。
调用前还要确认几个限制:
- 只接受流式请求,未开启 streaming 会返回
400。 - Thinking 默认开启,先流式输出推理内容,再输出答案;thinking tokens 按输出 tokens 计费,可以逐请求关闭,但原文没有给出关闭参数。
- 当前只提供 serverless 服务,不支持微调和独立端点。Alibaba 表示后续会推出更小的开放权重 Qwen4 模型。
价格也有时间条件:Together 称,上线促销价比标价低 30%,优惠持续至 2026 年 11 月 22 日。前面的单次费用不能直接当作长期预算依据。
缓存能省很多,但不能保证每次命中
Together 重复发送了一次约 630,000 tokens 的请求,输入几乎全部命中缓存。首个 token 的等待时间降至 8 秒,输入费用从约 0.66 美元降到约 0.03 美元。
这里比较的是输入费用,不能直接与前面整次请求的 0.69 美元混着算。
提示词缓存自动启用,但采取尽力而为的策略,并不保证每次重复请求都从缓存返回。对反复围绕同一仓库追问的任务,这个机制很有吸引力;不过原文没有交代缓存有效期、代码变动后的命中情况,也没有给出稳定命中率。
做预算和交互设计时,要同时考虑首次请求与缓存命中两种情况。
我的判断
这次演示最有价值的地方,是展示了长上下文处理跨文件关联的可能性。bug 报告没有点名的文件,也可能藏着关键逻辑;全部输入可以减少前置选文件的工作。
但它是否优于按需读取文件,原文没有对照数据。54 秒才返回首个 token,也提示我们:能完成任务,与适合编辑器里的即时交互,是两回事。更适合先评估的是允许等待、可以自动验证结果的修复任务。
另外,测试全部通过是有力证据,但证据范围仍是这个补丁和已有测试。它不能替代其他任务上的成功率统计,更不能证明百万 token 上下文中的所有信息都会被稳定利用。
能拿来做什么
- 给前端或 Node 仓库评估这类模型时,可以选一个已有回归测试的跨文件 bug,比较整库输入与按需读取文件的修复结果、耗时和总费用。
- 接入
Qwen/Qwen4-Max时,先实现流式响应处理,并将推理过程与最终答案分开展示,避免用户把等待答案误判为请求卡住。 - 测算连续追问的成本时,分别记录未命中缓存和命中缓存的数据,同时计入 thinking tokens,别只看输入单价。
- 使用 Together 发布的整库发送脚本前,检查 git 跟踪的文本文件是否含有密钥。脚本会发送所有这类文件,已被跟踪的敏感内容也在范围内。