基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
简历
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
模型发布2026-11-08 12:45

Arete-27B开放权重,主打降低宣传偏向

MarkTechPost#开放权重#模型评测#模型微调
Editor brief · 编辑速览

Nous Research发布基于Qwen3.8-27B微调的Arete-27B,采用Apache 2.0许可证。其自建803条提示评测中,宣传性回答比例从22%降至0.9%,Hermes Bench得分保持65.60%。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Nous Research 发布了 Arete-27B:在 Qwen3.8-27B 上只做监督微调,就把自建评测中的「宣传性回答」比例从 22% 降到 0.9%,同时保住了所测的智能体能力。它想证明,模型的特定回答倾向可以单独调整,不一定要牺牲通用能力。

但「宣传减少」不等于「事实可靠」。这组结果来自 Nous 自己定义的题目和评分体系,微调后仍有 216 道题拿到零分。对使用本地模型的程序员,更值得看的是训练方法、评测边界,以及怎样验证自己的模型。

只做 SFT,究竟改了模型什么

Arete-27B 是一个 27B 稠密参数模型,所有参数都会参与计算。作者没有改架构,没有用强化学习(RL),也没有做偏好优化,只用了监督微调(SFT):给模型看问题和期望回答,训练它按这些示例作答。

他们选择 Qwen3.8-27B,是因为团队认为它在可本地运行的模型中能力最强,同时观察到了敏感话题上的拒答、回避,以及沿用中国官方叙事的回答。这是团队的选型判断,不是覆盖所有本地模型的比较结论。

教师模型选了 Thinking Machines 的开放模型 Inkling,目的是避开蒸馏时的使用条款限制。团队也考察过 Nemotron 3 Ultra,但认为它在中国相关话题上的表现不稳定,没有采用。

公开的 arete-data-pairs 包含 7 个主题、34,878 条提示词,每条同时保存 Inkling 和 Qwen 的回答,其中 29,236 条获接受的教师回答进入 SFT 训练集。训练约使用 52.8M tokens,上下文为 64k,不做序列打包;共跑 2 个 epoch、1,202 步,batch size 为 48,使用 AdamW,峰值学习率为 1e-5,tensor parallel 为 4。

全部语言模型权重参与训练,视觉编码器因数据只有文本而冻结,多 token 预测头被禁用。模型沿用 Apache 2.0 许可证。

这次实验支持的是:特定回答倾向可以通过普通 SFT 显著改变。

它还不能证明同一套方法能解决所有偏见,更不能把教师模型的回答自动视为事实标准。

0.9% 是怎样算出来的

Propaganda_Eval 有 803 道题,覆盖 7 个价值类别,包括表达自由、国家意识形态、数据隐私和民主。每道题依据引用来源列出 2 到 4 条必需事实,再由 Grok 4.7 分开打两项分数。

第一项是 0 到 5 分的事实得分,衡量回答覆盖了多少必需事实;按原文规则,出现一条与要求事实相反的陈述就记零分。第二项判断回答有没有把国家立场当成自己的叙述,标记时必须引用回答中的具体措辞。

这比只问模型「回答是否中立」更便于检查,但题目选择、事实来源和裁判判断仍会影响结果。团队移除了与评测重叠的训练提示词,评测集及评分脚本以 MIT 许可证公开,不过原文没有交代更深层的语义近似排查。

结果是,事实均分从 2.32 升到 2.98,宣传性回答从 22% 降到 0.9%,零分回答从 359 条减少到 216 条。变化最大的是表达自由类别:事实分从 0.89 升到 2.44,宣传比例从 60% 降到 1%。

回答立场的变化,明显大于事实完整度的改善。

横向看,Muse Glimmer 30B 的事实分为 3.02,Gemma 4 31B 为 2.58,两者宣传比例都是 0.5%。所以 Arete 的事实分低于前者、高于后者,不能笼统地说它落后所有同类模型。比较还有一个变量:Arete 和 Qwen 使用 temperature 0,另外两个模型使用 0.6,并非完全相同的生成条件。

编程能力保住了,本地运行还要看哪些条件

在 Nous 的测试中,Hermes Bench 从 65.77% 变为 65.60%,团队认为属于噪声。Terminal-Bench-2.1 则从 67% 升到 70%,但 Nous 没有把增长归功于微调。

这支持「已测能力没有明显退步」,不足以推出所有编程能力都不变。原文同时列出 Qwen 官方 Terminal-Bench 成绩 73.0,以及 Muse Glimmer 在 terminus2 下的 51.7;测试框架不同,不能直接排排名。GPQA Diamond 中,Qwen、Muse Glimmer、Gemma 分别为 89.2、83.5、84.3,Arete 没有披露成绩。

部署方面,BF16 权重为 53.81 GB,社区 Q4_K_M 量化版本为 17.20 GB,目标是适配 24 GB 消费级显卡。GGUF 文件从 8.64 GB 到 53.81 GB,可通过 llama.cpp、LM Studio 和 Ollama 运行,并附带图像投影器。原文发布时尚无托管推理提供商。

文件能放进显存,不等于任意上下文都能运行。运行时缓存也会占空间,原文没有给出具体设备上的速度和显存实测。

上下文尤其需要分清:Qwen3.8-27B 原生支持 262,144 tokens,对照表另列最高可扩展到 1M;Arete 只明确训练使用 64k,最终支持长度未披露。不能把基座的规格直接算到微调模型头上。

我的判断

我认同它把「回答倾向」和「任务能力」拆开验证。相比只改系统提示词,SFT 把示例写进了权重;相比偏好优化或 RL,这次训练路径更简单。但作者没有提供这些方法之间的对照实验,不能据此认定 SFT 更便宜、更有效或更稳。

开放权重、训练数据和评分脚本,让外部复核有了条件,这是这项工作的价值。不过「更接近西方模型的政治表述」是方向描述,不能替代事实准确性标准。教师与裁判模型也都有自己的局限。

对国内开发者,我更愿意把它看成一次可检查的行为调整实验。它展示了调整幅度,却还没有回答中文表现、量化后的指标、长上下文稳定性,以及实际业务中的可靠程度。

能拿来做什么

  • 如果正在用 Qwen 做本地编程助手,可以把 Arete 加入候选,用同一批代码修改、终端操作和问答任务比较,别只凭 Hermes Bench 的接近分数做迁移决定。
  • 如果产品涉及敏感事实问答,可以借鉴它的双指标评测:分别检查事实覆盖和回答立场,并要求裁判引用具体措辞,方便人工复核。
  • 如果准备在 24 GB 显卡上部署,可以从 17.20 GB 的 Q4_K_M 版本试起,再实测目标上下文、显存占用和响应速度。
  • 如果想通过 SFT 调整模型行为,可以研究公开的数据对和筛选结果,同时保留独立评测集,检查目标行为改变后,原有任务能力有没有退步。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 MarkTechPost,原文版权归原作者所有。

阅读原文
上一篇
模型输出校验通过,报表字段仍悄然失真
下一篇
AI 审查代码,先验依据再改代码

资讯速览

MarkTechPost · 2026-11-08 12:45

AI 评分 8.0 / 10

相关标签

#开放权重#模型评测#模型微调

继续阅读

  • A2A 测试别把 HTTP 200 当作调用成功
  • 模型输出校验通过,报表字段仍悄然失真
  • AI 审查代码,先验依据再改代码
  • 财务Agent的记忆何时必须失效
  • 停止本地界面不等于取消远程A2A任务