基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-17 22:36

用正交适配器减少微调对鲁棒认证的影响

dev.to · AI#模型微调#鲁棒性#正交变换
Editor brief · 编辑速览

文章指出,微调可能增大网络的 Lipschitz 常数,从而缩小分类器的认证半径,并报告了 LoRA 与全量微调的实验变化。其蝶形适配器通过 Givens 旋转构造正交变换,保持冻结权重矩阵的奇异值和谱范数。

文章思维导图
Knowledge map
拖拽缩放
AI brief

原文暂未完整获取,基于公开信息的快读

微调让模型更适应业务数据,也可能削弱已有的鲁棒性保证。dev.to 的一篇文章提出蝶形正交适配器:冻结原有权重,通过可训练的旋转调整特征,保持权重矩阵的谱范数。作者还报告了头皮毛发镜图像上的实验,但目前节选能证明的数学性质,与整个分类器的认证效果,需要分开看。

目前能确认什么

鲁棒认证为每个输入给出一个半径:在指定的扰动范围内,预测类别不会改变。节选中的认证半径由分类得分间隔除以网络的 Lipschitz 常数 L 得到。间隔不变时,L 越大,半径越小。

作者报告,实验中 LoRA 让 L 增至原来的 1.9~2.5 倍,全量微调则增至 5~8.5 倍。这是特定实验结果,不能当作所有微调任务的固定规律。

蝶形适配器采用 W′ = R(θ)W。R 由 Givens 旋转组成,对任意训练角度都保持正交,因此 W′ 与 W 的奇异值、谱范数相同。训练只需更新角度。作者使用 GPU 模拟普通矩阵运算,并不要求量子硬件。

在斑秃活动度任务上,作者报告的认证准确率分别为:蝶形适配器 40.6%、LoRA 21.3%、全量微调 17.9%。

我的判断

单层谱范数不变,不等于每个样本的认证半径不变。

分类得分间隔也会影响半径,而且实验中各方法都训练了新的分类头。整网的 L 如何计算、分类头如何约束、认证采用什么扰动范数及阈值,节选没有交代完整。

对维护鲁棒认证模型的程序员,这条路线有明确价值:它允许调整特征,同时保住冻结矩阵的谱范数。但验收不能只看普通准确率,还应比较微调前后的认证半径和认证准确率。节选中的随机 LoRA 示例只能演示谱范数增大的可能性,不能替代训练后的完整对照实验。

Original source

本文由 AI 基于公开信息编写,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
代理沙箱是否有效,要靠越界测试证明
下一篇
AI 工作流何时应保留确定性控制

资讯速览

dev.to · AI · 2026-11-17 22:36

AI 评分 8.0 / 10

相关标签

#模型微调#鲁棒性#正交变换

继续阅读

  • Claude Code 安全钩子崩溃后可能放行命令
  • 代理沙箱是否有效,要靠越界测试证明
  • AI 工作流何时应保留确定性控制
  • 代码仓库如何成为智能体注入入口
  • 子智能体权限测试别绕过真实校验