基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-08-16 10:44

AI通过律师资格考试却不会比大小:理解AI的「参差不齐前沿」

dev.to · AI#AI能力边界#模型局限#调试AI
Editor brief · 编辑速览

AI能力呈现非连续性分布——能通过司法考试却分不清9.11和9.9的大小。研究者将此称为「参差不齐前沿」,意味着AI在看似同等难度的任务上可能表现截然不同,程序员不应假设AI能力是平滑可预测的。

文章思维导图
Knowledge map
拖拽缩放
Full translation

完整中文译文

能通过律师资格考试的 AI,却会自信满满地坚持认为 9.11 比 9.9 大。这不是正在被修复的 bug——这是 AI 能力的基本形态,研究者称之为「参差不齐的边界」(jagged frontier)。

我们期待智能是平滑的:如果某个事物足够聪明来完成困难任务,那它肯定也能处理简单的任务。AI 完全打破了这个假设,而理解这个断裂是实际使用这些工具时最有价值的一件事。

布满空洞的智能

对人类而言,能力是一个合理的预测指标——一个能写法律文书的人也肯定会数数。对 AI 而言,能力是参差不齐的。它在某些真正困难的任务上展现出超人类的流利度,却在儿童认为 trivial 的事情上失败,而且在这两种情况下都没有任何预警,表现得同样自信。

研究者将这种现象命名为「参差不齐的边界」:AI 能力的边界不是一条平滑的线,而是一条参差不齐的边缘,在卓越的巅峰旁边就是令人惊讶的能力低谷。两个对你来说看起来同样困难的任务,可能分属这条边界的两侧。

低谷为何存在

一旦你知道往哪里看,失败就不是随机的。一个无法比较 9.11 和 9.9 的模型,不是在推理数量——而是在对文本进行模式匹配,如果你见过很多版本号和日期,「9.11 > 9.9」看起来就是合理的。它从未做过算术运算;它预测的是看起来可能的文本。它在数字母或数字方面的弱点,源于它处理的是分块化的 token,而不是单个字符。低谷恰好对应那些需要精确符号操作而非流利模式补全的任务——这个区别在我的文章中有更深入的探讨。

如何真正使用这把参差不齐的工具

一旦你接受了这个形态,你的整个方法都会改变:

永远不要假设能力会迁移。「它搞定了那个困难的事,所以我可以信任它处理这个简单的事」——这恰恰是错误的推断。按任务验证,而非按印象验证。

自信不是信号。 模型在正确和灾难性错误时听起来同样确定。它的语气无法告诉你,你正站在边界的哪一侧。

在巅峰处使用它,在低谷处防范它。 依靠它进行流利的、生成式的、模式丰富的工作;对于任何需要精确计算、数数或严谨逻辑的事情,把它放到检查之下。

从 AI 获得最多的人,不是那些最信任它或最不信任它的人——而是那些已经绘制出其参差不齐边缘、知道给定任务落在边界哪一侧的人。

参差不齐的边界提醒我们,AI 不是人类智能的缩小版——它是另一种智能,在陌生的地方既有卓越也有盲目。如果你像对待人一样对待它,它的失败会让你措手不及。如果你把它当作它真正所是的东西——一把参差不齐的、强大的、不平衡的工具——你就能在它可靠的地方依赖它。

更多关于我如何推理 AI 真实能力的内容,请访问 www.divyakush.com。

Tokenization:为什么 LLM 无法数出 strawberry 中 R 的个数——许多低谷背后的机制。

Original source

本文由 AI 翻译整理,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
别信"完成了":强制AI Agent在报告前重新拉取真实状态
下一篇
Codex自动化研究:CUDA内核232倍加速实战

资讯速览

dev.to · AI · 2026-08-16 10:44

AI 评分 8.0 / 10

相关标签

#AI能力边界#模型局限#调试AI

继续阅读

  • 上下文已成平台能力:内部平台团队的新责任
  • 别信"完成了":强制AI Agent在报告前重新拉取真实状态
  • Codex自动化研究:CUDA内核232倍加速实战
  • MCP令牌压缩91%:JSON Schema优化实践
  • Anthropic红队:多Agent冲突可升级为对抗行为