Anthropic 用 24 小时评估实验确定产品定位

我们很高兴你来了。你可以期待所有最好的 TNS 内容周一至周五送达，让你掌握最新动态，保持最佳状态。

查收确认邮件，你可以调整偏好设置，甚至加入其他小组。

在你喜欢的社交媒体网络上关注 TNS。

在 LinkedIn 上成为 TNS 的粉丝。

在等待第一份 TNS 通讯期间，查看最新精选和热门故事。

---

如果你在构建传统软件，你会写产品需求文档。如果你在构建前沿 AI，你会运行评估。这就是当前 Anthropic 内部的现实。

Dianne Penn 是 Anthropic 的 AI 研究和实验室产品负责人，她最近在 Lenny 播客上解释说，评估套件实际上正在杀死传统的 PRD。从确定性代码转向概率模型意味着工程团队必须放弃旧的成功定义方法，转而专注于狩猎 bug。

Evals 取代 PRD

在 Anthropic，研究 PM 团队将评估集作为他们的主要工件。Penn 的团队为每项主要功能生成 30 到 40 个代表性示例，将其编码为与预期输出配对的提示，这些输出充当基本事实。开发人员必须构建持续集成管道和自动化测试基础设施，以便在规模上以编程方式针对新模型版本运行这些预期输出。

基础的缩放曲线是平稳的，但模型实际能做的事情会在突然的跳跃中改进。像可靠的数学推理这样的能力似乎可以一夜之间出现。"除非你有评估，除非你有测试系统，这些跳跃可能会真的发生，而你不知道，"Penn 说。没有有效的自动化评估，工程团队可能永远不会意识到这些新能力的存在——这就是 Penn 所说的"产品过剩"。

"除非你有评估，除非你有测试系统，这些跳跃可能会真的发生，而你不知道。"

捕捉这些能力也改变了团队进行产品 QA 的方式。团队不再追踪代码执行，而是经常发现自己在阅读对话，以了解模型为什么做出特定决定。

幻觉、过度自信的假设或失败的工具调用都会产生看起来相似的失败，但每一个都需要完全不同的修复。Penn 说另一个挑战是谄媚，模型强化了错误的前提而不是纠正它。如果不加以制止，这种行为可能会漏过测试并出现在生产环境中。

从聊天机器人到编码工具

"如果你不自己构建，你就不会成功。"

这也改变了好的工程领导力看起来像什么。经理需要对他们监督的模型有实际操作经验。如果他们不经常使用这些模型，看不到什么有效什么无效，他们就会失去做出正确架构决策所需的直觉。Penn 直言不讳地说："如果你不自己构建，你就不会成功。"

这种构建产品的方式也塑造了 Anthropic 最大的战略赌注之一：开发者工具。早在 2023 年，Anthropic 根本不与编码相关联。正如 Penn 回忆的那样，"[2023 之前]没有人会在同一句话中提到 Anthropic 和编码。"但公司看到人们试图用竞争对手的模型处理编程任务，因此决定将编码作为 Claude 3 Opus 的主要关注点，该模型于 2024 年 3 月推出。

Penn 指出，此举反映了 Anthropic 思维方式的更深层次转变。为了让模型从会话机器人演进为真正的助手，他们必须跨越从"说话"到"行动"的鸿沟，这最终导致了 Claude Code，以及后来的 Claude Opus 4.5。

Claude Code 在 2025 年 2 月的研究预览和 5 月的正式发布后已经获得了势头。但当 Opus 4.5 在 11 月推出时，采用速度加快了。Penn 认为这两次发布是紧密相连的，声称没有其中之一就不会产生这样的影响。

小团队追求大赌注

Penn 还阐述了 Anthropic 的 R&D 是如何设置来捕捉 AI 能力的突然飞跃的。在 2024 年中期，公司专门成立了 Labs 团队来追踪不符合正常产品路线图的实验想法。他们的工作是从基本概念出发，找出其 10 倍、100 倍或 1,000 倍版本的样子。这种方法依赖于保持工程 pod 极其小规模。"非常大的团队追求非常模糊的大想法最终会被拖累，"Penn 说。

这个模型的一个早期验证来自一个不太可能的地方。Anthropic 的研究人员调高了一个特定的激活特性，发现 Claude 对金门大桥着迷了。在 24 小时内，一个跨职能团队在 claude.ai 上推出了一个实时消费者体验。它只到达了大约 2,000 人，但 Penn 称之为一个转折点："那是我们发现自己身份的那些隐藏拐点之一。"

"一个思考伙伴不只是同意你。它应该为你增加价值，你应该因为与 Claude 合作而获得更好的想法。"

人类变得更加重要

Penn 表示，她定期使用 Claude 的研究版本来挑战她自己的产品想法，因为她在寻找异议而非验证。如果模型指出她思维中的缺陷，那是它在履行职责的迹象。"一个思考伙伴不只是同意你，"她说。"它应该为你增加价值，你应该因为与 Claude 合作而获得更好的想法。"

核心挑战是从如何编写代码转变为首先决定构建什么。Penn 认为人类的角色变得更加至关重要。

"用户中心的人、深入细节理解用户试图完成什么、以可行的方式将其浮出水面、并坚持不懈地完成这项工作的人。这对我来说是产品人员的核心，"她说。"我们实际上需要更多这样的人。"