让 Claude 回答有据可查的项目问题

把工程师的问题交给 Claude 自动回复，最难的不是让它答对，而是让它知道哪些事没有资格拍板。一位负责美容院移动应用的 PM 跑了一个月：AI 发出 18 条回复，主要结论后来都没有被推翻，但有一次越过了审批边界。

这次实验值得看，因为作者把问题从「AI 有多自信」改成了「现有证据能否决定答案」。对经常被需求澄清、工单追问打断的团队，这比一套万能提示词更有参考价值。

哪些问题可以交给 Claude 回答

作者是项目里唯一的 PM，与 4 名海外工程师合作，其中一人是技术负责人。问题通过日本常用的项目管理工具 Backlog 提交，每周约 9 个。作者估计，反复打开工单、重读规格、回复再切回原任务，每周耗掉 2 至 3 小时。

自动化任务在工作日每天收集 6 次 Backlog 更新，从 10 月 15 日到 11 月 13 日共运行 120 次。可以根据证据确定答案的问题，由 Claude 回复；其余问题留到次日早晨，合并成一份待决策摘要。

作者最初想用置信度划线：AI 有把握就回答，没把握就升级给人。但一个月后复盘发现，没有一次升级是因为低置信度，全部与问题类型有关。

证据能够回答问题，不代表 AI 有权决定问题。

规格、历史决策或代码已经明确的内容，可以直接回复。涉及成本变化、个人数据、法律、安全、新的用户可见行为，或者工单明确要求 PM 批准的内容，都应交给人。

升级原因中，用户可见行为占 6 次，成本占 3 次，个人数据和法律占 3 次，PM 审批占 3 次，其他原因占 3 次。这里判断的是决策权限，而不是回答听起来有多笃定。

真正积累下来的资产是项目证据

Claude 使用三类来源：项目文档、历史工单与评论、代码。作者认为文档最重要，因为团队持续把共同规则、已经解决的问题写进去，后续回答便有了依据。

一个很具体的例子：10 月 16 日，文档新增规则，线上已经存在的缺陷需要单独建工单。之后同类问题又出现 4 次，AI 都依据这一行规则完成了回答。

这套机制的价值，是把一次人工决策变成可重复使用的团队知识。只在聊天里说过的结论，下一次仍然需要有人翻找；写入明确规则后，才更容易被检索和引用。

原文还给出两个实际回复：

• 在框架升级工单里，工程师询问商店构建环境和合并前检查，AI 要求合并前先在商店环境完成一次构建，演练完成前不要合并。工程师照做，运行成功。
• 在缩小 CI 必需检查范围的问题上，AI 从两种方案中选择按 job 缩小范围，工程师随后按这个方向提交了 PR。

最终发出的 18 条回复中，主要答案没有被推翻，另有 2 条得到补充。作者自己的检查降到每天约 2 次，工程师没有提出抱怨。作者还提到回复大约每小时到达，但没有解释它与每天采集 6 次之间的具体调度关系。

审批边界为什么仍然会失守

实验里最有价值的部分，是作者没有把「答案正确」等同于「流程可靠」。

一次估时问题中，Claude 在不同运行里分别建议 2 小时、2.5 小时、3 小时。部分原因是读取的代码不同，有时读工作区，有时读 main。输入证据没有固定，判断自然会晃动。现在遇到建议分歧，早晨摘要会保留不同意见，由 PM 集中决定。

更关键的一次失误发生在审批上。同一个需要 PM 批准的问题，前 6 次运行都被正确升级，第 7 次 AI 却直接批准了。答案没有错，也没有造成不良后果，但权限边界已经被突破。

作者采用两种修正方向：每次失误都补成书面规则；对待审批问题增加阻断标记，标记解除前不允许 AI 处理。后一项在原文中仍是下一步计划，不能算已经验证的成果。

需要审批的状态，应由程序拦住。

提示词可以帮助模型判断问题类型，真正禁止发送回复或执行批准，则需要工作流约束。

我的判断

我认同作者把分流依据放在问题类型上。对需求协作来说，「有没有既定答案」与「谁有权作决定」比模型自报的置信度更容易检查，也更方便追责。

但 18 条回复的样本很小。没有主要结论被推翻，只能说明这批问题里的表现，不能推出长期可靠性。工程师没有投诉、似乎没发现 AI 在回答，也是作者的观察，不是质量测量。原文没有提供节省工时的前后对照，更没有足够数据证明它优于人工集中回复或固定模板。

它还有一个明显前提：团队愿意维护可信的文档。若规格过期、历史评论互相矛盾、代码读取位置不固定，证据越多未必越好。对于规则少、问法固定的流程，普通自动化或模板也值得先考虑；Claude 的用处，在于跨文档、工单和代码整理已有答案。原文没有给出两者的对照实验。

能拿来做什么

• 可以先从需求工单中的重复问答入手，把「已有明确规则」和「需要新增决策」分开，只让 AI 处理前一类，并保留人工抽查。
• 每次澄清框架升级、构建检查或缺陷处理规则后，都补一条简短、明确的文档记录，让后续回答能够引用既定依据。
• 在 AI 读取代码前固定分支或提交版本；遇到估时等建议不一致的问题，保留分歧和下一步行动，集中交给负责人判断。
• 如果要自动发送回复，就在发送环节检查审批状态；待审批标记未解除时阻断操作，避免只靠提示词维持权限边界。