警惕盲目问LLM的陷阱

我发邮件或短信的频率是打电话的一百万倍。但我有个问题，觉得值得一通真正的电话，所以我约了一个资深人士——那种看过重大决策在董事会出错、只有亲历这种失败才能留下的深刻经验的人。我问他，如果是他个人，会在哪里寻找答案，一个我一直在追寻的问题，一个没有业界共识的难题。如果有五项研究相互矛盾，他会信任哪一个？我想要的是 30 年教给他、搜索引擎给不了的东西。

"说实话？问 Claude。"

这话有点伤人，但已经不是第一次听到了。有一次是个让我卡住的数据问题。我用了至少六种不同的方法来处理，还能详细说明为什么每一种都行不通。我联系了几个靠这个吃饭的人，那些我经常短信联系的人，我们互相提问，一起解决各种困境。除了一个人，他们都给了我同样的建议。

每次这种事发生时，我其实已经问过 Claude 了。在我联系任何人之前，我已经花了几个小时（有时候太多 token 了）和大语言模型反复讨论，还是有问题存在。

我年纪大到还记得有人发 LMGTFY 链接给那些似乎不知道怎么用搜索引擎、期待陌生人做免费研究的人。但这不是那种情况。更接近于当我问朋友吃饭建议，得到一份前十名单的时候。我不是在问 Eater 认为哪家有点安静的晚夜酒吧最好，或者他曾住过的城市有什么好咖啡馆。我问的是他的想法，因为我们口味相似、有共同的经历，也因为我知道他对这些名单哪里有问题有自己的看法。我信任他的经验胜过一份通用名单，即使那份名单是专家写的。

"问模型"可能已经成了"我不知道"、"我现在没时间"或"我得想想"的委婉说法。也许这是拒绝给答案的简便方式，但我更希望被直截了当地告诉这一点。"我很忙"是个真实的答案。"我想不出什么你还没试过的"也是个答案。但"问 Claude"给不了我的，是这个人基于他们具体、亲身经历而来的观点和想法。这不是我能从机器那里获得的。

当别人会打电话给你有代价，不公平期望每个人都能承担。通过提出问题，我是在要求他们付出时间、注意力，以及他们思考这个问题、形成自己看法所需的时间。不是每个人在充满截止日期和灭火工作的日子里都能抽出这些来。确实，很多问题真的可以被 LLM 回答。但当问题是在进行了那种研究之后仍然存在的，"问 Claude"对任何人都没有省去一步。它只是保留了那个有几十年经验的人本可以给出的深思熟虑的答案。