AI 项目团队常见发展卡点

当"迭代"只是在做随意改变时

几年前，我参与了一个生成式AI项目，这是一个面向客户的AI助手。公司拥有优质数据，确信AI能将其转化为有价值的产品。

我们快速构建了原型。用户都很兴奋。

迭代很快。每个调整都让AI看起来更好。

我们不断改变东西，但...它真的在变好吗？还是只是不同了？

起初，改进AI似乎很明显。我们发现问题、修复问题，看到了真实的进展。但突然间，一切都变慢了。

有些改变使事情变得更好，但我们不确定为什么。

其他改变使事情变得更差，但我们无法解释原因。

有时，事情只是感觉...不同，并不是真的更好。

我花了太长时间才意识到：我们不是在迭代。我们在猜测。

我们在调整prompt、调整检索参数、微调模型...但都没有衡量。我们只是在少数精心挑选的例子上测试，并说服自己感觉更好了。

这正是大多数AI团队卡住的方式。

少数例子上更好不等于真的更好

当你深入一个项目时，很容易认为你能判断什么时候有改进。你运行几个测试。输出看起来更好。所以你假设有进展。

它真的全面改进了吗？

它在过程中是否破坏了其他东西？

你在修复用户真正关心的东西，还是只是你注意到的东西？

大多数团队认为他们在迭代。他们只是在随意方向上移动🐔

没有衡量的迭代...就会失败！

这就是真正的问题。

大多数团队，当他们碰到这堵墙时，做了我们做过的事：尝试更多东西。

更多模型调整。

更多检索微调。

但真正的迭代不是关于做改变。而是在每一步都知道这些改变是否真的有效。

没有那个，你就只是在黑暗中优化。

突破这一点的团队不仅构建更好的模型，还构建更好的方法来衡量"更好"意味着什么。

与其依靠直觉，他们：

定义清晰的成功标准。什么才能真正让答案有用？

系统地衡量改变。不仅仅是少数精心挑选的例子。

确保改进不会破坏已经有效的东西。

大多数AI团队不是在努力构建AI。他们在努力改进它。

我以困难的方式学到了这一点。但一旦我开始将迭代视为需要清晰反馈循环而不是直觉的东西，一切都改变了。

在随后的一篇文章中，我将解释如何实际衡量AI改进，而不会被误导性指标所困。

👉 关注以在发布时获得通知。

📌 同时，如果你想深入了解AI迭代和持续改进，请查看我的博客。

某些评论仅对已登录的访问者可见。登录以查看所有评论。

如需进一步操作，你可以考虑屏蔽此人和/或举报滥用行为。