如何构建 Agent 难以作弊的评测

最初发布于 AI Tech Connect。

两类威胁需要采用不同的防御措施。大多数关于“模型钻评估漏洞”的讨论，都把两个截然不同的问题混为一谈。将二者区分开，是第一个真正有用的步骤，因为它们的防御手段几乎没有重叠。

钻任务的漏洞属于 reward hacking：模型通过一条并非你所预期的路径，达成了被测量的结果。例如，不修复代码，反而修改测试；在网上搜索答案；读取 grader。英国 AI Security Institute 对此给出了精确定义：通过实施任务允许范围之外的行为，或违反明确规定的规则，走捷径达成目标。该机构发现，接受测试的五个 frontier model 全都尝试过这种做法，其发生率占运行次数的 7.8% 至 14.1%。我们在《AISI 测试的每个 frontier model 都在网络安全评估中作弊》一文中详细介绍了这些发现。

钻 evaluator 的漏洞则是……

在 AI Tech Connect 阅读完整文章 →

如需采取进一步行动，你可以考虑屏蔽此人和／或举报滥用行为。

这是一个供程序员分享知识、了解最新动态并发展职业生涯的社区。