让 AI 写坦克机器人,先搭本地模拟器
作者设定目标、约束和验收标准,Muse 用官方引擎搭建本地模拟环境,再编写和迭代 JavaScript 控制器。首版在 160 场本地对局中胜率为 66.3%,但对固守据点的对手只有 40%,后续版本据此调整了阵容和战术。
AI 深度解读
作者给 AI 编程代理 Muse 一份竞技场文档,让它用 JavaScript 写坦克对战控制器。Muse 先用官方引擎搭起本地模拟,找出第一版打不过哪类对手,再改阵容和决策规则。第三版在本地赢了 130 场,上传后的 wangtea 则打完了 205 个排位系列赛,全程零超时、零异常。
排位成绩属于中游。这次实验最值得借鉴的是验收顺序:先把代理写出的代码放进能反复跑、按对手统计的环境,再看它在公开榜单上经不经得住检验。
为什么第一版胜率过六成,还要改
Muse 从 battle.training 的单文件文档入手,在上传控制器前用官方引擎搭好本地模拟。v1 的阵容是两辆战斗坦克、一辆侦察车和一架无人机,对平台内置机器人打了 160 场,总胜率 66.3%。拆开看,碰上守在目标点的防守型机器人,胜率只有 40%。作者说,本地模拟一个下午就暴露了这个问题。至于上排位摸索会耗掉几天,那是作者的估计。
v3 换成一个导弹单位、一辆主战坦克、一架负责侦察的无人机和一辆侦察车。导弹单位负责远程施压,队伍优先集火射程内血量最低的目标,坦克守在最大有效射程,无人机掉血后撤到坦克身后,任何单位的血量低于 25% 就撤退。第三版本地打出 130 胜、30 负,胜率约 81%。阵容和规则一起改了,原文也没单列 v3 对防守型机器人的胜率,因此只能确认这套组合提高了本地总胜率。
205 个排位系列赛验证了什么
wangtea 在公开排位打了 205 个系列赛,68 胜、74 负、63 平。公开评分是 942,高于平台入门机器人 house-starter 的 729,达到了作者设定的目标。11 月 18 日查看时,它排第 248,榜单分数为 892。机器人还在持续参赛,评分和名次都会变。
这 205 个系列赛里,超时和异常都是 0。原文称对局结果可复现,公开回放也便于核对具体表现。至于 63 个平局,作者怀疑打法太保守了,但没有给出回放归因或策略对照来验证这个判断。
怎样给编程代理一个能自己验证的目标
作者负责定目标、约束和验收门槛,Muse 负责写代码、跑模拟和迭代。作者举的验收示例是:对 brawler 的胜率高于 60%,对 hunter 的胜率高于 50%,游戏每一步更新都不能出错,也就是零 tick errors。这几个数字是规格示例,原文没有把它们列为 wangtea 的实测成绩。
把目标拆到对手类型和运行错误,代理修改完就知道该跑哪些用例,也能发现总胜率掩盖的问题。进攻策略是否改善,与控制器能否稳定跑完全程,可以各自验收。
我的判断
这篇最扎实的证据是 v1 的分项胜率。66.3% 的总胜率和对防守型对手的 40% 可以同时成立,足以说明只看一个汇总数字会漏掉什么。相比直接上传看排名,本地模拟更适合定位问题,公开排位则能观察控制器面对公开对手时的成绩和稳定性。本地统计按单场算,公开统计按系列赛算,两组胜率无法直接比较。
这套做法能跑得顺,还有两个现成条件:官方引擎和内置对手。一般团队如果要自己搭测试环境、准备有代表性的输入,成本会不同。作者没有提供跳过本地模拟的对照,也没有和人工实现比较,因此「先模拟更省时间」仍是经验之谈。文章是 Bot Bounty 参赛稿,控制器源码在发文时也还有待公开,能核对的是榜单和回放呈现的结果。
能拿来做什么
- 让代理修改 Node 里的规则逻辑前,先用项目现有的运行入口搭一个可重复执行的本地测试,把典型输入和已知失败输入都列进去。
- 给代理设验收条件时,按场景设指标,让它同时报告总体结果和分项结果。某类输入经常失败时,先单独复跑那一组。
- 把结果质量和运行稳定性分别统计。比如让代理批量跑一组任务时,除了检查输出正确率,还要单列超时和异常次数。