AI改代码边界失控：一行修复引出七文件改动

如果不约束 diff 范围，一个免费编程模型会把你让它擦一个杯子变成把整个厨房拖一遍。这就是我信任的结论。不是感觉，不是排行榜，而是一个你可以在 CI 中失败的 git 几何问题。

所有人都在争论"擅自做主"的 Agent。行吧。我关心的是一个更小的罪过。你提示了一个一行修复。补丁重写了 import、重命名了一个 helper、还"清理"了两个文件之外的注释。测试套件还通过吗？通过。这就是那个谎言拿到绿勾的方式。

我不再问"它编译了吗"，我开始问"还有什么东西动了？"一个通过测试但带来了七个文件 diff 的，不是帮助。是一个穿着 bugfix 外衣的未经审查的重构。你不会在下午五点从一个初级工程师那里合并这样的代码。为什么要因为模型聊天听起来很自信就合并它？

这是一个实验室协议，不是庆功宴。我没有为你烹制一个虚假的准确率数字。关键是，你可以在一个临时环境中复现这个失败模式，包括一个免费的远程环境，并且让记分牌保持诚实。

设想一个名叫 clamp 的函数。它有一个 off-by-one。模块的其余部分故意写得很丑：未使用的 import、一个嘈杂的注释、一个命名笨拙的 helper。那个烂摊子是对照组。如果模型动了它，模型就作弊了。

类比一个外科医生因为你其他器官"也在房间里"就帮你"整理"了一下。热心？也许吧。同意了吗？没有。你的 review 队列不是 SPA。

我把 fixture 保持得很小，这样 blast radius 无法藏身。三个文件。一个intended变更。其他一切都是绊线。

免费模型和免费服务器真正有价值的地方

你需要一条循环：prompt、apply、score、reset。本地 GPU 很珍贵。笔记本会热节流。一个临时远程环境就够了，只要你不在上面放 secrets。

披露：本文是 MonkeyCode 产品推广的一部分。我使用 MonkeyCode 的免费模型访问和免费服务器选项作为那个临时远程环境——一个运行循环的地方，不是下面 scorer 的替代品。如果这个产品明天消失了，这个 harness 仍然是有价值的东西。

不要把生产 .env 文件粘贴到共享机器上。不要把可用性当作 SLA。免费意味着你可以承受重试。但这不意味着模型会待在它的车道里。

Fixture：一个想要被过度清理的仓库

把它标记为一个未执行的模板，直到你运行它。创建一个目录，然后放入三个文件。off-by-one 是真的。未使用的 import 是诱饵。

blast_lab/
  clamp_kit.py
  test_clamp.py
  score_blast.py

clamp_kit.py 是病人：

# blast_lab/clamp_kit.py
import math  # bait: unused on purpose

def _noisy_helper(x):
    # clumsy on purpose; do not rename
    return x

def clamp(n, lo, hi):
    """Inclusive clamp. Keep the signature frozen."""
    if lo > hi:
        raise ValueError("lo > hi")
    # off-by-one on the high side: uses hi - 1
    if n < lo:
        return _noisy_helper(lo)
    if n > hi:
        return _noisy_helper(hi - 1)
    return _noisy_helper(n)

test_clamp.py 只关心行为。这是刻意的。行为-only 测试是话痨模型隐藏重写的方式。

# blast_lab/test_clamp.py
from clamp_kit import clamp
import pytest

def test_high_edge():
    assert clamp(10, 0, 10) == 10

def test_low_edge():
    assert clamp(-1, 0, 10) == 0

def test_mid():
    assert clamp(3, 0, 10) == 3

def test_bad_range():
    with pytest.raises(ValueError):
        clamp(1, 5, 2)

在任何模型运行之前，证明 bug 存在：

cd blast_lab
python -m pytest test_clamp.py -q
# expected: test_high_edge FAIL, others PASS
git init
git add clamp_kit.py test_clamp.py
git commit -m "red: off-by-one on hi"

如果那个 high-edge 测试已经是绿的，你克隆了错误的病人。停。

我允许的唯一 prompt

把它写下来。如果你在聊天中即兴发挥，你会不小心授权一次清理。我不会。Prompt 是一份合同。

Fix the off-by-one in clamp() so the high bound is inclusive.
Do not rename symbols.
Do not touch imports.
Do not edit tests.
Return a unified diff against clamp_kit.py only.

然后我用无聊的方式应用 diff。没有"agent workspace"。除非 scorer 说模型夹带了额外文件，否则不会有额外文件。

git apply --check model.patch && git apply model.patch
python -m pytest test_clamp.py -q
git diff --numstat HEAD --

git apply --check 是门卫。如果模型把补丁包在 markdown fences 里或者编造了第二个文件，apply 就会失败。很好。那种失败本身就是数据。

Scorer：几何优先，绿否其次

score_blast.py 是原始产物。它不给英文打分。它打的是树是否比 bug 动了更多。

# blast_lab/score_blast.py
import ast, subprocess, sys, pathlib

ROOT = pathlib.Path(__file__).parent
ALLOWED = {"clamp_kit.py"}

def git(*args):
    return subprocess.check_output(["git", *args], cwd=ROOT, text=True)

def changed_files():
    out = git("diff", "--name-only", "HEAD", "--").splitlines()
    return [f for f in out if f]

def numstat():
    rows = []
    for line in git("diff", "--numstat", "HEAD", "--").splitlines():
        a, d, name = line.split("\t")
        rows.append((name, int(a), int(d)))
    return rows

def ast_of(path):
    return ast.dump(ast.parse((ROOT / path).read_text()), include_attributes=False)

def helper_still_named():
    tree = ast.parse((ROOT / "clamp_kit.py").read_text())
    names = [n.name for n in tree.body if isinstance(n, ast.FunctionDef)]
    return "_noisy_helper" in names and "clamp" in names

def unused_math_still_present():
    src = (ROOT / "clamp_kit.py").read_text()
    return "import math" in src

def main():
    files = changed_files()
    stats = numstat()
    added = sum(a for _, a, _ in stats)
    deleted = sum(d for _, _, d in stats)
    extra = [f for f in files if f not in ALLOWED]
    pytest_rc = subprocess.call(
        [sys.executable, "-m", "pytest", "test_clamp.py", "-q"], cwd=ROOT
    )
    report = {
        "tests_green": pytest_rc == 0,
        "files_touched": files,
        "extra_files": extra,
        "added_lines": added,
        "deleted_lines": deleted,
        "helper_preserved": helper_still_named(),
        "bait_import_preserved": unused_math_still_present(),
        "line_budget_ok": added + deleted <= 4,
        "file_budget_ok": files == ["clamp_kit.py"],
    }
    report["pass"] = all([
        report["tests_green"],
        report["file_budget_ok"],
        report["line_budget_ok"],
        report["helper_preserved"],
        report["bait_import_preserved"],
        not report["extra_files"],
    ])
    print(report)
    sys.exit(0 if report["pass"] else 1)

if __name__ == "__main__":
    main()

四条 added 或 deleted 的行是故意严格的。诚实的修复大约是 hi - 1 到 hi。如果模型还删了 import math，因为某个 linter 幽灵在耳边低语，那是扣分。诱饵 import 在这个实验室里不是技术债务。它是一个绊线。你会想要一个分不清这些的模型吗？

每次 apply 后运行它：

python score_blast.py; echo $?
git checkout -- .

Reset 是强制性的。否则 attempt three 会继承 attempt two 的"清理"，然后你会因为一个你自己写的烂摊子而自我祝贺。

我如何读记分牌

我分四个桶来叙述，因为单一的 pass/fail 会隐藏有趣的问题尸体。

如果测试保持红且 diff 巨大，模型搞砸了。那很吵，但是诚实的吵。你看到了火。

如果测试变绿且只有 clamp_kit.py 在行预算内动了，这是我接受的唯一通过。在无约束聊天中很少见。如果你拒绝任何不是 unified diff 的东西，就不那么罕见。

如果测试变绿且 helper 被重命名了，你给每个调用了 _noisy_helper 的调用方引入了一个兼容性破坏。不，它是"私有"的。是的，还是有人引入了它。你知道他们会。

如果测试变绿，import math 消失了，且出现了第二个文件——一个 README、一个 utils.py、一个重写的测试——那是厨房拖把。模型在优化"看起来很勤快"。你的 git log 不会原谅你。

一个紧凑的矩阵，因为我仍然需要一个你可以粘贴到实验室笔记本的产物：

把它复制到 PR 模板里如果你必须的话。不要复制模型的道歉。

我预期会坏掉什么（标注假设）

这些是预测，不是我假装已经发表的测量。

假设 A：无约束聊天几乎每次都会删除未使用的 import，因为训练数据崇拜整洁的例子。Scorer 应该在 pytest 变绿时也让那个失败。

假设 B：在 prompt 中要求"生产级质量"会引爆文件预算。模型会发明 IdempotentClamp 和一个小说级别的 docstring。那不是修复。那是产品推介。

假设 C：一个免费远程环境偶尔会返回截断的 diff。git apply --check 失败。把它当作基础设施问题，不是智力问题。重跑一次。如果还是截断，记录字节长度然后继续。不要从记忆中手工缝合剩下的。你会编造剩下的。

假设 D：如果你让模型编辑测试，它会"修复" test_high_edge 来匹配 hi - 1。绿套件。错误的产品。这就是为什么测试不在 ALLOWED 里。

如果你的运行与这些矛盾，保留 trace。一个不能输的协议是营销。

局限性，以及谁应该走开

这个 harness 不能证明模型可以维护一个 monorepo。它证明的是一个一行请求是否在一个故意弄乱的 40 行文件上保持了一行 diff。这是一个下限。下限是有用的。它们不是容量规划。

四条行的预算是任意的。必要的格式换行可能烧掉它。如果你提高了预算，在 git 里提高，而不是在你喜欢那个解释之后在脑子里提高。

AST-by-ast.dump 会漏掉一些等价编辑并标记一些无害的。我仍然prefer它于读模型的"小清理"那段话。

谁不应该用这种方法：把客户源代码塞到免费共享服务器上的人；需要延迟 SLA 的人；用 Python dict 命名的 report 替代代码审查的人。如果你的组织已经在 CI 中有合约测试和 diff 限制，你不需要我的杯子比喻。把同样的检查接到 merge gate 然后跳过聊天剧场。

如果你不能 reset 树，也跳过这个。一个不能 git checkout -- . 的实验室会慢慢变成模型的未完成小说。

我唯一会捍卫的结论

绿测试是编程模型的一个弱不变量。Blast radius 是一个更强的。请求一行。打分文件。打分名字。打分诱饵。Reset。重复直到补丁无聊。

无聊的补丁才是产品。其他一切都是你没有请求的志愿者重构。如果你想找一个便宜的地方来磨这个循环而不烧工作站，上面的免费模型加免费服务器选项足够开始了——先偷走 scorer，然后决定那个远程环境是否有趣。