用临时沙箱安全测试 AI 编程 Agent 的实战模式

AI 编程工具每个月都在获得更多能力：shell 访问、文件写入、网络请求、包安装。这本身也是问题所在。你赋予 agent 的每一种能力，都可能被恶意 prompt、幻觉出的命令或被污染的依赖所滥用。近期 DEV 社区的一个帖子讨论了这些边界失效时会发生什么——坦率地说：通常什么都发生不了，直到那一次真正出事的时刻。

这篇文章介绍的是我一直在打磨的一个实践模式，用来评估 agent 生成的代码，同时让它远离我的主力机器和代码仓库。它依赖两个要素，将实验成本几乎降到零：免费的模型访问额度，以及一台可以视为一次性的免费临时服务器。这个模式适用于任何提供这两样东西的提供商；我会在用到特定方案的地方特别说明。

永远不要在你珍视的环境里评估 agent 输出。正确的做法是：

• 启动一个没有任何凭据、没有 SSH 密钥、无法访问你真实代码仓库的临时环境
• 给 agent 一个任务，捕获它执行的所有操作
• 对输出运行一套固定的检查
• 销毁这个环境

关键属性不在于工具本身——而在于这个环境足够廉价、足够可丢弃。如果启动一个沙箱需要花钱或花时间设置，你就会"就这一次"跳过它，而那就是出事的起点。

声明：本文是 MonkeyCode 产品推广的一部分。我在这里使用 MonkeyCode，是因为它提供免费的模型访问和免费服务器选项，符合"默认可丢弃"的要求——一个零成本的沙箱才是你真正会用的沙箱。下面的工作流虽然基于某家具体提供商，但本质上与提供商无关；请用你手头任何可用的免费额度来替代。

沙箱工作流包含四个脚本。下面是可自行适配的骨架：

#!/usr/bin/env bash
# run_agent_trial.sh — execute one agent task in isolation
set -euo pipefail

TRIAL_DIR=$(mktemp -d /tmp/agent-trial.XXXXXX)
echo "Trial workspace: $TRIAL_DIR"

# 1. No secrets in scope: explicitly empty env for the trial
env -i HOME="$TRIAL_DIR" PATH="/usr/bin:/bin" \
  bash -c '
    # 2. Agent generates code into the trial dir only
    #    (prompt sent via your provider CLI/API here)
    # 3. Static checks before anything executes
    grep -rnE "curl|wget|nc |/etc/|sudo|rm -rf /" . && \
      echo "FLAG: suspicious command patterns" || echo "static scan clean"
  '

# 4. Cleanup is unconditional
trap 'rm -rf "$TRIAL_DIR"' EXIT

几个关键点，个个都不稀奇：

env -i 会剥离你的环境变量，这样就不会有 API key、token 或云凭据泄露到 trial 中。仅此一条就防止了现实世界中最常见的 agent 事故。

静态 grep 刻意做得粗糙。它不是安全扫描器——而是一个绊索，在运行任何东西之前捕获明显的可疑操作（如 curl | sh、向工作区外写入等）。

trap ... EXIT 意味着即使 trial 崩溃，工作区也会被销毁。

一个决策表：什么时候免费档沙箱就够了？

评估电池

没有评分规则的沙箱只是一个游乐场。每个 trial 我从四个维度打分：

边界纪律——agent 是否尝试了超出声明范围的操作？（静态扫描加上对命令日志的审查。）

正确性——生成的代码是否通过了我在看到 agent 输出之前写好的一个小测试？先写测试至关重要；否则你会不自觉地写出让输出通过的测试。

自我验证——当代码失败时，agent 是注意到了并修复了，还是直接宣布成功？这是判断一个 agent 是否可以宽松监督的最强单项指标。

清理行为——它是否留下了临时文件、后台进程或半应用的迁移？会清理自身的 agent 在共享环境中明显更值得信任。

局限性与不适合使用的人群

可丢弃沙箱缩小了爆炸半径；它并不能让 agent 输出变得可信。通过依赖或获取内容进行的 prompt 注入仍然可能产生通过检查的糟糕代码。

免费档位——模型和服务器皆然——有未指定的限制。不要在免费资源上测量性能，不要依赖它们处理时间敏感的事情，也不要认为今天的可用性会永久存在。

如果你只是在聊天界面里向模型提问且没有工具访问权限，这个模式就过度设计了。它专门针对那些能够执行操作的 agent。

如果你的威胁模型包含真正恶意的模型（不只是粗心的模型），免费的共享服务器无法提供足够的隔离。请使用proper virtualization 或物理隔离的机器。

关于"agent 会搞砸一切"的讨论往往在两个极端之间摇摆："永远不要信任它们"和"只是更好地监督就行了"。无聊的中间地带是环境层面的：让安全 trial 的成本低到跳过它比执行它更蠢。免费模型访问加免费可丢弃服务器在今天就达到了这个门槛——无论你从哪家提供商获取。如果你想要尝试上述的完整配置，MonkeyCode 的免费档是其中一个无需触碰自有基础设施的运行方式。

你的评估电池里有什么？我很好奇大家在允许 agent 输出接近真实代码仓库之前会运行哪些检查。