让 Claude 在沙箱分析百万行数据
教程通过 MCP 连接沙箱,让 Claude 在远端下载 Parquet 文件并使用 DuckDB、Python 分析约 390 万行出租车数据。聊天仅接收分析结果,避免将原始数据逐行塞入上下文。
AI 深度解读
分析 390 万行数据,不必先把它们塞进 Claude 的聊天窗口。作者用一个月的纽约出租车行程演示:让 AI 在沙箱里下载数据、写代码、执行查询,只把统计结果带回对话。模型负责组织分析,计算交给程序。
这条路线值得关注的地方,是它把上下文限制变成了工具调用问题。不过,文中的速度和结果来自作者的一次演示,不能直接当作所有数据分析任务的性能保证。
390 万行数据,为什么只需要读几行结果
直接上传大 CSV,容易撞上上下文上限;即使装得下,也要为进入上下文的数据支付 token 成本。作者的办法是把代码送到数据旁边执行。
他们使用 WBX Sandbox,创建一个小型 Linux 虚拟机,在里面下载文件、安装 DuckDB,再运行 Python 脚本。模型读到的是程序打印的计数、均值和排名,不需要逐行理解原始记录。
真正需要控制的,是工具向模型返回多少内容。
作者将同一份数据导出为 CSV,用 tiktoken 的 cl100k 编码计数,得到约 3.1 亿 token。这个数字对应 CSV 表示,不能拿来代表原始 Parquet 文件的 token 数,也不是这次分析实际消耗的 token。原文没有给出完整对话和工具调用的总用量。
这次出租车分析具体怎么跑
按原文说明,Claude 任意套餐可用,Free plan 允许一个自定义连接器;ChatGPT 则需要 developer mode,另外还要一个免费的 WBX Sandbox 账号。
作者给出的连接步骤约需 2 分钟:在 Claude 中打开 Customize → Connectors → Add custom connector,填入以下地址,再完成登录授权。
https://sandbox.wbx.cz/mcp
注意这里填的是 MCP 连接器地址。原文另外列出了 ChatGPT、Cursor、VS Code 和 Claude Code 的连接方式,但没有展开操作细节。
接下来,把数据 URL 和分析要求交给模型,并明确要求「把数据留在沙箱,不要加载进聊天」。示例数据是 2026 年 9 月的纽约黄色出租车行程,文件名为 yellow_tripdata_2026-09.parquet,大小 67 MB,共约 390 万行。
作者记录的过程是:下载耗时 7 秒,安装 DuckDB 后运行两段短 Python 脚本,只读回打印摘要。Parquet 配合 DuckDB,在这次运行中扫描这些行花了不到 1 秒。约 1 分钟后,模型返回两张图和结论:
- 下午 6 点最忙,当月该小时累计上车 268,207 次;凌晨 4 点最少,为 32,315 次。
- 按小费占车费比例,Upper East Side 领先,为 24.8%;按小费金额,机场更高,JFK 平均为 12.97 美元。
这里有两个边界。小时统计是整个月累计,并非每天固定如此;小费只记录刷卡支付,现金小费缺失,不能据此判断所有乘客的小费行为。
自己做 Agent,关键是收紧输出
作者给出的最小工具接口是 run_python(code):模型生成代码,沙箱执行,再把截短的输出返回给模型。其示例约 160 行、放在单个文件里,支持 OpenAI-compatible 模型,结束时会打印留在沙箱的字节数,以及送给模型的字符数。
这个区分很实用。数据规模决定计算和存储压力,返回内容的长度决定上下文压力,两者可以分别管理。
原文还给了三个操作习惯:明确要求只打印摘要;优先采用 Parquet + DuckDB;需要跨天继续时,把沙箱命名为 nyc-taxi。作者称沙箱空闲时会休眠并保留文件,后续对话可以接着使用。对于私有数据,则可以上传文件后要求使用无网络沙箱。
我的判断
我认可这套分工:计数、聚合、排序交给数据库,模型负责生成查询和解释结果。相比把 CSV 全文塞进提示词,它更适合大规模结构化数据。
但原文展示的是一条成功路径,没有与本地 DuckDB、Notebook 或其他沙箱做对照,也没给出完整成本、查询失败率和重复运行数据。「不到 1 秒」只能算这次扫描的实测,不能扩展成整个分析都能秒出。
如果问题固定,直接写 SQL 或 Python 脚本通常更容易复查;如果需要不断追问、换维度、补图,Agent 才更有交互价值。两种做法仍然都要核对统计口径。模型主动提醒现金小费缺失是好事,但不能保证它每次都会发现类似问题。
另外,无网络只限制沙箱的联网能力。数据仍然上传到了第三方服务,原文没有说明其存储、保留和访问控制细节。
能拿来做什么
- 处理大型 CSV 或 Parquet 时,先让 AI 在沙箱里检查字段、统计行数并返回摘要,再逐步追问,避免一开始就输出全部记录。
- 在 Node 或其他自建 Agent 中接入代码执行工具时,限制返回内容长度,并记录数据字节数、输出字符数和实际 token 用量,分别观察计算成本与上下文成本。
- 让 AI 生成分析结果时,同时返回筛选条件、聚合口径和缺失值说明。遇到小费比例这类指标,先核对分母和样本覆盖范围,再使用结论。