让模型自动收录工具,四成链接失效
作者复查由 DeepSeek 自动收录的工具,发现 41% 的网站已不可用,初始工具列表的对应比例为 5.7%。调用接口没有联网核验能力,提示词中反复要求“验证真实存在”也无法提供验证能力;网站失效本身不能证明工具最初就是虚构的。
AI 深度解读
让 LLM 自动发现 AI 工具,再批量生成介绍和对比页,看起来是一条低成本扩充网站的路。AI Platforms List 的作者跑过这套流程,11 个月后回查发现:仅由两个 DeepSeek 任务添加、且完成检查的网站中,41% 已经失效,初始名单对应比例是 5.7%。
问题不只是模型会编造。无法联网的 API 被要求「验证」,只看网址的校验器放过停放域名,模板又把可疑数据扩成数千页面。这篇复盘值得读的,是错误如何被一层层放大的过程。
提示词要求验证,API 却没有验证能力
2025 年 12 月,作者用两个任务向 deepseek-chat 索取工具,再存进 platforms.json。调用走普通 chat completions API,不能搜索,也不能打开网页。提示词要求「只推荐能验证存在的平台」,实际却没提供验证渠道。
要求模型确认事实,不等于给了它确认事实的能力。
日常任务通过 GitHub Action 在 06:00 UTC 执行,从 2025 年 12 月 5 日持续到 2026 年 1 月 11 日,每次三轮、每轮最多 8 个工具。它要求产品网站可用,却把 affiliate/referral programs 排在最高优先级。新增记录带有 added_by: "ai-auto-discovery" 和 verified: false,仍然进入了名单。
批量任务更激进。12 月 9 日 04:00 UTC,作者提交了宣称「90,000 platforms/month」的模式。生成器每轮间隔 30 秒,每两轮调用一次 DeepSeek,每轮结束都推送 GitHub。到 12 月 18 日,它添加了 317 条记录。两个任务都会按名称和域名去重,但都不在保存前打开网站。
后来提示词补上了「宁可少返回」「10 个真实平台优于 25 个虚假平台」。这可能有帮助,却补不上证据来源。修复提交记录称,第 71 轮发现的 143 个平台中有 90 个是假的,约占 63%,表现为编造名称、猜测 URL。
返回 200,只能证明有服务器接待了请求
作者很快加了 URL 校验器,每十轮执行一次,先发 HEAD,被拒绝时再发 GET,超时为 10 秒。它通过重定向后的 URL 匹配八种停放域名标记,却不读取页面。
首次运行在 12 月 9 日 06:12 UTC,检查 729 条记录,标记删除 96 条,其中 81 条失效、15 条 DNS 错误。三分钟后,作者恢复了 34 条,因为它们是真实网站,只是不接受 HEAD。那次检查识别出的停放域名数量为 0。
域名出售页也能返回 200,而且未必跳转到交易平台。旧校验器看到请求成功就可能放行,页面实际上已经没有产品了。
新版检查读取页面前 20,000 个字符,增加正文和路径判断:
// November 2026
const PARKED = /(\b(is|may be) for sale\b|buy this domain|this domain is parked|domain parking|parked free|hugedomains|afternic|sedo\.com|dan\.com\/buy|request pricing from name\.ai|window\.location\.href\s*=\s*["']\/lander)/i;
if (status < 200 || status >= 300) return { ok: false, reason: `http ${status}` };
if (PARKED.test(html.slice(0, 20_000)) || new URL(finalUrl).pathname.startsWith('/lander')) {
return { ok: false, reason: 'parked' };
}
重点看第二个 if:状态码之外,还要检查页面内容以及 /lander 路径,后者用于捕捉部分通过 JavaScript 跳转的停放页。它仍然只是规则筛查,不能证明一个产品真实、可用。
作者还补充,新流程会判定跳到其他域名的情况,并逐跳检查重定向、拒绝私有地址。这是在防范用户提交内网 URL 引发的 SSRF,即让服务器替外部用户访问内部网络;这些保护没有完整展示在代码中,不能只复制正则就算实现完毕。
从可疑记录到数千页面,错误被模板放大了
2026 年 1 月 8 日,一个名为「生成 1,140 个 vibe-coding 内容页」的提交,添加了 301 个对比文件。每个文件都以同一句评价开头,称双方都是强大的 vibe coding 平台。连自动化工具 Zapier 也被套进了这个结论。
其中 26 个文件因缺少 slug,文件名出现 undefined。例如 zapier-vs-undefined.json 的标题,却是在比较 Zapier 和 Claude for VS Code。
三个半小时后,又有提交增加了 3,023 个对比页面。第二天,全站达到 4,836 页、275 万词。
数据没有通过审核,生成更多文字只会扩大需要纠正的范围。
搜索表现随后急转直下:1 月 19 日展示量为 1,265,1 月 24 日为 502,1 月 25 日剩 20。作者查到,这段时间没有已公布的排名更新;2025 年 12 月核心更新于 12 月 29 日结束,2026 年 2 月 Discover 更新从 2 月 5 日开始。
不过,作者明确承认不知道 Google 对哪些页面作出了反应。展示量下跌与批量页面存在时间上的关联,原文没有足够证据把因果关系定死。
11 月 8 日,作者重新检查旧名单的 1,031 个网站,对应 1,095 条记录。爬虫每站一次请求并跟随重定向,最多等 15 秒,同一主机不并发;失败站点几分钟后重试,再在首次请求约半小时后重试。44 个网站阻止自动检查,其余 987 个中,作者报告 763 个仍可用,包含 68 个改名或迁址的网站;176 个失效,占 17.8%,其中 51 个变成停放或出售页。原文没有完整交代剩余状态的分类。
仅由两个 DeepSeek 任务添加的已检查网站,327 个中失效 134 个,即 41%。批量任务在提示词修复前后的失效率从 65.1% 降到 37.6%,但这不是受控实验。批量任务失效的 121 个网站里,有 81 个在 Internet Archive 的 2023 至 2025 年记录中找不到真实产品页面:42 个没有快照、37 个只有停放页、2 个为空白页。它们可能从未是产品,但缺少存档也不能单独证明这一点。
我的判断
这篇最有价值的结论,是把「候选生成」和「事实确认」分开。模型负责提供线索可以省事;让同一次模型回答同时充当发现结果、核验凭据和发布依据,流程就缺了一道独立检查。
但 41% 不能直接解释成 DeepSeek 的幻觉率。它统计的是约 11 个月后失效的网站,混合了可能编造的域名、真实产品关闭、域名转售等情况。初始名单多数在 2025 年 6 月前建立,模型记录主要来自 12 月,两组经历的时间和筛选条件也不同。
统计口径本身还被纠正过。作者最初按 discovered_by 和 id 前缀识别机器人记录,漏掉日常任务的 55 条。修正后,初始名单失效率从 7.3% 降为 5.7%,研究中机器人一侧从 36.4% 降为 35.0%。这组机器人口径不能和前面的「两个 DeepSeek 任务合计 41%」混用。
相比继续加重提示词,我更认可作者最终采用的检查后发布、人工批准免费收录。正文正则适合挡掉常见停放页,人工适合确认产品身份和分类;原文没有提供成本、误判率或替代方案的对照数据,不能把这套组合当成已经证明最优的方案。
能拿来做什么
- 给 AI 发现任务增加候选区,让
verified: false的记录停留在待审核状态,检查通过后再进入公开目录和页面生成流程。 - 用 Node 编写 URL 检查时,同时考虑 HEAD 兼容性、正文、重定向和超时;如果接受用户提交的网址,还要逐跳限制私有地址。
- 批量生成前端对比页之前,先验证 slug、产品分类和比较关系,遇到
undefined或不适用的类别就停止生成,避免模板替错误数据作出评价。 - 为每条 AI 记录统一保存来源字段、任务名称和核验时间。作者已经因字段不一致算错过一次,后续清理和效果评估都依赖这些记录。