地点问答实测暴露商家状态过期
PlaceBench 用 150 道真实地点问题测试了 6 个 AI 助手,900 条首轮回答中有 12 条推荐了已关闭、搬迁或更名的地点。研究者依据公开证据核验状态,并按该地点在回答中的重要性评定错误程度。
AI 深度解读
AI 助手给出的店名和地址都对,到了门口却发现店早就关了。PlaceBench 给 6 个 AI 助手各问了 150 道与真实地点有关的日常问题。900 条首次回答里,有 12 条把用户引向已关门、搬迁或改名的地点。
如果你在做地点推荐,最值得拆开的其实是两个问题。系统能查到这家店,它现在还在这个地址营业吗?原文用一家咖啡馆演示了这两个判断为什么会得出不同结果。
900 条回答里的 12 条是怎么判出来的
PlaceBench 要有公开证据,才会把地点标记为关门、搬迁或改名。证据可以是停业或搬迁公告、经营方自己的名单、许可证暂停记录、带日期的媒体报道,或 Google 的「永久停业」标记。即使另一个商家页面仍显示营业,团队也会依据这些证据判定。
地点在回答中扮演的角色也会影响评分。主推荐指向已关门的店,答案通常判错。如果它只是备选,或混在几个选项中,答案可能判为部分正确,或记一次小错误。所以,12 条是触发了这类问题的回答数,里面包含不同严重程度的错误。
地图上的「营业中」为什么会过时
作者提出的一个可能原因是,助手引用的网页和商家列表更新得比门店状态慢。团队此前单独检查过 400 个地点。在已关门的商家里,约每 4 家就有 1 家在 Google Maps 上仍显示营业,或者根本没有条目。这个比例的分母是已关门商家,原文没有交代其中两种情况各占多少。
这次单独检查说明地图数据确实会漏掉停业状态。PlaceBench 本身没有追查 12 条回答各自用了什么来源,所以无法判断其中有多少条是由旧网页或旧列表造成的。
推荐前要查营业状态
作者用 VOYGR Validate API 查询一家咖啡馆。接口接收商家名称和地址,可返回 open、closed、unknown 或 not_exists,并附带置信度。CLI 可通过 pip install voygr 安装,作者提到免费密钥附带调用额度。下面的命令查的是 Blue Bottle Coffee 在旧金山的一个具体地址。
voygr validate "Blue Bottle Coffee" "66 Mint St, San Francisco, CA 94103" --country US
这里要看 --country US 前的完整地址。同一个品牌可能有多家门店,推荐给用户的是其中一个具体地点。原文展示的返回结果如下。
{"operational_status": {"status": "closed", "closure_confidence": 0.939, "closure_reason": "permanent"}}
推荐逻辑要读的是 operational_status.status。这个地点的存在评分仍有 0.9954,但接口给出的营业状态是 closed,停业置信度为 0.939,原因为 permanent。一家店曾经在这里开过,和它现在是否营业,是两件事。
我的判断
把营业状态放到推荐前检查,比单纯要求模型「只推荐还开着的店」更容易验证。提示词可以要求模型核对,但核对的质量仍取决于它能拿到什么证据。对于候选不多的产品,查经营方的门店名单也能提供依据。接 API 则更容易在每次推荐时执行同一套检查。
具体用哪个来源,原文只有一次接口调用示例。作者没有给出接入前后的对照数据,也没比较该 API 和直接查经营方名单的覆盖率。0.939 是这次返回的置信度,原文没交代分数如何校准。把校验放在推荐前有清楚的工程理由,具体能少错多少,仍要用自己的候选地点验证。
能拿来做什么
- 在 Node 服务里,让模型先给出店名和完整地址,再查询候选的营业状态。把
closed从推荐列表里移除,把unknown保留为待核实。 - 前端展示门店卡片时,把「查到这个地点」和「已确认营业」分开。碰到来源明确指出已搬迁的门店,先核实新地址,再生成导航链接。
- 给地点推荐加一组回归用例,覆盖关门、搬迁和改名。把主推荐和备选分开统计,方便看清错误会不会直接把用户带错地方。