FreshGauge 在模型网关校验回答时效
FreshGauge 是 Bifrost 网关插件,可提取模型回答中的事实主张,用实时网页证据按来源权威性和时效性评分。插件支持记录或修正输出,也可在调用模型前注入带日期的简报,文章介绍了实现和调试取舍。
AI 深度解读
模型报出一个价格时,语气通常不会告诉你那是现价,还是训练数据里留下的旧价。RAG 能给回答补上出处,但检索到一份两年前的文档,也可能让过时的答案显得更可信。
FreshGauge 把时效核验放在 Bifrost 网关。它可以在回答结束后查证,也能用已确认的旧账给回答补上更正,或在调用模型前塞入带日期的简报。对接了多个模型的团队,可以借这套设计看清哪些检查要联网,哪些可以复用,又该在什么时候放弃判断。
为什么把时效核验放在网关
如果团队统一通过 Bifrost 调用 OpenAI、Anthropic 等供应商,网关就能覆盖普通响应、流式响应和模型故障切换。一套 SDK 封装也能做核验,但应用一旦各走各的客户端,就得分别处理这些路径。FreshGauge 用 PostLLMHook 接住模型响应,从中抽取最多 8 条可核验的事实断言,再去重并送给 2 个审计 worker。每条断言通过 Tavily 搜索花费 1–2 credits,抓取页面并保留原句,结果写入 SQLite。
另一个入口 HTTPTransportPreHook 在 Bifrost 鉴权之后运行,审计路由沿用 virtual key。应用可以用 POST /audit 单独送一段文本核验,拿到 audit_id 后轮询 GET /audit/{id}。GET /audit/{id}.html 则把决定判定的引文、来源权威性、发布日期和计分过程放到同一页。有人质疑网关为什么判某条价格过时,至少有原句和算式可查。
一条新证据为什么能压过十条旧消息
FreshGauge 给证据按「来源权威性 × 时间衰减」计权,再分别取支持和反驳两边的最高分。这样十篇转载旧价的文章不会因为数量多,就压过供应商新发布的价目表。断言类别决定衰减速度,价格用 120 天,API 版本用 90 天,额度用 180 天,管理层用 365 天,法规用 730 天,未匹配类别时用 180 天。原文把参数 τ 称为半衰期,但按代码,过了一个 τ 权重约剩 0.37。
下面这段代码把证据日期和来源权威性算成同一个可比较的权重。
// Recency decays from 1.0 at the publish/fetch date to ~0.37 one tau later.
func Recency(e Evidence, cat extract.Category, now time.Time) float64 {
date := e.Published
if date.IsZero() {
date = e.Fetched
}
if date.IsZero() || date.After(now) {
return 1
}
ageDays := now.Sub(date).Hours() / 24
return math.Exp(-ageDays / Tau(cat))
}
// Vote is the authority-weighted recency used for every decision.
func Vote(e Evidence, cat extract.Category, now time.Time) float64 {
if e.Stance == 0 {
return 0
}
return clamp01(e.Authority) * Recency(e, cat, now)
}
留意 date = e.Fetched 这一行。旧文缺少发布日期时,今天抓到它就会按今天计算新鲜度。抓取时间只能证明页面今天还能打开。
判定阈值 MinVote 是 0.35。反驳达到阈值且不低于支持,就判 CONTRADICTED。否则,支持达到阈值就判 SUPPORTED,两边都不够则判 UNVERIFIABLE。另外,界面的新鲜度分数按 100 * (1 - math.Min(1, bestCon)) 计算,只看最强反驳。没有找到反驳时,即使支持证据也不足,分数仍可能是 100。
作者给出的演示里,2026-10-02 发布的供应商页面以 1.0 的权威权重支持新价 $35,2024 年一篇权重为 0.4 的 Medium 文章支持旧价 $20,旧价最终得了 28/100。真实页面里的坑出现在另一处。作者第一次核验 Anthropic 价目表时,把另一个模型每百万输入 token 的 $15 错拿来反驳 $2。修复后,程序先锁定数字所在行,再检查产品主体、模型版本和计价单位。用同一页面和一次 Tavily 搜索复测,$15/M input 被判反驳,$2/M input 得到支持,作者也为这对结果加了回归测试。
什么时候能更正,什么时候只能记账
最轻的做法是回答后审计。想让用户当场看到提醒,可以打开 response_mode: "correct"。插件用 normalizeClaim 统一大小写和标点,拿当前断言匹配账本里已经确认的反驳证据。它只读 SQLite,消耗 0 个 Tavily credits。correction_max_age_hours 默认是 24 小时,更正默认最多追加三行。更正先于审计入队,回读时也会用 stripCorrection 剥掉标记,避免插件反复审计自己补上的文字。
如果问题一看就和现价、当前版本之类的信息有关,也可以启用 grounding_mode: "brief"。它通过 looksFreshnessSensitive 筛选请求,在 grounding_timeout_ms 的时间预算内做一次搜索,把带核验日期和来源日期的简报交给模型,再发起调用。GET /stats 用 corrections 和 grounded_requests 分别记录两种动作。
流式响应只能在结束后审计。作者遇到过一个容易漏查的故障:SSE 分块里装的是 Delta,直接取 Choices[0].Message 会触发空指针 panic,宿主恢复后调用方还可能正常拿到回答,审计却没了。插件改为按请求累积 Delta,等 finish_reason 出现后只审计一次,也不会回改已经发出的内容。上下文没有请求 ID 时,去重键回退为 content-<hash>-<minute>,同一分钟内内容相同的故障切换响应会合并。
我的判断
这套设计最扎实的部分是先对齐产品、版本和单位,再动手比数字。Anthropic 的实测直接说明,找对官网还不够,得找对价目表里的那一行。至于各类证据该衰减多快,作者给出的更多是调参经验。比如价格用 τ = 30 时,39 天前的页面权重约为 0.27,过不了 0.35 的阈值,于是改成 120 天。这个例子能解释为什么要调,却无法证明 120 天适用于大多数定价页。
原文给了可复现的基准流程。bench/claims.csv 先从一手来源人工标注,bench/run.py 调用在线审计,bench/score.py 计算准确率和各判定的精确率、召回率。原文没有公布样本量和分数,也没给与 SDK 封装的对照结果。已有统一网关的团队容易复用这一层。只有一个 Node 服务和一个模型客户端时,客户端封装也能覆盖同一入口,还可以省掉 Go .so 的构建约束。原文环境锁定 go1.27.3、Bifrost core v1.15.2 和 transports v2.5.1,宿主和插件的模块图也要一致,连 replace github.com/mark3labs/mcp-go => github.com/maximhq/mcp-go v0.0.0-20261102181017-b7da3bc145a1 都得照搬。
我会把是否自动更正和是否集中审计当作两个决定。网关便于收集证据,但高分可能来自搜不到反例,官网也可能被取错行。先看判定和引文,再决定哪些类别值得让网关直接提醒用户。
能拿来做什么
- 给内部 AI 助手试跑一批带 API 版本或额度的回答。用
POST /audit送入断言,等报告出来后抽查引文是否对应同一产品、版本和单位,再决定是否打开自动更正。 - 给前端 SSE 聊天补一条集成验证。喂入多段
Delta和最终的finish_reason,确认页面能持续渲染,网关只生成一份完整审计。 - 为价格问答维护一小批人工标注样本,覆盖同页多模型、同模型不同版本、输入和输出单价,以及看起来官方却已过时的页面。对照每条判定检查依据,并单独记录
UNVERIFIABLE。