大模型引用定位:偏移量与分块差异
文章比较 OpenAI、xAI、Gemini、Anthropic 与 Perplexity 的引用返回结构,区分文本偏移、分块附注和编号标记。特别提醒字节偏移与字符偏移在中文等非 ASCII 文本中不可混用。
AI 深度解读
要给 AI 回答加上可点击的来源,拿到 Markdown 和来源列表还不够。真正影响实现的是:引用落在回答的哪里,位置按什么单位计算,以及这些位置究竟指向回答还是原始文档。
原文比较了几家模型 API 和消费级 AI 应用的抓取接口。结论很实用:生成自己的回答、定位原文证据、复现 ChatGPT 页面,是三种不同需求。选接口之前,先确认它返回哪一种「位置」,能省掉不少前端渲染和字符串处理的麻烦。
要精确画引用,先确认位置指向哪里
按作者在 2026 年 11 月 16 日查阅的文档,三家 API 会返回回答文本内的引用偏移量:
- OpenAI 的 Responses API 使用 web search 时,在
output_text的annotations中返回url_citation,包含start_index、end_index和url。 - xAI 的 Responses API 返回同类注解,回答已经带有
[[N]](url)链接。 - Gemini 的
generateContent通过groundingSupports返回引用片段;Interactions API 则返回url_citation注解。
但「有偏移量」与「保证输出 Markdown」需要分别确认。作者指出,三者中只有 xAI 的文档同时明确承诺 Markdown 和字符偏移量,注解标出的是文本中每处引用的字符范围。
区间规则也不能自行补全。Google 的参考文档和 xAI 指南将结束索引定义为不包含该位置,可以理解为 Python 切片的右边界。OpenAI 的指南展示了两个索引字段,但没有定义这项约定。Gemini 的 Interactions API 指南没有明确单位,其 Python 示例使用了 text[start_index:end_index]。
示例代码展示了怎么用,不等于文档已经承诺了全部边界规则。
作者还监测了这个问题在七个 AI 引擎中的回答,时间为 2026 年 11 月 2 日至 16 日。过去 14 天,约五分之四的回答引用了 xAI 的引用说明页,约十分之三引用了 OpenAI 的引用格式指南。后者讲的却是模型为自有文档生成标记、再由业务代码解析的另一种情况,不能代替 hosted web search 的接口说明。
这些比例反映页面被引用的频率,不是接口准确率或可靠性排名。
中文回答最容易踩的是字节偏移量
Gemini generateContent 的 startIndex 和 endIndex 按字节计算,起点是当前 part 的开头。UTF-8 中,é 占一个字符、两个字节,一个汉字占三个字节。把字节位置直接拿去切 Python 字符串,遇到非 ASCII 内容后就可能错位,而且未必报错。
作者提供的函数会在引用片段后追加链接,并从后往前插入,避免新增内容改变前面的位置:
def add_links(text, spans, unit="char"):
"""spans: (start, end, url) tuples. unit="byte" for Gemini generateContent."""
as_bytes = unit == "byte"
buf = text.encode("utf-8") if as_bytes else text
for start, end, url in sorted(spans, key=lambda s: s[1], reverse=True):
link = f" [source]({url})"
buf = buf[:end] + (link.encode("utf-8") if as_bytes else link) + buf[end:]
return buf.decode("utf-8") if as_bytes else buf
要盯住 text.encode("utf-8") 这一行:处理 Gemini generateContent 时传入 unit="byte",在编码后的字节序列上切片,最后再解码。xAI 已经插好了链接,无需重复追加。
Gemini 的来源还需要一次关联:从 candidate["groundingMetadata"] 读取 groundingSupports 和 groundingChunks,用每个 support 的 groundingChunkIndices 找到 chunks[i]["web"]["uri"]。一个片段可以关联多个来源,不能假定一个区间只对应一个 URL。
对 Node 和浏览器开发,另一个迁移细节是 JavaScript 字符串索引按 UTF-16 代码单元计算,不能直接套用 Python 的字符切片假设。原文没有给出 JavaScript 实现,也没有解释所有厂商对特殊字符的计数方式,接入时需要验证。
没有偏移量,也可能足够完成引用展示
Anthropic 的 Messages API 按内容块组织回答。基于搜索结果的主张放在文本块中,块上的 citations 数组包含 web_search_result_location。按顺序拼接文本,并在带引用的块末尾加链接,就能恢复引用展示。文档称 web search 始终启用引用。
这里的位置是块边界。对于用户自己提交的文档,char_location 中的 start_char_index、end_char_index 指向源文档,配合 cited_text 定位证据,并非回答中的位置。
Perplexity 的 Agent API 则直接在回答里写 [1] 或 [1][3]。search_results 中各条结果有 id,标记 [n] 对应 id 为 n 的来源,用正则可以查找标记位置。fast effort 使用数字标记,low、medium、high 使用 [web:1] 这类带类型的标记。原文引用的页面还称,旧 Sonar Chat Completions API 已于 2026 年 9 月 27 日结束支持。
如果目标是拿到普通访客在 ChatGPT、Gemini 或 Google AI Mode 里看到的回答,模型 API 又不合适。应用会自行选择模型并执行搜索,直接调用模型无法保证复现页面结果。
原文介绍的 cloro 在未登录会话中抓取 ChatGPT、Gemini、Google AI Mode、Bing AI Mode 和 Google AI Overview。它的引用数据分三部分:
markdown通过include.markdown: true获取,AI Overview 使用include.aioverview.markdown。sources包含从 1 开始的position,以及url、label、description。citationPills按引用标签与来源的配对返回记录,包含citationPillId、label、url、domain、position,部分引擎还有description;ChatGPT 另有type和datePublished。
一个标签引用三个来源,就会有三条共享同一 citationPillId 的记录。position 是来源在 sources 中的序号,不是文本位置。ChatGPT 的标签 ID 从 0 开始,其他引擎从 1 开始;AI Mode 和 Bing AI Mode 的文档说明 ID 按文档或页面顺序分配。
ChatGPT 和 Bing AI Mode 的文档明确说明 Markdown 内含来源链接,可以解析链接后自行计算位置。Gemini、AI Mode 和 AI Overview 的文档没有作出同样承诺。
我的判断
这篇最有价值的地方,是把「回答中的位置」「源文档中的位置」「来源列表里的序号」拆开了。它们都可能叫 position 或 index,接到界面上却承担不同职责。
不过,结论主要来自文档核对。作者明确说示例代码没有运行,需要先拿一份真实响应测试;原文也没有给出接口之间的准确率、延迟、成本或复杂 Markdown 的渲染对照。xAI 的文档承诺更明确,不能据此认定它整体更好。
原文由销售抓取 API 的 cloro 发布,选择消费级应用监测作为需求,有其商业背景。抓取适合观察应用页面;自有产品生成回答,仍应按引用协议选模型 API。两者不宜混为采购依据。
引用偏移量属于原始回答文本,不能未经映射就当成渲染后页面的位置。 Markdown 解析会改变可见文本结构,前端若要在准确位置画引用标签,还需要处理这层转换。
能拿来做什么
- 给自有 AI 产品接引用功能时,先记录返回文本格式、位置单位、结束边界和来源关联方式,再决定用现成链接、块尾链接还是自定义引用标签。
- 用 Node 处理 Gemini
generateContent时,按 UTF-8 字节处理区间,并用包含汉字、é和 emoji 的真实响应检查结果;追加内容时保留从后往前处理的顺序。 - 做文档问答时,如果需要点击回答后展示证据原文,可以评估 Anthropic 的
cited_text和源文档索引;回答中的展示位置仍需另外处理。 - 监测消费级 AI 应用时,分别保存 Markdown、来源列表和引用分组。对没有明确承诺内联链接的引擎,不要把来源序号包装成精确引用位置。