8.0
热点
AI SCORE
编程提效2026-10-05 18:55
RAG检索碎片化才是AI文档问答出错的根本原因
dev.to · AI#RAG#检索#LLM应用
Editor brief · 编辑速览
AI并不真正阅读完整文档，而是切成小块后检索最相似片段回答；大多数错误答案在检索阶段已被决定，与AI模型本身无关，改进提示词无法根本解决。
你把公司员工手册、一个文件夹的 PDF、或者两年的笔记交给了 AI。你问了一个文档里明明有答案的问题。它自信满满地给出了回答——而且是错的。
然后你做了所有人都会做的事：重写问题、加一句"仅使用提供的文档"、换一个更强的模型。有时候管用了，但你永远不知道为什么。
其实有办法知道为什么，而且只需要二十分钟。不用安装任何东西，不用花钱，不用注册账号。
当你让 AI 读取你自己的文档时，它的阅读方式和你不一样。它做不到——那些文档太长了，根本无法一次性全部装进去。
所以这个工具做的事比你想象的简单得多：
它把你的文档切成小块，通常每块几百个字符。
当你提问时，它选出和你问题最相似的那一块。
然后它把那一块给 AI看，让 AI 回答。
AI 从来没看过你的完整文档。它只看到了从中挑选出的一块，而且这个搜索过程是你没有配置、也无法观察的。
这就是真实的状况。AI 回答的依据只是那块碎片。文档的其余部分——它一篇都没见过。
几乎每一个错误答案都在第二步就被决定了，远在 AI 介入之前。这就意味着跟 AI 争论是修不好它的。
这个架构的行业名称叫 RAG。你不需要记住这个术语，你需要看清楚的是第二步。
这里有一条简短的请假政策。40 行 Python 代码，无需安装，无需密钥——它只做第一步和第二步，然后停下来，展示给 AI 的本来是什么。
把它保存为 check.py，然后运行 python check.py：
# Shows what your AI actually gets handed when you ask about your documents.
# Python 3. Nothing to install, no API key, no account.
CHUNK_SIZE = 350 # <-- change this number and run it again
DOCUMENT = """
Annual leave
Every full-time employee gets 24 days of annual leave a year, plus public
holidays. Leave is counted from 1 January.
Requests go through the HR portal. Your manager approves them. If your manager
is away, their deputy approves instead.
How much notice you need to give depends on how long you are taking off. For a
single day, give two working days of notice. For anything up to a week, give
two weeks of notice. For longer than a week, give one month of notice.
Carrying leave over
You can carry a maximum of 5 unused days into the next year. Anything above 5
days is lost on 31 December. Carried days must be used by 31 March.
"""
QUESTION = "how much notice do I need to book a week off?"
def chunk(text, size):
words, chunks, current = text.split(), [], ""
for w in words:
if len(current) + len(w) + 1 > size:
chunks.append(current.strip())
current = ""
current += w + " "
if current.strip():
chunks.append(current.strip())
return chunks
def score(text, question):
stop = {"how", "much", "do", "i", "need", "to", "a", "the", "for", "of", "is"}
q = {w.strip("?.,").lower() for w in question.split()} - stop
c = {w.strip("?.,").lower() for w in text.split()}
return len(q & c)
chunks = chunk(DOCUMENT, CHUNK_SIZE)
ranked = sorted(range(len(chunks)), key=lambda i: score(chunks[i], QUESTION), reverse=True)
print(f"chunk size {CHUNK_SIZE} -> {len(chunks)} pieces")
print(f"question: {QUESTION}\n")
for rank, i in enumerate(ranked, 1):
print(f" #{rank} piece {i} score {score(chunks[i], QUESTION)}")
print("\nThis, and only this, is what the AI gets:\n")
print(f" {chunks[ranked[0]]}\n")
print("Read it. Could you answer the question from that alone?")
文档里用通俗的英语写明，请一周假需要提前两周通知。下面是返回的结果：
$ python check.py
chunk size 350 -> 2 pieces
question: how much notice do I need to book a week off?
#1 piece 0 score 2
#2 piece 1 score 2
This, and only this, is what the AI gets:
Annual leave Every full-time employee gets 24 days of annual leave a year, plus
public holidays. Leave is counted from 1 January. Requests go through the HR
portal. Your manager approves them. If your manager is away, their deputy
approves instead. How much notice you need to give depends on how long you are
taking off. For a single day, give two
Read it. Could you answer the question from that alone?
看最后五个词。
For a single day, give two——然后文本就断了。这句话被拦腰斩断了。
AI 拿到这样的内容，会流畅地、毫不迟疑地回答"两天"。它不是在 hallucinating（臆造）。它根据唯一拿到手的证据正确地回答了。只是那证据恰好是一句话被截断的另一半。
而且注意两块的得分：都是 2 分。打平了。错误的那块赢了，仅仅因为它排得靠前。
设置 CHUNK_SIZE = 300。同样的文档，同样的问题，同样的代码：
$ python check.py
chunk size 300 -> 3 pieces
question: how much notice do I need to book a week off?
#1 piece 1 score 3
#2 piece 0 score 1
#3 piece 2 score 0
This, and only this, is what the AI gets:
long you are taking off. For a single day, give two working days of notice. For
anything up to a week, give two weeks of notice. For longer than a week,
give one month of notice. Carrying leave over You can carry a maximum of 5
unused days into the next year. Anything above 5 days is lost on 31
Read it. Could you answer the question from that alone?
正确了。因为分块的边界落到了另一个位置。
下面是我尝试过的所有尺寸：
chunk size pieces answer correct?
150 5 yes
200 4 NO
250 3 yes
300 3 yes
350 2 NO
400 2 NO
450 2 yes
500 2 yes
这不是一条可以调参调过去的曲线。它是随机的。对、错、对、对、错、错、对、对。
一个你从未选择过、可能从未注意过的数字，决定了你的答案是否正确。不是模型的问题，不是你的 prompt 的问题。
这就是整个示例的核心，而且它可以推广。无论你用的是什么工具，在动 prompt 之前：
大多数工具都会展示给你——名字叫 sources、citations、references 或者 context。把它打开。
自己读那段文本。把答案完全丢到一边。
问自己一个问题：我仅凭这段文本能正确回答这个问题吗？
这一个问题可以把每一个错误答案拆分成两个完全不同的问题：
不，我做不到——那 AI 从一开始就没有赢的机会。是检索坏了。改 prompt 是白费力气，而这正是大多数人花整个下午在做的事。
不，我做不到——那 AI 从一开始就没有赢的机会。是检索坏了。改 prompt 是白费力气，而这正是大多数人花整个下午在做的事。
可以，我能——答案就在那里，但模型走过去了。这是一个完全不同的问题，需要不同的解决办法。
可以，我能——答案就在那里，但模型走过去了。这是一个完全不同的问题，需要不同的办法。
二十分钟。没有框架，没有监控平台，没有花费。
真正有用的做法，按投入成本从低到高排列：
一次请求更多块。大多数工具只取一块。三块或五块意味着一个被截断的句子可以被邻居块救回来。
一次请求更多块。大多数工具只取一块。三块或五块意味着一个被截断的句子可以被邻居块救回来。
按语义切分，不要按字符数切分。在段落和标题处拆分。在句中截断一块的规则迟早会在答案中间截断。
按语义切分，不要按字符数切分。在段落和标题处拆分。在句中截断一块的规则迟早会在答案中间截断。
把标题和正文放在一起。"give two weeks of notice"这句话如果没有上方的"Annual leave"标题，就无法被匹配到关于请假的问题。
把标题和正文放在一起。"give two weeks of notice"这句话如果没有上方的"Annual leave"标题，就无法被匹配到关于请假的问题。
不要只依赖相似度匹配。纯词匹配能捕获相似度算法遗漏的东西——产品代码、错误号、人名。现在两者结合使用已经是常规推荐，而非高级技巧。NovaKit 有很好的论证，kapa.ai 列出了其他常见错误。
不要只依赖相似度匹配。纯词匹配能捕获相似度算法遗漏的东西——产品代码、错误号、人名。现在两者结合使用已经是常规推荐，而非高级技巧。NovaKit 有很好的论证，kapa.ai 列出了其他常见错误。
这些指南都很好，两篇都值得一读。但它们没有给你的是上面那部分：你遇到的是五种情况中的哪一种。它们给你的是嫌疑人列表。而自己读一遍这个测试给你的是一个确凿的被告。
每篇讲这个的文章都以"改进你的检索"收尾。无可厚非。但过了这一步还有一层，它会改变你对这个问题的看法。
更好的分块会让错误答案变少，但永远不会让它们消失。你在调一个旋钮，靠的是运气。
在我搭建的一个系统上——一个用大约 75000 行源材料回答多语言问题的助手——我们停止了调旋钮。答案里每个声明都必须能追溯到源材料中一个真实的、可核查的位置。如果一个引用无法溯源，答案就不发布。不是标记为有问题，不是扣分。是直接扣下不发出。
目标不是一个通常正确的 AI。目标是一个结构上不可能出错 的系统，因为无法提供依据的声明根本到不了你面前。
对照源材料核查，否则不放行。扣下，不是标记。
这是一个设计决策，不是一个设置，这是 demo 和人们工作中可以依赖的东西之间的区别。你不需要第一天就做到。但值得知道天花板存在，这样你就不会指望改 prompt 能到达那里。
下次你的 AI 把你的文档答错了，不要重写问题。
看看它实际拿到了什么，然后问自己：你仅凭那些能回答吗？
大多数时候你不能——而你本来打算责怪的那台机器是整个流程里唯一在正常工作的部分。
上面第二步是八个检查项之一。其余的我放在了一张可打印的页面里——在依据 AI 给你的答案行动之前值得花三十秒做的事。免费，无需注册：Before you trust an AI answer →
我靠做这种东西谋生，而且我把检验工具全部免费送——都在这里，免费可读。我做的东西 · 与我合作。
用你自己的文档跑一下这个脚本，有什么令人惊讶的结果出来了吗？告诉我——我收集这些案例。
Read next: What is Jev? The AI trained to say "I'm only 60% sure"
Originally published at singhlabs.dev.