法律知识库应按案件组织文档,利用语义检索定位证据,并为回答中的每项主张关联原文段落。文章强调证据不足时拒答,以及通过人工审核控制草稿进入后续流程。
为律师事务所构建 retrieval-augmented generation(RAG)系统,会让你认识到一件事,而通用聊天产品往往会掩盖这一点:有时,最重要的输出是“我无法回答这个问题”。
这套模式本身并不陌生。先导入律所的语料,包括诉讼文书、备忘录、合同、案件文件和工作指南,来源通常是 SharePoint、iManage 或文档存储系统。再按案件将这些资料归入各自的工作空间。用户提问时,系统根据语义检索相关段落,然后仅依据检索到的内容生成回答;回答中的每一项论断都附上编号引用,指向原始文档中的对应段落。
有三个设计选择比选用哪个模型更重要:
语义检索。律师会像律所合伙人那样提问。“如果平台泄露客户数据,谁来承担风险?”这样的问题,应该能检索出赔偿责任和保密条款,即使这两类条款都没有出现“泄露”一词。在一个 SEC 申报文件检索项目中,用普通英语表述的查询,运行速度是分析师此前编写的 256 字符 Boolean 查询表达式的 3.4 倍。
强制拒答。如果检索结果不足以支持回答,系统就应明确告知用户,并停止作答。用看似合理的内容填补信息空白,恰恰是你要通过设计消除的行为。
在流程中设置人工审核关卡。系统返回的草稿带有修订标记,每一处修改都可以选择 Accept 或 Reject。在律师审核批准之前,任何内容都不能提交或发送,而这次批准也必须记录在日志中。
语料的质量也比语料的规模更重要。整理干净的判例法资料可以很快导入。积累了二十年的扫描版案件文件,则需要先清理,这部分工作也会体现在项目估算中。
给工程师的建议是:在做任何调优之前,先编写评估集。使用律所团队已经手工完成的研究成果作为基准,衡量系统的 precision 和 recall,并在实际业务中加入遗漏案例审查。决定系统能否投入生产的,应该是这些指标,而不是演示给人的印象。
有关项目范围、系统集成以及项目如何实施,请参阅我们面向律师事务所的定制法律 AI 服务页面。
完整的分步架构说明:面向律师事务所的定制法律 AI:工作原理
如需采取进一步行动,你可以考虑屏蔽此人和/或举报滥用行为。