日语推理模型 ja-nli-v1 可在本地核对引文
ja-nli-v1 判断两段日语文本之间的蕴含、中立或矛盾关系,作者报告其在 5000 对留出样本上的准确率和宏平均 F1 均为 0.9612。模型采用 Apache 2.0 许可,提供 ONNX 版本,报告的 CPU 推理耗时约为每对 109 毫秒。
原文暂未完整获取,基于公开信息的快读
ja-nli-v1 发布了一个面向日语的自然语言推理模型:输入来源段落和待核对陈述,输出蕴含、中立、矛盾三类概率。它采用 Apache 2.0 许可,提供 ONNX 版本,可在本地 CPU 上运行。作者希望把它放在生成环节旁边,核对 RAG 回答与引用内容的关系。
目前能确认什么
自然语言推理(NLI)判断的是两段文本之间的关系。「蕴含」表示来源支持陈述,「矛盾」表示两者冲突,「中立」则表示来源不足以支持或否定陈述。因此,没有发现矛盾,并不等于引文已经支持回答。
作者报告,模型在 5000 对封存测试样本上的准确率和宏平均 F1 均为 0.9612;在 600 对人工核验样本上,准确率为 0.9567。但两套测试集都衍生自他们团队的合成数据流程。作者明确提醒,真实文本上的表现预计更低。
把来源替换成无关文本后,准确率降至约 0.38,多数预测转为中立。这支持模型确实使用了来源信息,但仅看待核对陈述仍能取得约 0.63,说明数据中的捷径尚未消失。
我的判断
它适合成为日语 RAG 的一道核对环节,不能单独充当事实裁判。
对程序员,接入时最具体的约束是长度和延迟。输入上限为 1024 tokens,超长时只截断来源段落;关键证据如果在末尾,就可能完全不参与判断。长文档需要主动分块,并明确每条陈述对应哪些证据。
作者在 Core i7-11700F 上测得每对约 109 毫秒。多条陈述、多段证据会增加核对工作量,这个数字不能直接当作整次回答的新增延迟。
目前还缺独立真实业务文本上的证据,不能据此认定它普遍优于多语言模型。实际接入前,需要确认业务文本中的漏报、误报,以及三类概率的阈值如何设置;这些不能由 0.9612 一个分数回答。