Mubayyin：基于结构化知识库做 AI 发布决策的智能体

Mubayyin Release Intelligence 是一个 AI 发布保障 Agent，它通过查询存储在 Sanity 中的结构化发布记录、测试结果、政策、发现和证据，来调查一个 AI 系统是否准备好为客户服务。

Mubayyin Release Intelligence 帮助团队在 AI 发布到达客户之前进行调查。

不再让 AI 助手给出关于 AI 系统是否就绪的泛泛之论，而是让 Agent 查询包含以下内容的结构化发布知识库：

• AI systems and versions
• Models and prompt versions
• Test suites and test cases
• Arabic and English scenarios
• Findings and failures
• Previous release decisions

Agent 可以回答以下问题：

• 这个发布可以提供给客户吗？
• 这次发布为什么被搁置了？
• 两个发布之间有什么变化？
• 有什么证据支持这个发现？
• 哪条政策适用于这个失败？

目标是展示结构化内容如何为 Agent 提供基于证据调查所需的上下文，而不是简单地生成泛泛之论。

[ADD DEMO VIDEO LINK]

[ADD PUBLIC GITHUB REPOSITORY]

Sanity 是 Agent 背后的结构化知识层。

我将 AI 发布信息建模为相互关联的内容，而非一个大文档。Release 引用其 AI system、test suite、policies、findings、decisions 和 supporting evidence。

Agent 在调查一个 Release 时，使用 Sanity Context 来查询这些结构化内容。

例如，当被问及 version 1.4 是否可以发布时，Agent 会检索该 Release 记录，跟随其关联的测试结果和发现，检索支持证据，并在解释存储的发布决策之前检查适用的政策。

这使得内容之间的关系对 Agent 的回答至关重要。

同一调查还可以用以下问题继续：

• "1.3 和 1.4 之间有什么变化？"
• "哪些失败仍未解决？"
• "给我看升级失败的证据。"
• "哪条政策适用于这个发现？"

因此，Sanity 的作用不仅仅是内容存储：它提供了 Agent 用于调查发布的结构化上下文。

Sanity Project Details

Public dataset/project link:

[ADD LINK IF AVAILABLE]

[ADD PUBLIC AGENT SESSION LINK]

该 Session 演示了 Agent 查询 Sanity 内容，并使用检索到的发布记录、发现、政策和证据来回答发布就绪性调查。

AI 系统越来越多地通过模型更新、prompts、检索配置、政策和其他组件发生变化。

Mubayyin Release Intelligence 探索了一个简单的问题：

Agent 能否调查围绕 AI 发布的证据，而不是仅仅依赖模型的通识知识？

该原型演示了使用 Sanity 中结构化内容的这一工作流程。

有关进一步操作，您可以考虑屏蔽此人或举报滥用行为。