向量搜索 + Claude 语义应用

项目简介

Biblos 是一个复杂的工具，用于圣经文本的语义搜索和深入分析，利用最先进的 NLP 技术和历史评注：

• 使用 Chroma 和 instructor-large embeddings 对整部圣经文本进行语义搜索
• 使用 Anthropic 的 Claude 大语言模型总结搜索结果
• 完整的章节视图以获得全面的语境
• 集成希腊文《新约》文本和 Dodson 希腊词典，以获得原文语言的见解
• 融入教父评注，提供历史神学视角

这种强大的组合不仅能进行圣经文本的语义搜索来查找相关段落，还提供包括原文语言研究和历史诠释的多层分析。

主要功能

• 对整部圣经文本进行语义搜索
• 可选的完整章节视图以获得更广泛的语境
• 相关段落的希腊文《新约》文本显示
• 来自 Dodson 希腊词典的希腊词汇定义
• 教父评注的集成，以获得历史视角
• 使用 Claude LLM 总结搜索结果
• 用 Streamlit 构建的网页 UI，便于探索
• 利用 Chroma 对 instructor-large embeddings 进行向量搜索
• 模块化设计，允许交换数据库、embeddings、LLM 等组件

架构

Biblos 采用了增强的 RAG (Retrieval Augmented Generation) 架构：

• 圣经文本使用句子 embeddings 在 Chroma 向量数据库中建立索引
• 用户搜索某个主题，相关段落通过语义相似性检索
• 顶部结果显示时可选择完整章节视图和希腊文文本（新约段落）
• 希腊词汇链接到来自 Dodson 希腊词典的定义
• 检索相关教父评注并显示
• 选定的结果被整理并传递给 Claude 以生成总结

这种架构将密集向量搜索用于检索，结合了多层语境信息和强大的 LLM 总结功能。

UI 使用 Streamlit 构建，便于探索，Python 代码模块化以便维护。

本地运行

安装依赖：

pip install -r requirements.txt

下载 embedding 模型并将圣经文本预处理到 Chroma 数据库中（可选 — 如果不重新创建，可以使用应用自带的默认 embedding 数据库）

cd data
python create_db.py
python create_commentary_db.py
cd ..

注：这可能需要很长时间（在 M1 MacBook Pro 上，圣经文本约需 18 分钟，评注需要额外时间）

获取 Anthropic API 密钥并将其设置为环境变量 ANTHROPIC_API_KEY

export ANTHROPIC_API_KEY ***your_api_key***

启动 Streamlit 应用：

streamlit run app.py

在文本输入框中输入搜索查询

调整搜索选项：

• 选择旧约和/或新约
• 切换完整章节视图
• 启用教父评注
• 启用希腊文新约和词典显示
• 调整圣经结果的数量

查看搜索结果，展开部分以获得更多详情

对于新约结果，查看希腊文文本和词汇定义

如果启用了教父评注，探索其评注内容

使用"Summary"按钮生成结果总结

依赖项目和资源

Biblos 利用以下开源项目和资源：

• Langchain - 通过组合构建 LLM
• Chroma - 向量相似性搜索
• Anthropic - Claude 总结模型
• instructor-large Embeddings - 文本 embeddings
• Streamlit - Python 网页 UI
• SBL Greek New Testament - 《新约》的希腊文文本
• Dodson Greek Lexicon - 希腊词汇定义
• Historical Christian Faith Commentaries Database - 教父评注数据库

本项目遵循 Creative Commons Attribution-NonCommercial 4.0 International License。