用 Markdown、Git 和本地模型搭知识库
方案用 Babashka 导入笔记,以 Markdown 和 Git 管理内容,通过 ripgrep 检索相关笔记并交给 Ollama 上的本地模型归纳。维护智能体负责检查格式、维护链接并提交变更。
AI 深度解读
把技术笔记交给 AI 整理,需要先建一套向量检索系统吗?作者给个人知识库搭了一条更短的链路:笔记存成 Markdown,用 Git 保留修改历史,用 ripgrep 找材料,再交给本地 Ollama 写摘要。定时脚本负责捞出可能失联的笔记,并在周一生成周报。
这套方案最值得拆开看的是检索和生成之间的分工。几百到两千篇笔记,往往已经有项目名、包名、报错等可直接搜索的线索。真正决定回答质量的,是这些线索能否把关键材料找齐。模型上到 27B,也读不到脚本漏掉的文件。
技术笔记里的精确术语,够不够拿来做检索?
作者把笔记分成 wiki/daily/、wiki/concepts/、wiki/projects/ 和 wiki/synthesis/。日记按日期记录当时发生了什么,概念笔记随理解更新,项目笔记记录正在推进的工作,综合目录留给周报。文件顶部的 Frontmatter 只放 title、tags、created 和 related。related 由人维护,git log --follow wiki/concepts/babashka.md 则能追查一篇笔记历次怎么改。
作者以 500–2,000 篇个人笔记、每次会话一两次查询为例,称 ripgrep 可以在 10 ms 内返回结果。下面的脚本把命中的文件读成包含路径和正文的记录,供后续整理使用。
#!/usr/bin/env bb
;; wiki/query.bb — fast keyword retrieval from the vault
(ns wiki.query
(:require [clojure.string :as str]
[babashka.process :refer [shell]]))
(defn search-vault
"Keyword ripgrep search across the wiki directory.
Returns a sequence of {:file :content} maps."
[query & {:keys [wiki-dir max-results]
:or {wiki-dir "wiki"
max-results 20}}]
(let [result (shell {:out :string :err :string :continue true}
"rg" "-l" "-i" "-F" "--" query wiki-dir)
files (->> (str/split-lines (:out result))
(remove str/blank?)
(take max-results))]
(map (fn [f] {:file f
:content (slurp f)})
files)))
(when (= *file* (System/getProperty "babashka.file"))
(let [query (first *command-line-args*)]
(doseq [{:keys [file]} (search-vault query)]
(println file))))
看调用 rg 的那一行就知道边界在哪。-l 只返回文件名,-i 忽略大小写,-F 按字面匹配,-- 结束选项解析。take max-results 默认取前 20 个命中,代码里没有相关性排序。搜一个具体报错很合适,搜一整句自然语言就可能漏掉换过措辞的笔记。原文称可以借 related 做两轮搜索,示例里的 related-notes 实际扫的是全文,正文偶然提到标题也会被算进去。
256K 上下文,为什么每篇只给 8,000 字符?
wiki/synthesize.bb 把检索结果按文件路径分段,每篇默认最多读入 8,000 字符,原文粗估约 2,000 tokens。作者的 shell 示例先执行 bb wiki/query.bb "local LLM memory" | head -5,再把这 5 个路径交给 bb wiki/synthesize.bb。控制每篇长度能给其他笔记腾出空间,但放在长文末尾的结论也可能被截掉。中文笔记的 token 数同样要按实际内容看。
脚本在 bb.edn 里声明 cheshire/cheshire 5.13.0,通过 babashka.http-client 向本机 localhost:11434/api/generate 发 POST,请求带 model、prompt 和 stream。这里用 :stream false,所以能一次解析 JSON 并读取 :response。切到流式后,返回的是逐行 JSON,解析方式也要跟着改。
作者默认用 qwen3.8:27b,报告其原生上下文为 256K,在 Mac Studio M5 Ultra 上约 25–30 tokens/s、驻留约 22–28 GB。原文另列了 qwen3.8:7b,约 5 GB、60–80 tokens/s,以及按需加载的 llama3.3:70b,约 43 GB。作者还建议在启动 Ollama 前设 OLLAMA_FLASH_ATTENTION=1,以减少长上下文的 KV cache 开销。文中的脚本 RSS 约 35 MB,只算 Babashka 进程。作者给出的整机配置范围是 96–512 GB 统一内存、最高 1.2 TB/s 带宽,本地推理的硬件前提和脚本轻量是两笔账。
定时维护脚本究竟会改哪些东西?
Active Maintainer 每次运行先报告疑似孤立笔记。这一步用 rg 搜标题,命中文件数不超过 1 就列出来,无需调用模型。代码虽然声明了 FAST_MODEL 为 qwen3.8:7b,这段检查并未使用它。标题在其他文件正文里出现就可能让孤立笔记漏报,反过来,只写短名的 related 也可能无法命中完整标题。
到了周一,脚本挑文件名最新的 7 篇日记,让模型归纳反复出现的主题和未解决的问题,写入 wiki/synthesis/YYYY-WNN-digest.md。选的是最新 7 个文件,几天没记时就可能跨周。原文另报了 20 篇日记的综合耗时,qwen3.8:27b 约 8–20 秒,llama3.3:70b 约 30–60 秒。20 篇是作者描述的性能场景,周报示例的实际取样上限仍是 7 篇。
作者在 macOS 上优先用 launchd,备选是通过 crontab -e 配 30 6 * * *,每天 06:30 启动。执行路径用 command -v bb 确认,原文示例是 /opt/homebrew/bin/bb,日志写到 /tmp/wiki-maintain.log。生成周报后,脚本用 git -C 执行 add .,再用 --allow-empty 提交,消息以 [active-maintainer] 开头。这个提交范围也会覆盖同一 Git 工作区内已经暂存的其他修改。
我的判断
我认同作者把收益押在两件事上:人先筛一遍值得留下的内容,模型再从这些材料里提炼。项目代号、组件名、Node 报错本来就适合字面检索,文件直接读取也省去了换 embedding 模型后全量重建索引的工作。但「没搜到就大概不相关」这句站不住。相同概念用了中英文、旧名和新名,搜不到恰恰是常态。个人库可以先补别名和手工关联,到了原文举例的 50,000 份团队文档,再考虑排序、同义词或混合检索更有意义。
作者称方案实际与 Clojure JVM REPL、语言服务器一起运行,并给了速度和内存量级,但没有公布测试样本、重复次数或云端盲评。「质量无差别」是作者的经验判断,云 API 1–3 秒也只是原文给出的比较值。把任务放到后台可以省掉人的等待,本地设备、内存和用电依然有成本。个人库还能接受用 Git remote 做跨设备同步,团队共同编辑时则需要处理合并,若选用第三方远端,也要把笔记会上云纳入考虑。
能拿来做什么
- 从一个项目的排障笔记试起。每篇写下原始报错、包名或组件名,再记最终修复。下次先用
rg找现场,命中多篇时再让模型归纳。 - 遇到同一个概念有中英文或新旧两套叫法,把常用别名补进笔记,或在
related中补关联。用自己知道答案的问题回查一次,确认关键文件进了 prompt。 - 把周报放在
synthesis/,保留对应日记的文件路径,方便逐条核对。若要自动提交,将暂存范围限定到生成的文件,并在提交前检查暂存区里是否还有手工改动。