4GB 显存下的本地文档压缩应用架构
开源 Windows 应用 Omnitome 用 Tauri、Node.js 和 PyTorch 实现离线文档压缩,生成的句子可点击回溯到 PDF 或 EPUB 的源段落。作者复盘了如何划分界面、异步编排和 CUDA 推理的进程边界,让流程在 4 GB 显存的笔记本上运行。
AI 深度解读
Omnitome 想解决长文摘要的两个问题:技术书里的公式和边界条件容易被压掉,读者看到可疑结论时又很难翻回原文。作者给每句生成内容附上可点击的段落引用,并把整条处理链放到 Windows 本机运行,目标压缩比约为 7:1。
对做前端和全栈的读者,更能直接借鉴的是它怎么处理资源吃紧的问题。同一批 10 本书、约 50.8 万词的测试语料,Node.js 峰值内存从 14.6 GB 降到 296 MB,三种模型也能在一块 4 GB 显卡上按需轮换。
SQLite 开了 WAL,为什么还要指定唯一写入者
Omnitome 用 Tauri v2 的 Rust 外壳管理原生窗口、应用生命周期和子进程退出。React 负责交互,Node.js 22 LTS 通过 better-sqlite3 协调处理流程并写入 data.db,Python FastAPI sidecar(独立运行的辅助进程)负责 PyTorch FP16 CUDA 推理。这样一来,界面进程无需直接承担文档处理和模型推理。
SQLite 的 WAL(预写日志)模式允许读写并行,但同一时刻仍只有一个写入者。作者遇到的问题是,大批文档导入时,让 Rust、Node.js 和 Python 都尝试直接写库,会发生锁争用并触发 SQLITE_BUSY。他们把写入统一收口到 Node.js 的 REST 接口,React 和 Python 都通过这条路径提交变更。
14.6 GB 的峰值,来自排队等 GPU 的数据
早期版本用限额缺失的 Promise.all 并发处理文档块。当 GPU 辅助进程还在忙,数百个文档块、待生成向量的数据和 DOM 解析缓冲区已经同时留在内存里。把每块文档拆小,也只能削减单个任务的开销,未完成任务继续堆积仍会抬高峰值。
作者把解析、向量化、分类、规划、压缩与溯源这五个阶段改成逐块 await,并显式释放用完的缓冲区。他把这项改动叫 F65 Sequential Await Barrier。按作者报告,Node.js 峰值 RSS(进程的常驻内存)从 14.6 GB 降到 296 MB,下降约 98%,整批约 50.8 万词在 5.9 分钟内处理完毕。原文描述故障时用了「堆内存」,公布结果时用了 RSS,未交代旧值的采样口径。
三个模型合计约 4.9 GB,怎么放进 4 GB 显卡
BGE-M3 以 FP16 运行时约占 2.1 GB 显存,负责生成 1024 维嵌入向量。BGE Reranker v2 约占 2.2 GB,用来给检索结果重新排序。Kokoro-82M 约占 0.6 GB,负责语音合成。三者常驻合计约 4.9 GB,超过笔记本版 NVIDIA RTX 3050 的 4 GB 显存。
作者让 FastAPI 进程持续运行,由异步 LifecycleManager 管理模型的 UNLOADED → READY → EVICTED 状态。模型用到时才以 FP16 加载,阶段结束或闲置超过滑动 TTL 窗口后,卸载权重并清理 CUDA 缓存。作者报告回收了 3.2 GB 显存。原文没有给出 TTL 的具体取值或重新加载的耗时。
检索效果和日文切块,各要过一关
作者把 BGE-M3 的向量提取改成校准后的 CLS pooling,用序列里 CLS 位置的表示生成整段向量。在他们自己的 19 套回归测试中,检索分离指标从 0.2520 升到 0.4225,约为原来的 1.68 倍。原文没有定义这个指标,也没有给出校准细节。
日文测试暴露了另一类问题。按空格数词会把一整段没有空格的文本算成一个词,分块保护随之失效,输入最终撑爆上下文窗口。作者用能识别文字类别的正则给 CJK 字符加权,每字约折算 0.7 个词,再按 。!?\n 切句。他们报告这批测试里的溢出全部消失。应用以 AGPL-3.0 开源,原文给出的 Omnitome v1.1.1 是一个 1.95 GB 的 Windows x64 安装包,自带 Python 和 CUDA 运行时。
我的判断
逐块处理值得借鉴,因为它给同时在途的文档数据设了清楚的上限。常见替代方案是有界并发,让解析和 GPU 推理适度重叠。作者没给不同并发上限的吞吐、内存和耗时对照,所以这次实测支持在这批语料上用串行压低峰值,选哪种并发策略仍要看自己的流水线。TTL 也有类似取舍,卸载越积极,连续任务就越可能反复等待模型加载。
可点击引用让读者能回查出处,但约 7:1 是文档里写下的目标。原文没有展示公式、例外条件的保留率,也没有测试引用段落是否真的支持生成句子。至于每个 CJK 字符约 0.7 个词,这是作者在当前测试里的经验值。能调用目标模型的 tokenizer 时,可以直接用它核对最终输入长度。
能拿来做什么
- Node.js 批量解析 PDF 或调用本地向量服务时,可以先用逐块
await跑一遍固定语料,同时记录峰值 RSS 和总耗时,再测小规模有界并发。 - 用 React、Tauri 和 Python 拼桌面应用时,可以把 SQLite 写入口收进编排层,让 UI 和推理进程通过同一个接口提交变更。
- 给本地检索或摘要加分块测试时,放进没有空格的日文长段落,检查切分后的输入长度。生成结果如果带段落引用,再抽查链接能否定位到支持该说法的原文。