Ensu:完全私有的本地 LLM 应用
Ente 推出本地 LLM 运行工具,支持离线执行和数据隐私保护。对想在本地部署 LLM 的开发者有参考价值。
Ente 推出本地 LLM 运行工具,支持离线执行和数据隐私保护。对想在本地部署 LLM 的开发者有参考价值。
LLM 太重要了,不能把它交给科技巨头掌控。前沿模型与能够在个人设备上运行的模型之间仍有差距,但本地模型每天都在进步。一旦跨过某个能力门槛,它们就足以满足大多数用途,并且能带来完整的隐私保护与控制权。
基于这些判断,我们一直在开发 Ente 的离线 LLM 应用 Ensu。今天是它的首次发布。
在接下来的内容中,我们会解释为什么认为这些判断成立、我们正在做什么,以及你可以如何参与其中。
LLM 太重要了,不能把它交给科技巨头掌控。此前我们已经从多个角度深入讨论过这个问题。
简而言之,那些文章主要从两个角度展开:
如果你讨厌 LLM,那么在头脑足够清醒时,你依然会意识到:LLM 是一种不可能仅凭愿望就消失的技术。
如果你讨厌 LLM,那么在头脑足够清醒时,你依然会意识到:LLM 是一种不可能仅凭愿望就消失的技术。
如果你享受与 LLM 互动的乐趣,那么你也会意识到,自己在使用中心化服务商时缺乏隐私保障,并且对它们存在高度依赖——它们可以随意封禁用户、塑造内容,而你的记忆数据也无法迁移。
如果你享受与 LLM 互动的乐趣,那么你也会意识到,自己在使用中心化服务商时缺乏隐私保障,并且对它们存在高度依赖——它们可以随意封禁用户、塑造内容,而你的记忆数据也无法迁移。
无论属于哪种情况,有一点都很明确:LLM 可以被用来大规模操纵人群。因此,我们不能任由掌控它们的科技巨头摆布。
问题在于,大型中心化模型与能够在个人设备上离线运行的小型模型之间,确实存在能力差距。
但我们是解决问题的人,而且这也不是我们第一次面对类似的挑战。刚开始开发 Ente Photos 时,让人脸识别、人物聚类和自然语言图像搜索全部在用户设备上本地运行,看起来简直不可想象。人们都说我们疯了。
我们花了很多年,但最终做到了。如今,我们的用户每天都在使用这些功能。一切处理都在设备本地完成,同时还能通过端到端加密,在用户的所有设备之间同步。完整的隐私,完整的控制权,同时不牺牲便利性——让技术服务于人,而不是沦为监控工具。
同样,我们早就迫不及待地想在本地 LLM 领域做点事情,但直到最近,小型模型才开始具备在消费级设备上运行的可行性。现在,我们认为已经可以采取一些切实可行的行动了。
这就涉及我们的第二个判断。小型去中心化模型每天都在进步,大型中心化模型同样如此。不过,我们认为真正重要的并不是二者之间的差距,而是一个能力门槛,以及如何使用模型的能力。一旦小型模型跨过某个门槛,它们就足以为人们的生活带来乐趣、实用价值与便利。
今天,我们正式发布 Ensu。它是一款类似 ChatGPT 的应用,完全在你的设备上运行,拥有完整的隐私保障,而且使用成本为零。很快,你还可以通过连接 Ente 账户或自行托管,在自己的设备之间备份和同步聊天记录,并获得完整的端到端加密保护。
这不是开始,也不是终点。它只是一个阶段性检查点。
Ensu 目前是一个 Ente Labs 项目。现阶段,我们只想围绕产品本身及其发展方向快速迭代,不希望过早把定价和稳定性问题引入其中。
为了避免大家产生错误预期,需要说明的是,它目前还没有 ChatGPT 或 Claude Code 那么强大。尽管如此,它已经相当有趣了!下面是我们目前用它做的一些事情:
反思那些我们不敢交给非隐私 LLM 的想法。
反思那些我们不敢交给非隐私 LLM 的想法。
和它讨论书籍(Ensu 目前没有网页搜索功能,但你可能会惊讶于它对《薄伽梵歌》或《圣经》这类经典作品的了解程度)。
和它讨论书籍(Ensu 目前没有网页搜索功能,但你可能会惊讶于它对《薄伽梵歌》或《圣经》这类经典作品的了解程度)。
在没有网络的航班上和它闲聊。
在没有网络的航班上和它闲聊。
这款应用是开源的,目前可用于 iOS、Android、macOS、Linux 和 Windows。我们还有一个实验性的 Web 版本。它也支持添加图片附件。核心逻辑使用 Rust 编写,各个平台分别提供原生移动应用和基于 Tauri 的桌面应用,并共同使用同一套共享逻辑。
我们已经实现了可选的 E2EE 同步与备份功能,让你能够跨设备访问聊天记录。它会使用你已有的 Ente 账户,也可以像 Ente Photos 一样自行托管。不过在最后关头,我们决定不在今天发布的这个检查点版本中启用同步功能。背后的原因会在下一部分说明。
我们把 Ensu 视为一段旅程。它有一个明确的目的地——成为一个具备加密同步能力、私密且个人化的 LLM——但通往这个目的地的道路仍然模糊。我们可以选择多个方向:
不再局限于通用聊天,而是为 Ensu 打造更专业的交互界面。比如,它可以像一篇由你持续书写、永不结束的笔记,而 LLM 会在一旁提供建议、批评、提醒、上下文、替代方案、不同观点和引语。也就是所谓的第二大脑。
不再局限于通用聊天,而是为 Ensu 打造更专业的交互界面。比如,它可以像一篇由你持续书写、永不结束的笔记,而 LLM 会在一旁提供建议、批评、提醒、上下文、替代方案、不同观点和引语。也就是所谓的第二大脑。
选择一个更偏实用工具的方向,比如做成 Android Launcher。在这种形态下,LLM 只是用户早已习惯的既有交互背后的一项实现细节。
选择一个更偏实用工具的方向,比如做成 Android Launcher。在这种形态下,LLM 只是用户早已习惯的既有交互背后的一项实现细节。
成为运行在你手机上的 Agent。无须设置,无须管理,也无须手动备份。它是一个与你共同成长的 LLM,能够记住你和你的选择、管理你的任务,并拥有长期记忆与个性。
成为运行在你手机上的 Agent。无须设置,无须管理,也无须手动备份。它是一个与你共同成长的 LLM,能够记住你和你的选择、管理你的任务,并拥有长期记忆与个性。
目前,我们会先等待一段时间,收集反馈,然后再决定下一步。由于这些未来方向可能会改变数据持久化架构,我们暂时推迟了同步功能的启用。
同步功能上线后,你现有的本地聊天记录也会得到备份和同步。
我们非常期待你的反馈。接下来该怎么走尚未确定,我们希望你能影响我们最终构建的产品。告诉我们你想要什么,我们会把它做出来。你可以发送邮件至 team@ente.com,也可以加入我们的 Discord,前往 #ensu 频道参与讨论。
你现在可以下载 Ensu。