设备端 AI 趋势：隐私与自主权回归

多年来，开发者默认选择云端，并不是因为它最理想，而是因为这是打造智能产品唯一可行的路径。

出于现实需要，系统架构不得不依赖托管模型、远程 API 和基于 token 的流水线。

我们转向端侧 AI，并不是为了支持离线模式，也不是为了在隐私检查清单上打勾，而是为了重新掌握推理能力。我们把从分类到生成的完整技术栈全部迁移到了设备端：没有网关，没有编排层，也不依赖任何第三方基础设施。

我们没有继续依赖庞大的通用 LLM，而是构建了一组由任务专用 nano-model 组成的网络：快速、轻量且精确。你可以把它们理解为反射，而不是推理。

这套流水线可以在 <150ms 内完成处理，不再产生 token 成本，并且彻底消除了第三方调用。如今，我们的时间意图分类器在加权 F1 指标上最高可超过 GPT-4、Gemini Flash 和 LLaMA-3 3B 16%，吞吐量则达到它们的 55 倍。

我们得到的不只是速度，还有可靠性、确定性，以及一套在真实负载下值得信赖的系统。

我们构建了什么，以及它为何有效

这套架构始于一次简单的思路转变：大模型并没有赋予我们更多能力，反而扩大了需要处理的问题表面积。

因此，我们把问题拆解成一组可组合、可追踪的任务。

这个查询是否与时间有关？它指向哪个时间范围？它是在回顾过去，还是展望未来？系统应该执行检索、规划、提醒，还是总结？

每一个问题都成为独立的模型目标，并由使用我们自己的标注数据训练、经过 fine-tuning 和蒸馏的网络负责处理。我们采用了经过验证的 open-weight 基础模型——LLaMA、Mistral、Phi-2——并对它们实施激进的量化流程：4-bit 和 8-bit 版本、融合操作以及 low-rank adapter。

每个模型的参数规模都在 20M～80M 之间。它们的设计目标不是广泛泛化，而是准确执行特定任务。

最终形成的是一套类似 microservice 的推理系统：由多个 nano-model 组成流水线，在不同阶段之间传递结构化数据。

这种方法让我们能够完整观察系统行为，提供可靠的 fallback，高效利用硬件，而且完全不需要依赖某一个通用模型包办所有工作。

行业正在转向端侧 AI

在重新设计自身技术栈的过程中，我们逐渐意识到，做出同样选择的并不只有我们。整个市场都在形成相同的共识：cloud-first AI 在成本、合规和用户体验方面存在切实的局限。

这种转变如今也开始体现在硬件上。Apple 的 A18 Bionic 配备了 16 核 Neural Engine，专门用于直接在 iPhone 上运行 LLM。

Qualcomm 最新的 Snapdragon 平台能够在设备端提供超过 10 TOPS 的 AI 性能。Microsoft 的 Copilot+ PC 配备了针对本地生成式工作负载优化的专用 NPU。如今甚至连 Chromebook 都开始内置 tensor accelerator。

这不是一种小众的性能优化，而是 AI 运行位置在整个技术版图上的全面重构。从推理延迟、数据隐私到长期成本结构，行业正在远离集中式智能，转向一种新的默认范式：从设计之初就坚持 local-first。

而且，传递这一信息的不只有硬件工程师。Hugging Face CEO Clément Delangue 在一篇于 2025 年广泛传播的帖子中提出了这样的问题：

所有人都在讨论为什么我们需要更多 AI 数据中心……为什么没有人讨论端侧 AI？在你的设备上运行 AI：
– 免费
– 更快、更节能
– 100% 的隐私与控制权（你不需要把数据发送给 API）

这种清晰直接的表达引起了开发者社区的共鸣，因为它不再把端侧趋势描述成一种限制，而是将其重新定义为更好的基础。

那么，端侧 AI 究竟如何工作？

从本质上说，端侧 AI 意味着模型在用户所在的位置运行：不是在远程数据中心，而是直接运行在设备的 CPU、GPU 或 NPU 上。不需要调用云端 API，没有 token stream 穿过网络，也没有编排层从中协调请求。推理直接在本地内存中完成，所有数据和上下文默认都留在设备上。

如果你想深入了解，没有比《端侧 Foundation Model 的系统视角》更好的技术解析了。它真正尊重这一问题空间，系统说明了其中的限制、权衡和运行机制。

在 Pieces，我们沿用这一理念，并围绕它构建了一套推理引擎：这是一个由 nano-model 组成的可组合技术栈，每个模型负责时间分类、总结或记忆检索等范围明确的任务。

一切都在本地运行，不需要云端 fallback。你得到的是快速、可解释，而且从一开始就为在个人设备上运行而设计的智能能力。

Pieces 允许你离线完成完整的 LLM 交互。如果你使用的是 Apple Silicon Mac，或者配有受支持 GPU 的 Windows 电脑，就可以通过我们的 Ollama 集成下载端侧模型，即使没有互联网连接也能继续工作。

你甚至可以在对话进行到一半时切换模型：从 Claude 或 Gemini 等云端提供商切换到本地模型，同时保留聊天记录和上下文。

这在网络连接不稳定的环境中尤其有用，比如乘坐飞机或远程办公；对于实施严格数据治理的环境也同样如此，比如金融服务和受监管行业。

大型组织中的开发者使用 Pieces，在不牺牲功能的前提下满足合规要求。

同一套架构也为我们丰富已保存代码的能力提供支持。

Pieces Drive 使用 LLM 为代码片段添加 tag、描述、链接和建议查询。这些内容都可以使用你选择的本地模型，以离线、安全且私密的方式生成。

无论你处于断网状态，还是在一个严格限制隐私数据流动的 workspace 中工作，Pieces 都能保持智能，同时绝不会把你的代码发送到当前环境之外。

只要在离线前下载好模型，此后整套 AI 技术栈都属于你，可以随时随地运行。

隐私是最重要的架构选择

围绕 AI 隐私的许多讨论，仍然假设系统需要“尊重”用户数据，并把合规视为一个可以事后添加的层。

端侧 AI 颠覆了这一前提。它不再追问如何保护即将发送到云端的数据，而是彻底消除这部分攻击面和风险面。

除非得到明确许可，否则任何个人数据都不会离开设备。不会交换 token，第三方不会存储推理日志。从输入到响应，整个模型技术栈都在本地运行，并且可以进行端到端审计。

这一转变也重塑了企业应对监管压力的方式。GDPR、CCPA 和其他隐私框架已不再是边缘情况，而正在成为全球性的默认标准。

通过把推理迁移到设备端，企业可以降低法律风险，简化合规流程，并重新掌握架构控制权。

但如今，数据保护已经不只是一个合规问题，它正在成为一场关于系统设计的争论。Elon Musk 在 2025 年 3 月发帖称：

xAI 和 X 的未来彼此交织……今天，我们正式迈出这一步，将数据、模型、算力、分发渠道和人才整合在一起。

这不仅仅是一次商业行动，也是一个信号。世界上最有价值的训练数据——真实的人类表达——如今已被完全整合进 AI 流水线。这次合并引发了新的问题：生成式 AI 背后的数据究竟归谁所有？当公开内容被视为训练语料库时，用户同意又意味着什么？

前 OpenAI 研究员 Suchir Balaji 在他最后发布、后来广泛传播的一篇帖子中，对此作出了简洁概括：

对许多生成式 AI 产品来说，fair use 似乎是一种相当站不住脚的辩护。最根本的原因在于，这些产品能够创造出替代品，与它们接受训练时使用的数据形成竞争。

open model 与归属明确的内容之间的这种张力，正是现代 AI 系统设计的核心。端侧 AI 并不是绕开这场讨论的手段，而是在这场讨论中负责任地构建系统的一种方式。

从云端成本转向固定算力

其经济影响与技术影响同样重大。

传统 cloud-first AI 技术栈隐藏着运营风险：浮动的 token 成本、不可预测的延迟，以及可能失控的云端算力开支。在账单送达之前，每增加一名用户，都会成为第三方基础设施成本的倍增器。

端侧 AI 逆转了这套计算逻辑。推理的边际成本变为零；成本取决于架构，而不再取决于使用量；性能随着用户硬件扩展，而不是依靠集中式服务器集群扩展。

对于企业买家来说，这意味着更低的运营成本、更小的网络压力，以及能够线性扩展、不会出现不可预测成本峰值的基础设施。随着系统围绕本地执行逐渐整合，合规也会变得更容易，而不是更困难。

但成本问题不只涉及财务，还涉及能源。在这方面，数字已经足以说明一切。

最近有一项粗略分析，对三种 AI 配置生成每个 token 所需的能源成本进行了比较：在 CPU 上运行的 FLAN-T5 等小模型；在 GPU 集群上运行的 LLaMA-2 之类 70B 模型；以及在 H100 配置上运行的 GPT-4 级 mixture-of-experts 模型。结果令人震惊。

换句话说，从针对 CPU 优化的 77M 模型跃升到部署在云端的 70B 模型，会让每个 token 的能耗增加三个数量级。当你把视角拉远，从系统级设计观察这个问题时，它就不再是能否获得少量边际收益的问题，而是关乎碳足迹、可扩展性以及整体基础设施影响的问题。

这还没有把训练、冷却和网络传输的消耗计算在内。

通过在本地运行推理，我们消除的不只是成本波动，还有相当一部分环境足迹。当这种影响乘以数百万用户时，它就会成为系统性的改变。无论我们是否承认，行业都正在朝这个方向前进。

真正合理的使用场景

并不是每一个 AI 问题都应该在设备端解决。但对于用户每天都要依赖的高频、低复杂度任务，本地方案每次都更有优势。

想想这些场景：语音转录、图像增强、语言翻译、记忆回溯、会议总结、键盘输入建议。这些任务不需要 70B 参数，需要的是速度、针对性和信任。

现在，它们还需要考虑能源投入的比例。当推理不仅以延迟或金钱衡量，还要以瓦特和 CO₂ 克数衡量时，本地执行就不再只是一种技术偏好，而是一种对气候负责的设计选择。

在上述每一个领域中，我们都看到本地模型战胜了对应的云端模型，而且优势不只体现在延迟上，也体现在任务精度、可解释性和用户满意度上。

关于端侧 AI 的讨论，并不是要追赶云端，而是要沿着一条不同的道路继续前进。在这条道路上，智能被嵌入设备，而不是通过网络流式传输；记忆保存在本地；隐私成为默认设置；成本不会随着使用量增长；系统被设计成可以让人理解，而不是被抽象层层隐藏。

当你思考应该在哪里构建 AI，以及如何负责任地部署 AI 时，我们建议你先问自己几个简单的问题：

识别一条笔记中的 URL，真的需要 175B 参数吗？

给日历事项添加 tag，真的有必要使用云端推理吗？

我优化的究竟是抽象程度，还是实际的用户结果？

因为对我们来说，当我们开始把这些问题重新视为系统问题时，前进的道路就变得清晰明了。

我们所做的不只是优化一条流水线。

我们重新思考了整个基础。

而这正是我们接下来继续构建的起点。

如果你想了解 Pieces 如何在设备端运行，欢迎与我们交流。