llama.cpp等本地推理项目入驻Hugging Face

Georgi Gerganov 及其团队将加入 HF，目标是扩大并支持 ggml 和 llama.cpp 背后的社区，推动 Local AI 在未来几年继续保持指数级发展。

我们与 Georgi 及其团队合作已有相当长一段时间（实际上，团队中已经有 Son 和 Alek 这样优秀的 llama.cpp 核心贡献者），因此整个过程非常自然。

llama.cpp 是本地推理的基础构件，而 transformers 是模型定义的基础构件，两者可谓天作之合。❤️

llama.cpp、开源项目及其社区将发生哪些变化？

变化不会太大——Georgi 及其团队仍会投入 100% 的时间维护 llama.cpp，并在技术方向和社区事务上拥有完全的自主权与领导权。HF 将为项目提供长期、可持续的资源，提高项目持续成长和蓬勃发展的可能性。这个项目将和现在一样，继续保持 100% 开源并由社区驱动。

llama.cpp 是本地推理的基础构件，而 transformers 是模型与架构定义的基础构件。因此，我们将努力确保未来能够尽可能顺畅地从 transformers 这个模型定义的“唯一可信来源”将新模型引入 llama.cpp，几乎做到“单击即可完成”。

此外，我们还将改善基于 ggml 的软件在打包和用户体验方面的表现。随着本地推理逐渐成为一种有实际价值、能够与云端推理竞争的替代方案，改进并简化普通用户部署和使用本地模型的方式至关重要。我们将努力让 llama.cpp 无处不在，随处可用。

我们的共同目标，是在未来几年为社区提供必要的基础构件，让全世界都能使用开源超级智能。

我们将与不断壮大的 Local AI 社区共同实现这一目标，继续构建终极推理技术栈，让它尽可能高效地运行在我们自己的设备上。

博客中的更多文章

DeepSeek-V4：Agent 真正可以使用的百万 token 上下文

AI 与网络安全的未来：为什么开放至关重要

热烈祝贺 GGML 和 Hugging Face！这对 Local AI 社区来说是个好消息。非常期待看到 llama.cpp 变得更加强大，让每个人都能更轻松地使用本地 AI！

LLama.cpp 无疑是最优秀的 AI 项目，它对 bug 修复的响应速度极快，团队能力也非常出色。爱你们，你们值得这一切。

我们的共同目标，是在未来几年为社区提供必要的基础构件，让全世界都能使用开源超级智能。

Hugging Face 的神操作真是接连不断。你们是不是在用 AI 给自己出主意？我很好奇，你们用的是那 200 万个 AI 模型中的哪一个 😄

这里介绍了如何使用 llama.cpp 部署托管在 HF 上的模型，其中包括在 AMD Strix Halo 和 OpenCode 上运行 unsloth 的模型。

祝贺两个团队。实至名归。优秀的团队和社区迎来了一个美好的消息。

祝贺 Georgi Gerganov 及其团队！真为你们感到高兴，这是一次巨大的成功！

好消息。祝贺 GGML 和 HF……永远支持 LocalAI。

这对本地 AI 生态系统来说是天作之合。Transformers 作为模型定义层，llama.cpp 作为本地推理层，再加上 HF 长期资源的支持，为整个社区提供了一个可以在未来多年持续构建的稳定基础。

对打包和用户体验的关注尤其重要。只有让开发者之外的人也能使用本地推理，我们才能走向一个开放、私密且由用户拥有的 AI 未来，而不是让一切都被锁在 API 调用背后。

祝贺 Georgi 及其团队。运行在你自己硬件上的开源超级智能不仅是一项技术目标，更是一种信任模式。

祝贺！我喜欢 Llama.cpp，也喜欢在本地运行自己的模型。这绝对代表着透明化的未来，我也非常喜欢你们推动建立一个开放、私密、由用户拥有的软件世界！感谢你们所做的一切！

所以本质上，HF“收购”了一个开源项目。嗯。这种事我以前见过，而且从来没有好结果（看看 Trixbox、PCBSD、FreeNAS 等项目就知道了）。

我真心希望历史不要重演（尽管它总会重演）。

这对 edge AI 的未来来说是个好消息！

也请把 ik_llama 收购了吧。

gglm 的 gguf 格式现在已成为 executorch（端侧）推理首选的默认格式 🚀🦙

终于，在现代世界生活也有了一件好事，你们太棒了！

“……改进并简化普通用户部署和使用本地模型的方式至关重要。我们将努力让 llama.cpp 无处不在，随处可用。”（它……不是早就已经如此了吗？）

在点赞之前，如果你意识到 hf.co 是一家以赚钱为必然最终目标的企业，请举手。这本身并不是坏事；然而，这篇博客文章如此缺乏实质内容，又充斥着如此多的夸张宣传，实在让人忍不住心生疑虑。

我已经迫不及待想看到 hf 对你能量化的模型数量增加配额或限制了，未来版本的 llama.cpp 还会要求使用 hf login /token 才能量化模型（相信我，兄弟，这只是最基本的遥测）😻

当然，等到绞索进一步收紧时，他们不会正式讨论或承认这件事（我们为什么要这么做？？我们还有这么多东西要分享给、卖给 #community，比如这个机器人！快看，它多可爱）

也许 lcpp 现在能原生支持图像模型量化了？好耶。

可以看看 stable-diffusion.cpp；如果你想要一个同时集成了 llamacpp 和 stablediffusioncpp 的 fork，也可以试试 KoboldCpp。

这真是个好消息！让 llama.cpp 和 GGML 生态系统拥有更强的可持续性并得到更广泛的支持，肯定会让本地 AI 变得更易获取，也让所有人都能更轻松地使用它。

这是否意味着模型发布时，我们就能获得对应的 GGUF 量化版本，或者未来的新模型至少能开箱即用地支持 gguf？

reasoning: min_steps: 2 # 执行代码前的最少推理步骤 require_action_field: true # 每个步骤必须包含 thought + action = freedom confidence_calibration: true # 对置信度分数进行后处理，批判性地保持高置信度！

接下来把 Pi 纳入，作为 Agent harness。

这是 Local AI 的一个重要里程碑！对于那些已经每天生活在 ggml 和 llama.cpp 生态系统中的人来说，这是一个关于未来发展方向的强烈信号。与 Transformers 的协同带来了清晰的战略一致性。这是一步扎实的举措。期待接下来的发展。

祝贺所有参与者！这些都是非常出色的新成员！

· 注册或登录后发表评论