8.0
热点
AI SCORE
工具产品2023-09-27 00:29
Ollama Linux 版:本地 GPU 加速跑开源模型
Hacker News · github.com#Ollama#Linux#开源
Editor brief · 编辑速览
扩展到 Linux 平台的本地 LLM 运行工具,支持 GPU 加速,大幅降低开源大模型本地部署门槛,开发体验显著改善。
Ollama for Linux 现已推出,Nvidia GPU 开箱即用加速功能已启用。
💯 Ollama 可在配备多个 GPU 的云服务器上运行 🤖 Ollama 支持 WSL 2 上的 GPU 运行 😍 Ollama 最大化 GPU 层加载数量以提升性能,且不会崩溃 🤩 Ollama 将支持纯 CPU、小型爱好级游戏显卡,乃至强大的工作站级显卡(如 H100)
curl https://ollama.ai/install.sh | sh
手动安装步骤也已提供。
Ollama 现将自动将尽可能多的模型计算卸载至 GPU,以获得最高性能且不会出现崩溃
修复了运行 ollama run 时字符被清除的问题
由 @TwanLuttik 在 #574 中新增社区项目
@TwanLuttik 在 #574 中做出首次贡献
完整更新日志:v0.0.21...v0.1.0