7.0
热点
AI SCORE
技术实践2026-03-02 07:15
根据硬件配置选择合适的 LLM 模型
Hacker News · github.com#LLM#本地部署#性能优化
Editor brief · 编辑速览
介绍如何根据系统的 RAM、CPU 和 GPU 资源，选择和优化本地运行的 LLM 模型。对想在有限资源下部署模型的开发者有实际指导价值。
使用真实数据、为所有人提供更好的估算。下载模型、运行它、测量真实的 tok/s 性能，然后通过 TUI 直接作为 PR 贡献回项目。无需 gh CLI，无需第三方账户。每次运行都先保存在本地，你的测量数据会替换拟合表中的估算，每次合并的提交都会在下一个版本发布：任何使用相同硬件的人在首次运行基准测试之前就能获得测量 ✓ 数据。查看逐步基准测试指南 →
**之前：**llmfit 1.0 — 数据变得可验证的版本 →
一个终端工具，可以根据你的系统 RAM、CPU 和 GPU 合理选择 LLM 模型。它检测你的硬件，按质量、速度、适配度和上下文等维度给每个模型评分，告诉你哪些模型能在你的机器上真正良好运行。
包含交互式 TUI（默认）和传统 CLI 模式。支持多 GPU 设置、MoE 架构、动态量化选择、速度估算以及本地运行时提供商（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）。
相关项目：
scoop install llmfit
如果 Scoop 未安装，请遵循 Scoop 安装指南。
预构建二进制（推荐，适用于所有 macOS/Linux 版本）：
brew install AlexsJones/llmfit/llmfit
或从 homebrew-core 公式安装，在没有预编译包的 macOS 版本上会从源代码构建：
brew install llmfit
port install llmfit
curl -fsSL https://llmfit.axjns.dev/install.sh | sh
从 GitHub 下载最新版本二进制并安装到 /usr/local/bin（或无 sudo 权限时安装到 ~/.local/bin）。
不使用 sudo 安装到 ~/.local/bin：
curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local
安装或更新 llmfit：
uv tool install -U llmfit
无需安装直接运行：
uvx llmfit
你也可以用 pip、uv 等工具将 llmfit 作为普通 Python 包安装。
docker run ghcr.io/alexsjones/llmfit
打印来自 llmfit recommend 命令的 JSON。可以使用 jq 进一步查询这个 JSON。
podman run ghcr.io/alexsjones/llmfit recommend --use-case coding | jq '.models[].name'
启动交互式 TUI，传递全局 --tui 标志：
docker run --rm -it ghcr.io/alexsjones/llmfit --tui
git clone https://github.com/AlexsJones/llmfit.git
cd llmfit
cargo build --release
# 二进制位于 target/release/llmfit
llmfit # interactive TUI: your hardware, every model, ranked
TUI 在顶部显示你检测到的规格和每个模型按适配度、速度、质量和上下文排序的评分。查看 TUI 指南了解导航、规划、模拟、下载、社区排行榜和基准测试。
对于脚本、agent 和经典终端输出：
llmfit fit # table of all models ranked by fit
llmfit recommend --json # top picks as JSON (agent/script consumption)
llmfit info "<model>" # one model: fit analysis, estimate basis, verify commands
llmfit bench # measure real tok/s/TTFT against your running provider
llmfit doctor # hardware detection report for bug reports
完整参考见：CLI & 自动化。
llmfit 检测你的硬件（RAM、CPU、GPU/VRAM、后端），然后根据四个维度对其目录中的每个模型评分：内存适配度、估算速度、质量和上下文。速度估算来自一个建立在运行时采样和真实社区测量基础上的内存带宽模型——每个估算都附带其输入值，所以 llmfit info 会准确显示一个数字的假设以及如何在你的机器上验证它。
完整详情，包括估算公式和模型数据库，见：llmfit 工作原理。
欢迎提交贡献，尤其是新模型。
提交更改前请运行 cargo fmt。大多数 CI 检查失败都是由未格式化的代码引起的：
cargo fmt
添加模型的指南——本地添加（不需重新构建）或添加到内置目录：自定义模型。
如果你在寻找不同的方法，查看 llm-checker —— 一个 Node.js CLI 工具，集成了 Ollama，可以直接拉取和基准测试模型。它通过 Ollama 在你的硬件上实际运行模型来采取更实践的方法，而不是从规格估算。如果你已经安装了 Ollama 并想测试真实性能，这很有用。注意它不支持 MoE（专家混合）架构——所有模型都被视为稠密模型，所以 Mixtral 或 DeepSeek-V3 等模型的内存估算会反映总参数数而不是更小的活跃子集。
llmfit 的 Windows 发布二进制通过 SignPath.io 进行数字签名（Authenticode），使用由 SignPath Foundation 提供的免费代码签名证书。
签名在发布流程中自动进行：仅从此仓库由 GitHub Actions 构建的工件才被提交签名，签名请求由项目维护者（@AlexsJones）批准。
代码签名政策：见 SignPath Foundation 代码签名政策和条款。
该程序不会将任何信息传输到其他网络系统，除非用户或安装或操作该程序的人明确要求。llmfit 仅在你明确使用相应功能时才联系外部服务（例如模型下载、运行时提供商查询或社区排行榜）。