本地大模型上手：从部署到工具调用

把本地模型跑成一个能被程序调用的服务，需要哪些步骤？dev.to 的这份教程给出了从选择运行工具、下载模型，到开放 OpenAI-compatible API、尝试工具调用的路径。作者以 LM Studio 的 CLI 为主线，同时提供 Ollama 和 llama.cpp 的对应方式，目标是快速跑通接口，不涉及微调。

目前能确认什么

教程的接入思路是：让本地运行工具提供兼容 OpenAI 的接口，再把客户端请求指向本机地址。已有脚本可以沿用熟悉的请求结构，但接口兼容程度和具体模型能力仍需分别验证。

部署前还要算内存。模型文件只是占用的一部分，上下文对应的 KV cache 也需要空间。量化通过降低数值精度缩小模型，代价可能是输出质量下降；能装进内存，也不等于响应速度符合项目要求。

工具调用是另一个关卡。节选通过发送 tools，检查模型是否返回结构化的 tool_calls。这里需要补充一个通用概念：模型负责提出调用请求，程序负责执行函数、回传结果。返回一段描述调用过程的文字，无法直接替代这套协议。

我的判断

跑通聊天接口，只能证明服务可用，不能证明它能稳定承担 Agent 任务。

如果项目依赖工具调用，我会优先检查参数是否符合 schema、工具结果能否被正确接续，以及多轮调用是否稳定。一次返回正确的 tool_calls，还不足以支撑可靠性判断。

本地部署对敏感数据处理、重复任务和固定模型版本有吸引力，但成本不会消失，而是转向硬件占用和运行维护。数据是否始终留在本机，也要看应用是否调用外部服务。

目前节选没有给出具体模型的工具调用成功率、硬件实测或长链路表现，末尾的选型讨论也不完整。对于需要复杂推理和连续执行的项目，现有信息还不足以支持替换托管模型。