FreeLLMAPI：一个 API 聚合 34 家免费 LLM 提供商

GitHub Trending 今天有一个值得关注的项目：FreeLLMAPI。这个开源工具已获得 19,694 颗星，它将 34 家不同 LLM 提供商的免费配额聚合到同一个 OpenAI 兼容的 API endpoint 中。

各大 AI 实验室现在都在提供免费配额——每月数百万 token、每天数千次请求。单独看每一个，都像是玩具。但聚合在一起呢？相当于每月 74 亿 token 的推理能力。

问题在于，手动整合这些服务非常痛苦：34 个不同的 SDK、34 个不同的 rate limit、34 个不同的故障点。FreeLLMAPI 将这一切简化为一个 OpenAI 兼容的 endpoint。

1. 成本为零，能力最大化

34 家免费 provider（Google、Groq、Cerebras、Mistral、OpenRouter、Cohere、NVIDIA、HuggingFace 等）

474 个模型系列，635 个免费 endpoint

每月约 740 亿 token 的总容量

2. 智能路由

Router 会为每个请求选择最合适的模型。当某个 provider 达到 rate limit 时，它自动切换到下一个。它会追踪每个 API 密钥的使用情况，确保你始终在每个免费配额之下。

3. 加密的密钥管理

Provider 密钥在 SQLite 中使用 AES-256-GCM 加密。你的应用只看到一个统一的 freellmapi-... bearer token。

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key="freellmapi-your-unified-key",
)

resp = client.chat.completions.create(
    model="auto",  # router 自动选择最佳模型
    messages=[{"role": "user", "content": "Roma'nın çöküşünü bir cümlede özetle."}],
)
print(resp.choices[0].message.content)
print("Yönlendirildi:", resp.headers.get("x-routed-via"))

每个响应都带有 X-Routed-Via: <platform>/<model> header，因此你可以看到是由哪个 provider 提供服务的。

Docker 一键启动：

curl -fsSL https://freellmapi.co/install.sh | bash

这会创建 ~/freellmapi 目录，生成加密密钥，然后访问 http://localhost:3001，在 Keys 页面添加你的 provider 密钥，按需排列 Fallback Chain，获取你的统一 API 密钥。

FreeLLMAPI 支持多种流行的 AI 编程工具：

• Claude Code - npx freellmapi setup-claude
• Codex CLI - npx freellmapi setup-codex
• Aider - npx freellmapi setup-aider
• Cline、Roo Code、Continue、OpenCode、Cursor、Zed、JetBrains AI 等

Fusion（多模型合成）

当你选择虚拟 fusion 模型时，router 会将你的 prompt 并行发送给多个免费模型，然后由一个裁判模型从各个草案中综合出一个最终答案。

作为可选项功能，共享请求管道可以复制 prompt、过滤工具输出、压缩重复的 JSON，并在缓存查询前裁剪过时的上下文。

自动目录更新

Router 每天两次从 freellmapi.co 拉取签名的目录：新模型、配额变更和 provider 兼容性修复都会自动到来。

还有一个原生的菜单栏应用：所有 router + dashboard 都在本地托盘运行，带有一个显示实时请求统计的玻璃质感弹出窗口。

FreeLLMAPI 明确声明了一些重要限制：

前沿模型缺失——GPT-4、Claude 3.5 Sonnet 等最强模型并不免费

延迟不稳定——不同 provider 响应速度各异

无 SLA——免费配额可能变更或取消

日内智慧衰减——随着最佳模型达到每日配额，endpoint 的有效智能会下降，直到 UTC 午夜重置

项目明确说明："这是个人体验和学习用的，不是生产用的。"如果你要构建真实的应用，在发布前切换到付费 API。

这个项目在 API 设计和服务端开发方面提供了很多借鉴：

API Gateway 模式：单一 endpoint，多后端

Rate limiting 和配额管理：为每个 provider 独立追踪

Failover 策略：自动重试和冷却

加密：密钥管理与安全

微服务架构：模块化的 provider 适配器

如需深入了解这些主题，可以查看 CoddyKit 的后端开发课程。

FreeLLMAPI 通过聚合免费 LLM 配额，为开发者提供了一个强大的实验环境。单一的 OpenAI 兼容 endpoint、智能路由、自动 failover 和加密密钥管理，使其成为 AI 原型设计的利器。

但请记住：这是一个学习工具，不是生产基础设施。真实应用请使用付费 API。

GitHub: tashfeenahmed/freellmapi
Website: freellmapi.co
License: MIT

本文是介绍 GitHub Trending 有趣开源项目系列的一部分。更多技术内容请关注 CoddyKit Blog。