开源 Azure OpenAI 兼容实现

BricksLLM 也提供托管版本！它已达到生产就绪状态，并配有 Dashboard，让你可以更轻松地与 BricksLLM 交互。今天即可免费试用！

BricksLLM 是一个使用 Go 编写的云原生 AI Gateway。目前，它原生支持 OpenAI、Anthropic、Azure OpenAI 和 vLLM。BricksLLM 旨在提供企业级基础设施，为任何 LLM 生产用例提供支持。以下是 BricksLLM 的一些应用场景：

• 为不同定价层级的用户设置 LLM 使用限额
• 按用户和组织维度跟踪 LLM 使用情况
• 阻止或脱敏包含 PII 的请求
• 通过故障转移、重试和缓存提高 LLM 的可靠性
• 为内部开发和生产用例分发设有速率限制与成本限制的 API key
• 为学生分发设有速率限制与成本限制的 API key
• PII 检测与遮蔽
• Endpoint 访问控制
• 原生支持所有 OpenAI Endpoint
• 原生支持 Anthropic
• 原生支持 Azure OpenAI
• 原生支持 vLLM
• 原生支持 Deepinfra
• 支持自定义部署
• 集成自定义模型
• 支持隐私控制的日志记录

开始使用 BricksLLM 最简单的方式是通过 BricksLLM-Docker。

第 1 步——克隆 BricksLLM-Docker 仓库

git clone https://github.com/bricks-cloud/BricksLLM-Docker

第 2 步——进入 BricksLLM-Docker 目录

cd BricksLLM-Docker

第 3 步——在本地部署 BricksLLM、Postgresql 和 Redis

docker compose up

你可以使用 -d 参数以 detached mode 运行：docker compose up -d

第 4 步——创建 Provider 设置

curl -X PUT http://localhost:8001/api/provider-settings \
   -H "Content-Type: application/json" \
   -d '{
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      }'

复制响应中的 id。

第 5 步——创建 Bricks API key

使用上一步获得的 id 作为 settingId，创建一个速率限制为每分钟 2 个请求、支出上限为 25 美分的 key。

curl -X PUT http://localhost:8001/api/key-management/keys \
   -H "Content-Type: application/json" \
   -d '{
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      }'

恭喜，你已经完成了！！！

接下来，只需将请求重定向到我们这里，然后像平常一样使用 OpenAI。例如：

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions \
   -H "Authorization: Bearer my-secret-key" \
   -H "Content-Type: application/json" \
   -d '{
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      }'

或者，如果你使用的是 SDK，可以修改它的 baseURL，让它指向我们。例如：

// OpenAI Node SDK v4
import OpenAI from 'openai';

const openai = new OpenAI({
  apiKey: "some-secret-key", // key created earlier
  baseURL: "http://localhost:8002/api/providers/openai/v1", // redirect to us
});

更新到最新版本

docker pull luyuanxin1995/bricksllm:latest

更新到特定版本

docker pull luyuanxin1995/bricksllm:1.4.0

环境变量