Google Gemini API 设计缺陷分析

• 极具竞争力的编程与推理模型（Gemini-2.5-pro）
• 上下文窗口最长的前沿模型（1M 或 2M context——OAI 刚刚追平，因为 GPT-4.1 也拥有 1M context）
• 最出色的前沿音频、视频与文档多模态模型。（其他一些模型也支持音频，但成本高得多）
• 最出色的长上下文 fine-tuning 方案（Gemini-2.0-flash 可使用 131k context 进行 fine-tuning，其他模型支持的上限更低）
• 最出色的多模态 fine-tuning 方案（Gemini-2.0-flash 可使用音频、图像和文档进行 fine-tuning）

你必须手动部署 endpoint，而不能只训练模型然后直接使用。

如果给部署的 endpoint 设置默认名称以外的任何名称，似乎都会抛出错误：“Internal error occurred. Contact Vertex AI”。

调用时只能使用可读性较差的 18 位 endpoint ID，而不是带有可配置后缀、易于辨识的模型名称。

Provider 会自动缓存 LLM completion 请求中发现的前缀，并重复使用。

Developer 在 LLM completion 请求中标记应当缓存的部分，Provider 随后会缓存这些部分，并在之后的请求中重复使用。

Developer 将需要缓存的前缀发送到一个单独的 API endpoint，并获得 cache ID。之后，如果某个请求应该使用该缓存条目，Developer 就在请求中附带 cache ID，Provider 则使用对应的缓存前缀。

无论如何，怎样使用 Gemini

附录：通过 Vercel AI SDK 使用 fine-tuned Gemini 模型

// Patch Vercel AI SDK

function patchedFetchForFinetune(
  requestInfo: RequestInfo | URL,
  requestInit?: RequestInit
): Promise<Response> {
  function patchString(str: string) {
    return str.replace(`/publishers/google/models`, `/endpoints`)
  }

  if (requestInfo instanceof URL) {
    let patchedUrl = new URL(requestInfo)
    patchedUrl.pathname = patchString(patchedUrl.pathname)
    return fetch(patchedUrl, requestInit)
  }
  if (requestInfo instanceof Request) {
    let patchedUrl = patchString(requestInfo.url)
    let patchedRequest = new Request(patchedUrl, requestInfo)
    return fetch(patchedRequest, requestInit)
  }
  if (typeof requestInfo === 'string') {
    let patchedUrl = patchString(requestInfo)
    return fetch(patchedUrl, requestInit)
  }
  // Should never happen
  throw new Error('Unexpected requestInfo type: ' + typeof requestInfo)
}

const vertexFinetuned = createVertex({
  project: VERTEX_PROJECT,
  location: VERTEX_LOCATION,
  fetch: patchedFetchForFinetune as unknown as typeof globalThis.fetch,
})

const model = vertexFinetuned(VERTEX_ENDPOINT_ID)

喜欢这篇文章？订阅邮件，及时获取新文章。