轻量化推理模型Inkling Small登陆Vercel平台

Inkling Small 的性能与优势

Inkling Small 在尺寸仅为大型 Inkling 模型约四分之一的情况下达到了可比的性能，每项任务所需的计算量大幅减少。它是一个通用模型，具有对音频和图像的本机推理能力，在推理、agent 编码和工具使用方面表现出色。可控的思考力度让你能够在最少推理到最大推理之间权衡质量、成本和延迟。

对于视觉任务，它可以以编程方式裁剪、缩放和检查图像，这对于相关细节较小的文档和图表很有帮助。

在 AI SDK 中使用 Inkling

要使用 Inkling，在 AI SDK 中将 model 设置为 thinkingmachines/inkling-small：

import { streamText } from 'ai';

const result = streamText({
  model: 'thinkingmachines/inkling-small',
  prompt: 'Summarize this report and list the key risks.',
});

零数据保留和合规性

Inkling-Small 与零数据保留兼容。从仪表板启用团队范围的零数据保留，或通过 zeroDataRetention: true 按请求启用，AI Gateway 仅路由到在每次请求后删除提示和响应的提供商。

编码和工具使用工作流

Inkling-Small 也是编码和工具使用工作流的成本高效选择。运行 vercel ai-gateway coding-agents setup 以将你的编码 agent 连接到 AI Gateway，然后在 agent 的模型配置中选择 thinkingmachines/inkling-small。参见编码 agent 指南。

透明定价与模型游乐场

AI Gateway 反映提供商定价，无任何加价，对推理不收取平台费用，包括自带密钥 (BYOK) 请求。在模型游乐场试用 Inkling Small。

AI Gateway：追踪热门 AI 模型使用情况

AI Gateway 模型排行榜追踪最受欢迎的模型，按所有 Gateway 流量中处理的令牌总量对其进行排名。