Exa 用自定义算子加速文档向量化
Exa 为 Inferentia2 和 Trainium2 编写自定义 NKI 算子,优化数百亿网页文档的向量化推理。案例报告称,推理性能和每百万文档的成本指标均改善了 47%。
AI 深度解读
Exa 换了一版网页文档嵌入模型,决定给 300 亿份高优先级文档重新生成向量。旧索引还要继续接收新网页,两条流水线同时跑,嵌入负载暂时翻倍。Exa 借这个机会重新评估硬件,并用 AI 编程代理逐项优化 AWS Neuron 上的推理。
最终版本相对初始实现,吞吐约为原来的 1.5 倍。这个案例里最能复用的是排查顺序:先验证输出,再上真机量吞吐,最后根据性能剖析决定哪部分代码值得重写。单核跑得快,整颗芯片未必能按同样的速度扩上去,Exa 就是在这里遇到了瓶颈。
为什么换一次模型会让嵌入负载翻倍
Exa 用多塔语义模型把网页和查询映射到同一个向量空间,让自然语言查询可以按语义检索,同时保留传统关键词搜索。网页经过抓取、解析、审核和过滤后,质量达标的结构化文档还得生成向量,才能通过自研向量数据库对外提供检索。嵌入虽然是异步任务,但处理速度会影响一篇新网页从被发现到能被搜到要等多久。
换模型时,旧模型继续给新数据生成向量,写进线上索引。新模型则为选中的 300 亿份历史文档补算向量,写进新索引。两条流水线共享抓取和解析阶段,增加的压力集中在嵌入推理。这也解释了 Exa 为什么盯着每百万份文档的成本。单份文档省下的算力很少,乘上数百亿份文档就成了值得重新评估硬件的开销。
为什么单核运行得快,两核同时跑却打了折
作者用 inf2.xlarge 作为 AWS Inferentia2 的性能口径。它有一颗芯片和两个 NeuronCore,每份模型推理任务只占一个核。团队用 Kubernetes 把相同的 Pod 排到更大的实例上,让不同核心各自处理一批文档。这就是这里的数据并行。初始版本用 FP16,吞吐按每秒处理的文档数(docs/sec)计算。
他们先调整权重布局,省掉不必要的转置,再开启 autocast,让编译器降低矩阵乘法的精度,同时保留动态范围。降精度后的嵌入向量通过了与参考模型比较的 0.999 余弦相似度门槛。接着,他们从 Neuron Kernel Interface(NKI)库换入预构建的 attention 内核,拿到了下一段增益。
再往下查,Neuron Explorer 显示前向计算有大量中间数据被写到高带宽内存(HBM),后面又要读回来,Tensor Engine 因此频繁等待。团队借预构建的 MLP 内核定位问题,随后写了一个融合的 SwiGLU MLP 内核,让权重留在计算侧供多步操作复用,消除了这部分 HBM 等待。布局、循环和内存操作继续用较高层的 NKI,只有特定张量操作下沉到 NKI ISA。
更棘手的问题出现在两个核同时跑时。另一个核空闲时测得的单核吞吐,推算出的整卡吞吐明显高于实测,指向核间资源争用。进一步剖析显示 Tensor Engine 仍有余量。团队于是按模型实际的注意力头形状重写 attention 内核,减少填充带来的浮点运算,再把部分原来分多步执行的操作合进一次矩阵乘法,减少循环内的指令和 HBM 往返。这是最后一段显著提速的来源。
怎么让 AI 代理自己判断改动有没有用
每个代理通过 Flyte 运行自己的工作流。它先编译出 Neuron 可执行文件 NEFF,在基准数据集上跑前向计算,检查输出与标准模型的余弦相似度是否达到 0.999。接着对一次前向计算做性能剖析,再上真实硬件跑 30 分钟饱和压测。这样,代理可以用同一套流程回答三个问题:结果有没有跑偏,持续吞吐有没有提高,时间又花在了哪里。
他们把编译参数的网格搜索交给轻量模型,把验证复杂假设和定位瓶颈交给推理代理,定制内核则由代码生成能力最强的代理来写。团队也用 Neuron 的代理开发技能补充较新的功能和语法。整套流程把验证结果交还给代理,让它有依据地决定下一轮查什么。
为什么优化完 Inferentia2 还要适配 Trainium2
团队先在 US West(Oregon)Region(us-west-2)优化 AWS Inferentia2。同一套单核执行方式沿用到了 AWS Trainium2,仍靠数据并行扩容。多一种可用芯片,就多一种调度选择。Spot 和按需实例的供给会因区域而异,团队之间也可能同时需要同一批节点。
Exa 用一个 Kubernetes 控制平面跨区域调度,按单位费用能处理的文档量比较实例,把 Pod 排到性价比更高的节点上,再随嵌入需求变化重新调度。模型用得越久,越有机会通过迁移任务消化闲置的预留算力,或者把紧缺节点腾给其他团队。
我的判断
这个案例最有说服力的是单核与双核的实测差异。只跑一个 Pod 很容易高估整机产能,也容易把优化方向带偏。对有稳定大批量任务的团队,先试编译器选项和预构建内核,再用剖析结果决定是否写定制内核,这个顺序比一开始就维护底层代码更容易判断投入值不值。依赖模型头形状的优化,在下一次换模型时也需要重新验证。
数字要按披露口径读。标题说吞吐提升 50%,正文说约 1.5 倍,另有一处把最终版本相对初始基线的性能和每百万份文档嵌入成本写为 47% 的改善。原文没分列绝对 docs/sec、每百万份的实际账单或成本计算方法,无法据此算出迁移能省多少钱。0.999 也是向量输出的一致性门槛,原文没有报告检索排序或召回的对照结果。
代理分工属于团队经验。文章给出了真机剖析和压测流程,但没有提供人工优化、单一强模型和分工代理之间的工时或费用对照。一般团队更容易先复用验证流程。是否上多代理、写定制内核或做跨区域调度,要看任务量能否摊掉这些维护成本。
能拿来做什么
- 给站内语义搜索更换嵌入模型时,把新旧向量写入各自的索引,分别记录实时入库的延迟和历史回填的吞吐,避免两路任务的平均值掩盖新内容变慢的问题。
- 如果用 Node 编排文档嵌入任务,把基准输入、参考输出和性能测试做成 AI 编程代理可以重复执行的命令。向量一致性可以先做快速检查,再用实际查询样本验证检索结果。
- 做本地推理压测时,用相同的输入和批次分别测单 worker 与整机满载,记录总
docs/sec和实际实例费用,再决定是调编译参数、换预构建内核,还是继续查内存和算力争用。