Yahoo 用 Amazon Bedrock 强化搜索广告投放

原文翻译

在数字广告中，将用户搜索意图与跨渠道的相关广告体验相关联是一个长期挑战。广告商需要精密的方式来基于受众展示的兴趣和行为（特别是搜索活动，这是用户意图最强信号之一）来触达他们。传统的关键词扩展方法通常难以应对过时的词汇、语义理解有限以及无法捕捉搜索查询背后细微含义等问题。

Yahoo 全渠道需求方平台（DSP）通过为广告商提供先进技术、优质供应访问、巨大规模和可信的消费者关系来应对这些挑战。DSP 允许广告商通过单一界面在多个交易所和渠道购买广告库存。Yahoo DSP 通过由广告商定义的规则、机器学习（ML）和生成式 AI 驱动的精密观众定位功能增强了这一能力。

这种定位的核心是观众分段的概念：一组共享特定兴趣、人口统计特征或行为的用户，可以在广告活动中集体定位。这些分段被传递到定位系统以进行广告投放，确保用户与最相关的广告商活动相匹配。

在本文中，我们展示了 Yahoo 如何实施 Amazon Bedrock 来增强 Yahoo DSP 广告技术套件中的搜索重新定位（SRT）功能。SRT 是一个核心观众定位解决方案，帮助广告商基于用户历史搜索行为触达他们，将搜索意图与展示、视频和原生广告相关联。除了定位在 Yahoo 搜索上输入的关键词外，SRT 使用 AI 识别和吸引在 Yahoo 和集成合作伙伴系统中通过搜索活动展示意图的用户。

以前，Yahoo SRT 架构使用 Word2Vec 嵌入模型结合局部敏感哈希（LSH）来扩展广告商关键词。这个多步骤过程涉及关键词规范化、生成嵌入、索引、执行 LSH 搜索、过滤敏感词和排名结果。

然而，Word2Vec + LSH 方法存在几个局限性：

• 过时的词汇：它不总是反映当前术语。
• 短语搜索：它关注短语而非特定实体。
• 句法相似性：扩展依赖句法而非语义含义。
• 零扩展：在某些情况下，它无法生成任何新关键词。

我们通过使用 Amazon Bedrock 和大型语言模型（LLM）部署生成式 AI 驱动的 SRT 关键词扩展来应对这些挑战。这一增强生成了更相关、语义更丰富的关键词扩展，帮助广告商触达更大、更精准的受众。

在介绍解决方案之前，回顾旧版 SRT 工作流很有帮助，如下图所示。广告商首先通过一组目标关键词定义每个分段。此元数据存储在 SQL 数据库中。后端系统随后执行关键词扩展，生成语义相关的词语以扩大受众范围并改进广告商效果。原始和扩展的关键词集都持久化在 Amazon OpenSearch Service 集群中。另一个称为批量评分的工作流针对此分段元数据评估 Yahoo 用户的搜索历史，以确定分段成员资格。

用生成式 AI 实现现代化

认识到旧版方法的局限性，我们的目标是使用现代生成式 AI 解决方案刷新关键词扩展。Amazon Bedrock 使这一工作成为可能。通过提供对众多领先基础模型（FM）的无服务器访问，Amazon Bedrock 帮助我们的团队实验了多个 LLM，包括 Amazon Nova、Meta Llama 和 Anthropic 的 Claude，无需构建自定义基础设施。

在评估新方法时，我们还考虑了计算广告的关键因素，包括：

• 敏感关键词的过滤。
• 用户隐私偏好。
• 政策合规要求。

下图展示了使用 Amazon Bedrock 和生成式 AI 的更新架构。

LLM 选择和结果

在 LLM 选择和评估过程中，我们使用 Amazon SageMaker Studio 原型化和评估了多个模型，包括 Amazon Titan、Meta Llama 和 Anthropic 的 Claude。最终，Anthropic 的 Claude 3.5 Sonnet v2 被选为搜索关键词扩展最有效的模型，在扩展比和语义相似性之间达到平衡。

在评估过程中，我们观察到了 LLM 的幻觉行为。为了减少幻觉并保持质量，我们引入了验证步骤。LLM 生成的扩展关键词被转换为嵌入，并与原始集合比较。低于相似性阈值的关键词被过滤掉，确保只有最相关的词语被保留。这个验证步骤对于维护工作流的准确性和可信度至关重要。

通过 Amazon Bedrock 部署时，Claude 3.5 Sonnet v2 相比旧版 LSH 方法展示了实质性优越的扩展能力，在 LSH 无法生成任何关键词的情况下经常生成数百甚至数千个关键词。在严格相似性阈值下，中位数广泛扩展比提高了五倍，最大扩展比翻倍。见下图。

总体来说，基于生成式 AI 的关键词扩展增加了检索关键词的数量，并确保它们在语义上相关，大幅增强了搜索用户定位。

LLM 关键词扩展比 vs. 余弦相似性分数。

在生成式 AI 工作流中对关键词扩展进行防护栏

当我们首次设计 SRT 关键词扩展工作流时，我们仅专注于扩展步骤，采用种子关键词并使用生成式 AI 模型生成更广泛的相关词语集合。这种方法有效，但也引入了挑战：

• 在某些情况下，模型过度扩展，产生大量关键词。
• 罕见或模糊的种子关键词有时导致无关或嘈杂的扩展。

这突显了质量控制机制的必要性。为解决这个问题，我们引入了嵌入生成和相似性评分：

嵌入和相似性检查。对于每个扩展关键词，我们生成一个嵌入。随后我们计算其与原始关键词嵌入的相似性分数。只有高于定义相似性阈值的关键词才被保留。这确保扩展关键词在语义上与原始意图保持一致。

敏感关键词防护栏。除了语义过滤，我们还应用敏感关键词检查。过滤在推理前进行（以避免扩展不需要的词语）和推理后进行（以移除敏感扩展）。

通过结合语义相似性评分与敏感关键词过滤，我们创建了一个防护栏关键词扩展管道。这种方法保留了生成式 AI 驱动扩展的广度和创意，同时维持相关性、质量和合规性。

业务价值和影响

这个基于生成式 AI 的增强关键词扩展功能于 2025 年第一季度在生产环境中发布。

广告商受益于显著更广泛和更精准的受众范围。LLM 驱动的扩展逻辑增加了候选关键词池，同时过滤质量，导致活动与用户意图更紧密对齐。这转化为更高的相关性、更强的参与度和改进的转化率。

从系统角度，新系统提供了实质性的规模改进：

• 关键词扩展率提高至 600 倍。
• 可寻址受众范围增长至 5 倍。
• 活动性能和转化的收益。

通过使用 LLM 现代化关键词扩展，Yahoo DSP 更好地定位为驱动广告商价值，同时加强其在程序化环境中的竞争优势。

Amazon Bedrock 提供了对多个领先 FM 的无服务器访问，包括 Amazon Nova、Meta Llama 和 Anthropic 的 Claude，无需 Yahoo 团队构建或管理复杂基础设施。这个能力帮助我们快速实验、扩展工作负载并灵活部署。

模型广度 – Amazon Bedrock 帮助我们快速用多个领先 FM 进行实验。

无基础设施管理 – Amazon Bedrock 提供对 LLM 的无服务器访问，消除了模型托管、扩展或打补丁的需要。

灵活推理选项 – Amazon Bedrock 为快速灵活的原型化和决策制定提供了批量和实时推理选项。

使用 Amazon Bedrock 直接升级模型 – 切换到更新或更高级的模型版本是一个配置更改。Amazon Bedrock 的架构抽象化了底层基础设施和兼容性挑战，使团队能够以最小的工作量采用更新的模型。

在本文中，我们强调了 SRT 如何成为 Yahoo DSP 的核心产品服务，以及我们如何使用生成式 AI 转变关键词扩展。通过使用 Amazon Bedrock，我们的团队获得了对多个领先 LLM 的无服务器访问，无需管理基础设施的开销。这个能力帮助我们将广告商的原始关键词扩展为语义丰富、高质量的集合，增加了定位受众的规模和精准性。

使用 Amazon Bedrock 驱动的 LLM 替换旧版 Word2Vec 和 LSH 工作流提供了更准确、语义更相关的关键词扩展。新方法驱动更强的活动性能、更高的转化率和更大的操作灵活性。Amazon Bedrock 使这一转变成为可能，帮助 Yahoo DSP 在 AI 驱动的广告中更快、更高效地扩展。

要了解更多，请参阅 Amazon Bedrock 详情页和 Amazon Bedrock 用户指南。要开始构建，请打开 Amazon Bedrock 控制台。