多源数据聚合的市场情绪 AI Agent,展示了 Agent 在金融领域的快速数据处理能力。
这是一份对 n8n 和 Bright Data 驱动的 AI Agents 挑战的投稿。
我构建了一个 AI Agent,可以聚合和分析来自以下来源的情感:
美国主要股市新闻网站
它在几秒内提供一份综合的华尔街情感报告。该 Agent 扫描热门交易者讨论、金融头条和在线讨论,然后生成简洁、可执行的摘要——直接通过电子邮件发送——这样投资者可以瞬间了解市场情感,无需花费数小时进行研究。
GitHub - https://github.com/wimalasuriyaib/WallStreetSentimentAnalyzer
Wall Street Sentiment Analyzer - 这是我的主要 Agent 工作流。
在线股市情感工作流
X.com 股市情感工作流
最终输出 - 美国股市情感报告
观看演示视频了解 Agent 的完整讲解
该工作流的设计目的是自动获取实时美国股市情感、处理数据并生成简洁的文字摘要,适合博客文章发布。它利用 BrightData 进行数据提取、Google AI 进行查询,以及 Google Gemini(PaLM API)进行文本摘要。该工作流完全自动化,并使用 n8n(一个开源工作流自动化工具)进行编排。
触发: 通过 Manual Trigger 节点手动执行或可以使用 Cron 节点进行计划。
数据收集: BrightData Web Scraper 节点:向 BrightData 数据集 API 发送查询,使用预定义的提示从指定的 URL 中提取市场情感
快照监控: 工作流等待 BrightData 快照准备就绪,并使用 Check Snapshot Status 节点监控其进度。
数据处理: 快照准备就绪后,Download Snapshot Content 节点检索数据。
Edit Fields 节点: 规范化输出 JSON 并提取相关的 answer_text 以供进一步处理。
数据摘要: Google Gemini 节点:将提取的文本传递给 Gemini 模型(models/gemini-2.0-flash)以生成适合博客文章发布的简洁文字摘要。
提示从快照内容中动态注入,用于上下文感知的摘要。
Google Gemini(PaLM API) – 之所以选择它,是因为它能够生成类似人类的高质量文本摘要,并能够有效处理复杂的财务语言和情感分析。
工作流使用 pinData 在 n8n 内安全存储中间数据(answer_text)。
每个节点都是无状态的,依靠 BrightData 快照来维持一致性和可重现性。
工作流设计通过条件检查(IF 节点)确保错误处理,以重试等待或快照下载,直到数据准备就绪。
n8n: 编排工作流,管理触发器,并在节点之间传递数据。
BrightData: 使用快照处理动态网站的数据提取。提供监控 API 以确保完整性和准确性。
Google Gemini(PaLM API): 处理原始情感文本。生成适合博客发布的连贯、简洁的摘要。
异步快照处理: 确保如果数据未立即准备就绪,工作流也不会失败。
动态提示注入: 允许自定义查询而无需修改工作流逻辑。
无缝集成: BrightData 和 Google Gemini 节点完全凭证化,可重复用于多个数据集或情感来源。
可扩展设计: 通过调整查询参数,可以扩展到多个股票代码、社交媒体情感或区域市场。
将自动博客发布集成到 WordPress 或 Medium API。
添加历史情感跟踪和趋势分析。
如果情感变化剧烈,则纳入警报或通知。
Bright Data 验证节点是我们股市情感工作流中的关键组件,提供可靠且可扩展的网络数据提取,而无需面临典型的网络抓取挑战。通过利用 Bright Data,我们可以触发数据集快照、实时监控其进度并自动下载结构化结果。这消除了构建自定义抓取管道、处理 IP 轮换或管理代理网络的需要——这些任务以容易出错和耗时而著称。
使用 Bright Data 可以确保高数据准确性和合规性,这在访问 Google AI 搜索结果等动态且频繁更新的来源时特别重要。没有它,我们将面临处理反机器人机制、频繁的来源变化和持续维护抓取脚本开销的复杂性。这种手动方法往往导致数据不一致、失败率更高和处理延迟显著,所有这些都可能影响下游 AI 分析的质量。
通过集成验证节点,我们的解决方案获得了可靠性、速度和可维护性。该节点抽象了网络数据提取的操作负担,使我们能够专注于提取见解、使用 AI 摘要市场情感并生成可执行的内容。因此,Bright Data 将一个可能容易出错且劳动密集的过程转变为无缝、可扩展的工作流。
参与这个黑客松的经历令人兴奋异常,因为这是我第一次使用 n8n 和 Bright Data。我首先花了数小时观看 n8n 视频。由于 n8n 是一个低代码解决方案,我最初的方法是直接跳入构建——但我很快意识到我缺乏基础知识,在几小时后惨遭失败。虽然它旨在加速开发,但掌握基础知识是必不可少的。
然后我以高速通过了 YouTube 上的 n8n 初学者课程,并通过使用自由可得的模板构建小项目来进行实践补充。我对 Bright Data 采取了类似的方法,通过小项目实验来熟悉其功能。
一旦我对这两个工具都有信心,我定义了我的问题陈述:在几秒内捕获华尔街情感分析。开发这个股市情感工作流既具有挑战性又令人满足。初始目标是可靠地捕获实时投资者情感,并将其转化为由 AI 驱动的可执行见解。一个主要的障碍是处理动态网络内容,特别是来自 Google AI Search 等经常更改和阻止自动化请求的来源。没有强大的解决方案,抓取将是缓慢的、容易出错且难以维护的。
集成 Bright Data 的验证节点改变了局面。它提供了一种安全、合规且可扩展的方式来触发数据集快照、监控进度并轻松检索结构化结果。这消除了手动管理代理、IP 轮换和反机器人措施的需要。
处理大量非结构化文本数据是另一个挑战。利用 Google Gemini(PaLM)进行摘要,使我们能够将原始响应转换为简洁、高质量的 200 字博客文章。将 Bright Data 的可靠性与 AI 驱动的摘要相结合,简化了工作流并大大降低了操作复杂性。
由于 Bright Data 无法直接添加为 Agent 工具,我创建了两个单独的工作流:一个从在线内容收集情感,另一个从 x.com 上的用户收集情感。我花了一些时间来解决这个问题,但一旦实现,完成项目变得快得多。
这个黑客松的一个主要亮点是涉及来自佩拉德尼亚大学的学生。在代码到云培训计划中,我决定在主黑客松内部运行迷你黑客松,向学生介绍 n8n 和 Bright Data。我们在星期五启动了它(还有两天的时间),进行了示例项目的演讲,然后让学生开发他们自己的工作流。到目前为止,一名学生已提交了他们的项目,我预期随着截止日期的临近会有更多提交。为了使其更加令人兴奋,我们为交付强项目的学生提供了两张 AWS Community Day Sri Lanka 的免费门票。
查看我在 YouTube 上关于 n8n 和 BrightData 的快速概览视频:
这段经历强化了自动化、可扩展性和强大集成的价值,使我能够专注于见解而不是基础设施。使用 n8n 令人赋能,能够快速开发 Agent 解决方案,而 Bright Data 极大地简化了网络数据收集。总的来说,我获得了深入的技术知识,构建了一个功能性的股票情感工作流,并成功运行了一个黑客松内的黑客松,激励了下一代技术爱好者。我不能要求更充实的体验。
如需进一步行动,您可能考虑屏蔽此人和/或举报滥用行为