用 AI Agents 自动化求职信息采集
开发者分享用 n8n 和 AI agents 构建 LinkedIn 爬虫工具,演示 AI agents 在自动化任务中的实际应用
开发者分享用 n8n 和 AI agents 构建 LinkedIn 爬虫工具,演示 AI agents 在自动化任务中的实际应用
n8n 和 Bright Data 挑战:势不可挡的工作流
这是 n8n 和 Bright Data 驱动的 AI Agents Challenge 的参赛作品。
我的朋友 Ayush 在搜索 LinkedIn 职位,就像回到了 1999 年一样 - 打开 27 个浏览器标签页,把链接复制到一个混乱的 Word 文档中,抱怨"高薪"结果却少得可怜。我坐在那里想:我们能把火箭送到太空,却不能自动化职位搜索?所以我构建了 LinkedIn 职位查找自动化。你填写一份简单的表格,说出你想要的工作(城市、职位、国家、工作类型),它就会为你查找 LinkedIn 职位,并把它们放在 Google Sheets 中。不再需要查看数百个说"初级"却要求 10 年经验的职位发布。整个过程需要 3-5 分钟,而不是花费数小时手动浏览 LinkedIn 的无穷尽页面。
这是从表格提交到组织化 Google Sheet 的完整工作流:
完整工作流 JSON:LinkedIn 职位查找工作流。该工作流有 9 个节点,处理从用户输入到最终数据存储的所有事务。GitHub Gist 链接
Form Trigger Node - 不会问你整个人生故事的简单表格。只需城市、职位、国家、工作类型。
Snapshot ID Generator - 将你的搜索发送到 Bright Data 的 LinkedIn API。他们返回一个快照 ID(就像你的数据订单的收据)。
Status Polling Loop - 每分钟检查一次爬取是否完成。不得不添加延迟,因为我最初的 API 调用太频繁了。哎呀。
Data Extraction - 一旦准备好,获取所有职位详情 - 标题、公司、位置、描述、申请链接。
Smart Filtering - LinkedIn 的原始数据很混乱。这会清理它,让你只看到不会毁掉你灵魂的工作。
Google Sheets Integration - 所有内容都在电子表格中组织,格式比大多数简历都要好。
不需要 AI 模型 - 这是纯工作流自动化。无状态设计保持它简单。使用的工具:n8n、Bright Data、Google Sheets。
这完全拯救了我的项目。与其与 LinkedIn 的激进机器人检测对抗,不如让 Bright Data 处理所有爬取的噩梦。使其令人惊叹的原因:
Verified Node 自动处理身份验证、请求格式化和错误。我只需专注于工作流逻辑,而不是与 LinkedIn 的安全性对抗。
初步计划:访问 LinkedIn API,转储到电子表格。应该需要 2 小时,对吧?
现实检验:LinkedIn 没有公开的职位 API。网络爬取比看起来要难得多。我对速率限制一无所知。
在被阻止速度比垃圾邮件还快后,我发现了 Bright Data 的 Verified Node。改变了游戏规则。突然间,我从与反机器人措施对抗转变为构建实际功能。
用 Sarah 测试时紧张不安。第一次运行:4 分钟内获得 47 个相关职位。她从晚间 LinkedIn 马拉松式搜索转变为每日职位摘要。
真正的胜利:Ayush 通过这个自动化找到了他的新工作 - 一个周二早上 6 点的发布,他用手动搜索会错过的机会。
现在我的机器人在找机会,而我在会议中假装很有生产力。有时候,显而易见的问题需要显而易见的解决方案,只是没有人愿意去构建。
为厌倦了手动流程的人和拒绝自动化自己生活的朋友而建。
某些评论可能仅对已登录的访问者可见。登录以查看所有评论。
对于进一步的行动,你可能会考虑屏蔽此人和/或报告滥用。