从 Playwright 脚本到 Hermes Agent：我踩过的坑

上周我接了个活儿：帮一个做跨境电商的朋友抓取亚马逊某个类目的商品价格和库存状态。他的要求是每天跑三次，数据落库，价格变动超过 5% 就发邮件提醒。我一开始想用 Playwright 写个 Python 脚本，跑起来倒是没问题，但第三天就翻车了——亚马逊的验证码弹出来了，脚本直接卡死，那天一整天数据都是空的。 后来我把整个流程拆开来看，发现这个任务里最耗时间的不是写脚本本身，而是处理各种边界情况：页面加载慢、元素定位失败、弹出的 Cookie 同意框、偶发的登录态失效。每一个都要单独写 try-except，再配合重试逻辑，代码量翻了一倍还多。我意识到自己其实是在重复造轮子，于是开始找现成的方案。 我试了 Browser-use 这个开源项目，它用自然语言描述任务，底层调用 Playwright 控制浏览器。第一次跑确实惊艳，我说"打开亚马逊，搜索 wireless mouse，抓取前 10 个商品的标题和价格"，它真的自己一步步操作完成了。但用了几次后发现几个问题：一是每次对话都要重新加载模型，API 费用不低；二是它的错误恢复能力有限，遇到验证码基本就放弃了；三是没有内置的调度机制，定时任务还得自己写 cron。 后来我翻到 Hermes Agent 的文档，发现它自带浏览器自动化能力，而且和 Playwright 不同，它把浏览器操作封装成了可复用的技能（skill）。我 pip install hermes-agent 装好后，直接用 hermes browser open 命令打开页面，再用 hermes browser extract 抓取数据。最让我意外的是它内置了验证码识别模块——虽然不是 100% 能过，但至少有了处理策略，不像之前那样直接崩溃。 如果你也在考虑做浏览器自动化，我建议先别急着写代码，把需求拆清楚：你是要一次性抓取，还是持续监控？页面结构会不会频繁变动？是否需要登录态？这些决定了你该选轻量脚本还是 Agent 框架。我自己现在的工作流是：简单的、一次性的任务用 Playwright 直接写，复杂的、需要长期维护的用 Hermes Agent 的技能机制来管理。

Playwright 与 Hermes Agent：两条路线的真实对比

Playwright 是微软开源的浏览器自动化库，支持 Chromium、Firefox 和 WebKit。它的定位是给开发者提供精细控制的 API，你可以用 `page.click()`、`page.fill()` 这种命令精确操作页面元素。我之前的爬虫脚本里有一段是这样的： ```python from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch(headless=False) page = browser.new_page() page.goto("https://www.amazon.com") page.fill("#twotabsearchtextbox", "wireless mouse") page.keyboard.press("Enter") page.wait_for_selector("[data-component-type='s-search-result']") titles = page.locator("h2 span").all_inner_texts() prices = page.locator(".a-price-whole").all_inner_texts() ``` 这段代码跑得很顺，但问题出在稳定性上。亚马逊的页面结构偶尔会调整，比如某个 class 名从 `.a-price-whole` 变成了 `.a-price .a-offscreen`，脚本就抓不到数据了。我花了一个下午排查，最后发现是前端改版了。这种维护成本是持续性的，每次页面变动都要手动改选择器。 Hermes Agent 的做法不一样。它把浏览器操作封装成了自然语言接口，你告诉它"抓取当前页面所有商品的价格"，它会自己分析 DOM 结构，生成对应的操作序列。我实际测试了一下，它的抓取逻辑比手动写选择器要鲁棒得多——即使 class 名变了，它也能通过文本内容或相对位置来定位元素。 但 Hermes 也有它的短板。它的响应速度比直接调用 Playwright API 慢，因为中间多了一层 LLM 推理。我用同一台机器测试，Playwright 抓取 100 个商品耗时约 8 秒，Hermes 跑同样的任务要 25 秒左右。另外，如果你的需求非常具体，比如要点击某个特定按钮然后等待特定元素出现，Playwright 的确定性会更好——你完全知道每一步在做什么。 我的建议是：如果你是开发者，喜欢精确控制，选 Playwright；如果你是非技术背景，或者任务描述比代码实现更清晰，选 Hermes Agent。还有一个折中方案：用 Playwright 做底层的稳定操作，用 Hermes 做决策逻辑。比如 Hermes 负责分析页面判断下一步动作，然后调用 Playwright 执行。我现在的爬虫就是这么搭的，两边各取所长。

配置 Hermes Agent：从安装到跑通第一个自动化任务

Hermes Agent 的安装比我想象中简单。我用的 Python 3.10 环境，直接跑 `pip install hermes-agent`，依赖会自动装好，包括 Playwright 浏览器内核。装完后需要初始化配置，执行 `hermes init`，会在 `~/.hermes/` 下生成 config.yaml 文件。我打开这个文件，把默认的浏览器设置改成了 headless 模式，因为服务器上没显示器： ```yaml browser: headless: true default_timeout: 15000 user_agent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" ``` 第一次跑自动化任务，我用的命令是 `hermes browser open "https://example.com"`，它启动了一个 Chromium 实例，命令行里能看到实时的 DOM 状态输出。然后我试了 `hermes browser extract "h1 的文本内容"`，它返回了页面的标题。整个过程像在跟一个会操作浏览器的人对话。 但真正跑起来后我遇到了一个报错：`TimeoutError: Page took too long to load`。原因是我访问的那个站点在国外，网络延迟高。我查了文档，发现可以通过 `hermes config set browser.default_timeout 30000` 把超时时间调大。改完后问题解决了，但这也提醒我，网络环境对浏览器自动化的影响很大，建议在配置里把超时调得宽裕一些。 Hermes 的技能（skills）机制是我最喜欢的部分。它允许你把常用的操作序列保存成可复用的模块。我写了一个技能叫 `amazon_scrape`，内容是"打开亚马逊搜索页，输入关键词，点击搜索，提取结果列表"。保存到 `~/.hermes/skills/amazon_scrape.yaml` 后，每次只需要执行 `hermes skill run amazon_scrape --keyword "wireless mouse"` 就能一键跑完整流程。这个技能文件是 YAML 格式，里面可以定义参数和操作步骤，非常灵活。 跑通第一个任务后，我又试了它的 memory 功能。用 `hermes memory add "亚马逊商品页面结构：标题在 h2 span 内，价格在 .a-price-whole"` 记录页面特征，下次再抓同样的站点，Hermes 会优先参考这些记忆，定位元素的准确率明显提升。这个功能对长期监控任务特别有用——即使页面改版了，只要记忆里有旧结构的信息，它也能更快适应。

用 Hermes cron 做定时抓取：我踩过的坑和解决方案

手动跑脚本不算本事，能定时自动跑才是自动化。Hermes 内置了 cron 调度，命令是 `hermes cron create`。我试了一下，语法很直观： ```bash hermes cron create "amazon_price_check" "*/30 * * * *" "hermes skill run amazon_scrape --keyword wireless mouse" ``` 这个命令创建了一个每 30 分钟执行一次的任务，运行 `amazon_scrape` 技能。第一次测试时我没注意输出重定向，导致日志全打在终端里，关掉 SSH 连接就中断了。后来我加了个 `--output-file` 参数，把结果写到 `~/logs/amazon_price.log`，这样即使断开连接，任务也能在后台跑完。 但定时任务有个隐藏问题：环境变量。cron 运行时的 PATH 和当前 shell 不一样，可能会找不到 `hermes` 命令。我遇到的情况是任务报了 `command not found: hermes`。解决方法是把 hermes 的绝对路径写进 cron 命令里，或者先 `export PATH=$PATH:/usr/local/bin` 再执行。我用的是 `which hermes` 查出完整路径，然后在 cron 配置里写死。 另一个坑是并发冲突。我有两个 cron 任务同时跑，都去抓同一个站点的数据，结果触发了站点的反爬机制，IP 被临时封了。后来我调整了策略，给每个任务加上了随机延迟，用 `hermes config set cron.jitter 30` 让每次执行时间随机偏移 0-30 秒，避免了同时请求的问题。 数据存储这块，Hermes 默认把抓取结果存成 JSON 文件，但我要落库，所以写了个回调脚本。在 cron 创建时用 `--on-success "python3 /path/to/save_to_db.py"` 指定成功后的处理逻辑。我的保存脚本读 JSON 文件，解析字段后插入 MySQL 表，整个过程跑得很稳。 有一件事要特别提醒：定时任务的错误通知。默认情况下，Hermes 只在日志里记录错误，不会主动通知你。我在 config.yaml 里加了 webhook 配置，错误信息会推送到企业微信，这样出问题我能第一时间知道。配置片段如下： ```yaml notifications: webhook_url: "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=YOUR_KEY" on_error: true ```

让 AI 自己写抓取技能：从自然语言到可执行代码

Hermes Agent 最让我惊喜的能力是它可以根据自然语言描述直接生成技能。我说"帮我写一个技能，打开京东商城，搜索 iPhone 15，把搜索结果页前 5 个商品的名称和价格存到 CSV"，它自动生成了对应的 YAML 技能文件，包含了选择器、等待条件和数据提取逻辑。 生成的代码质量出乎意料地好。它用的是 CSS 选择器加 XPath 混合的方式，我检查了一下，几乎不需要修改就能直接运行。而且它自动处理了京东的懒加载机制——滚动页面后才提取数据，这个细节我没想到，它自己加上去了。 不过生成技能也不是万能的。有一次我让它抓取一个需要登录的网站，它生成的技能里包含了登录步骤，但用的是占位符账号密码，我需要在技能文件里手动替换成真实凭证。还有一次它选择了错误的元素，因为页面上有两个相似的按钮，它没区分清楚。这种情况下，我会手动修改 YAML 里的选择器，或者用 `hermes skill edit ` 进入交互式编辑模式。 我的经验是，让 AI 生成技能时，描述越具体越好。不要只说"抓取商品信息"，要说明你要的字段、页面结构特点、是否需要翻页。比如我这样写："抓取搜索结果页，每个商品包含标题、价格、评分、评论数四个字段，价格在 class 为 price 的 div 内，标题在 h5 标签内。需要翻页，总共翻 3 页。" 这样生成的技能几乎不需要调整。 还有一个小技巧：生成完技能后，先用 `hermes skill test ` 跑一次测试模式，它会输出每一步的操作和提取结果，方便你确认逻辑是否正确。我每次都会跑这个测试，确认无误后再挂到 cron 上。 从 Playwright 脚本转到 Hermes Agent，我的代码量减少了大概 70%，维护成本也直线下降。之前每个页面变动都要手动改选择器，现在只需要改技能文件里的描述，或者让 AI 重新生成一次就行。虽然它还不是万能的，但已经能覆盖大部分日常的浏览器自动化需求。

💬 你用过哪些AI工具？

兄弟，写这篇教程的时候我又去翻了下自己电脑上装的各种 AI 工具，从 Playwright 脚本到 Hermes Agent，折腾了一圈下来，最大的感受是：工具永远在迭代，但解决问题的思路是通用的。 你现在用的是什么浏览器自动化方案？是纯手写代码，还是用了我上面提到的 Hermes Agent，或者有其他更好用的工具？我最近在 AI House 排行榜（aibunkhouse.com/rankings/）上看到好多关于浏览器自动化工具的最新排名和用户评测，里面有各种 AI 工具的真实使用体验，包括一些我都没听说过的冷门项目。而且那个排行榜上还能直接给工具投票，支持一下你觉得好用的。 我准备下一步把 Hermes Agent 和我现有的数据报表系统打通，让抓取的数据直接生成可视化图表。你们有没有类似的需求？或者遇到过什么特别难搞的自动化场景？评论区聊聊，咱们交流一下踩坑经验。说不定你的问题就是我下一个教程的主题。