基于Playwright的网页抓取OpenClaw技能,具备反机器人防护功能,已在Discuss.com.hk等复杂网站上成功测试
基于Playwright的网页抓取OpenClaw技能,具备反机器人防护功能,已在Discuss.com.hk等复杂网站上成功测试
无需API密钥即可搜索网络并阅读网页内容。适用于需要通过DuckDuckGo、Brave或Google进行多页搜索、从URL中提取可读文本、使用带有标签页的持久可见浏览器进行交互式浏览(支持点击、截图、文本搜索)、下载文件或PDF、以及关闭Cookie横幅等场景。支持JSON、Markdown和文本输出,基于Playwright + Chromium驱动。
从任何网页中提取结构化数据。支持 CSS 选择器、自动识别表格和列表,输出格式为 JSON/CSV。当需要爬取网站、从页面提取数据、抓取产品信息、收集联系信息或从 URL 汇总列表时使用。
通过 Playwright MCP 服务器实现浏览器自动化,支持导航网站、点击元素、填写表单、提取数据、截取屏幕截图以及执行完整的浏览器自动化流程
使用 Node.js 脚本配合 Playwright 实现快速浏览器自动化(通过 `node script.mjs` 运行),适用于网页抓取、截图、表单自动化及任何需要程序化控制的浏览器任务。若只需简单获取页面内容而无需执行 JavaScript,请优先使用 web_fetch;若希望在不编写代码的情况下进行交互式命令行浏览,请使用 browser tool 或 playwright-cli。此技能适合需要完全控制、自定义逻辑或可复用脚本的场景。
使用 Decodo Scraper OpenClaw 技能搜索谷歌、抓取网页、亚马逊产品页面、YouTube 字幕或 Reddit 帖子/子版块
使用 Readability 和 Turndown 将 HTML 页面转换为简洁、适合代理使用的 Markdown 格式,自动移除导航栏、广告、页脚、Cookie 弹窗和社会化操作按钮。支持通过 URL 获取、本地文件、标准输入、令牌配额管理和输出选项。适用于代理工作流中的研究任务、内容提取和网页抓取。
当用户需要与任何网站交互时启用,适用于浏览器自动化、网页爬取、截图、表单填写、UI测试、监控或构建AI代理。提供经过验证的页面操作步骤和经过测试的选择器。