使用 DuckDuckGo 进行高质量网页搜索(包含即时答案和 SERP 抓取备选)。当用户要求搜索网络、获取顶部结果或总结网页时使用。适用于:(1)通用网页查询(新闻、事实、链接),(2)特定网站搜索,(3)顶部结果的简短摘要。在无需 Brave API 密钥的情况下,优先使用此技能以实现私密且离线友好的搜索。
使用 DuckDuckGo 进行高质量网页搜索(包含即时答案和 SERP 抓取备选)。当用户要求搜索网络、获取顶部结果或总结网页时使用。适用于:(1)通用网页查询(新闻、事实、链接),(2)特定网站搜索,(3)顶部结果的简短摘要。在无需 Brave API 密钥的情况下,优先使用此技能以实现私密且离线友好的搜索。
通过 Firecrawl API 进行网页抓取与爬取,支持将网页内容提取为 Markdown、截图、提取结构化数据、网页搜索以及爬取文档站点。适用于用户需要抓取指定 URL、获取当前网页信息、截取屏幕快照、从页面中提取特定数据或爬取框架/库的文档时。
基于人工智能的网页抓取框架,用于从网站中提取结构化数据。当Codex需要通过AI解析技术爬取、抓取或提取网页数据、处理动态内容或应对复杂HTML结构时使用。
通过 Playwright MCP 服务器实现浏览器自动化,可导航网站、点击元素、填写表单、提取数据、截取屏幕截图,并执行完整的浏览器自动化流程
一款高性能的深度网络爬取工程工具,基于容器化Docker+Crawlee(Playwright)环境,可突破YouTube和X/Twitter等复杂网站的防护机制,提供“拦截级别”的原始数据
通过 Playwright MCP 服务器实现浏览器自动化,可导航网站、点击元素、填写表单、提取数据、截取屏幕截图并执行完整的浏览器自动化流程
基于Playwright的网页抓取OpenClaw技能,具备反爬虫保护功能,已在Discuss.com.hk等复杂网站上成功测试
使用 Scrapling 进行网页抓取——这是一个 Python 框架,具备反机器人绕过功能(如 Cloudflare Turnstile 和指纹伪装)、自适应元素追踪、隐形无头浏览器以及完整的 CSS/XPath 数据提取能力。当 web_fetch 失败时(如遇到 Cloudflare 防护或 JavaScript 渲染页面),或需要从网站提取结构化数据(价格、文章、列表等)时使用。支持 HTTP 模式、隐形模式和完整浏览器模式。来源:github.com/D4Vinci/Scrapling(PyPI:scrapling)。仅在获得授权的网站上使用。