基于人工智能的网页抓取框架，用于从网站中提取结构化数据。当Codex需要通过AI解析技术爬取、抓取或提取网页数据、处理动态内容或应对复杂HTML结构时使用。

通过 Playwright MCP 服务器实现浏览器自动化，可导航网站、点击元素、填写表单、提取数据、截取屏幕截图，并执行完整的浏览器自动化流程

一款高性能的深度网络爬取工程工具，基于容器化Docker+Crawlee（Playwright）环境，可突破YouTube和X/Twitter等复杂网站的防护机制，提供“拦截级别”的原始数据

通过 Playwright MCP 服务器实现浏览器自动化，可导航网站、点击元素、填写表单、提取数据、截取屏幕截图并执行完整的浏览器自动化流程

通过HARPA AI Grid REST API自动化网页浏览器、抓取页面、搜索网络并在实时网站上运行AI提示

基于Playwright的网页抓取OpenClaw技能，具备反爬虫保护功能，已在Discuss.com.hk等复杂网站上成功测试

使用 Scrapling 进行网页抓取——这是一个 Python 框架，具备反机器人绕过功能（如 Cloudflare Turnstile 和指纹伪装）、自适应元素追踪、隐形无头浏览器以及完整的 CSS/XPath 数据提取能力。当 web_fetch 失败时（如遇到 Cloudflare 防护或 JavaScript 渲染页面），或需要从网站提取结构化数据（价格、文章、列表等）时使用。支持 HTTP 模式、隐形模式和完整浏览器模式。来源：github.com/D4Vinci/Scrapling（PyPI：scrapling）。仅在获得授权的网站上使用。

抓取网址并将网页转换为干净的 Markdown 格式，用于 AI 处理或知识库。适用于：（1）研究网页内容，（2）构建知识库，（3）提取文章，（4）转换页面用于文档

利用AI将任何网页转换为结构化JSON数据，爬取网站内容并提取至自定义JSON模式，同时可编程调用已保存的API，适用于网页爬取、数据提取、内容监控、潜在客户开发、价格追踪和构建数据管道