通过 UnSearch API 搜索网络、抓取内容并进行深度研究,适用于用户需要实时网页搜索结果、从网址提取内容、事实验证或为 AI 代理、RAG 流程和 LLM 应用进行多来源研究的场景
通过 UnSearch API 搜索网络、抓取内容并进行深度研究,适用于用户需要实时网页搜索结果、从网址提取内容、事实验证或为 AI 代理、RAG 流程和 LLM 应用进行多来源研究的场景
抓取网址并将网页转换为干净的 Markdown 格式,用于 AI 处理或知识库。适用于:(1)研究网页内容,(2)构建知识库,(3)提取文章,(4)转换页面用于文档
利用AI将任何网页转换为结构化JSON数据,爬取网站内容并提取至自定义JSON模式,同时可编程调用已保存的API,适用于网页爬取、数据提取、内容监控、潜在客户开发、价格追踪和构建数据管道
基于Playwright的网页抓取OpenClaw技能,具备反机器人防护功能,已在Discuss.com.hk等复杂网站上成功测试
无需API密钥即可搜索网络并阅读网页内容。适用于需要通过DuckDuckGo、Brave或Google进行多页搜索、从URL中提取可读文本、使用带有标签页的持久可见浏览器进行交互式浏览(支持点击、截图、文本搜索)、下载文件或PDF、以及关闭Cookie横幅等场景。支持JSON、Markdown和文本输出,基于Playwright + Chromium驱动。
通过抓取 DuckDuckGo 的 HTML 页面进行免费本地网页搜索,无需 API 密钥。在 web_search 工具不可用或缺少 API 密钥时使用,支持快速查询结果、来源信任评分、重试与退避机制,以及适用于管道的 JSON 输出格式
从任何网页中提取结构化数据。支持 CSS 选择器、自动识别表格和列表,输出格式为 JSON/CSV。当需要爬取网站、从页面提取数据、抓取产品信息、收集联系信息或从 URL 汇总列表时使用。
使用puppeteer-extra配合隐身插件,并可选支持住宅代理,实现规避机器人检测、CAPTCHA和IP封锁的网页浏览。适用于以下场景:(1)网站屏蔽无头浏览器或数据中心IP;(2)需要绕过Cloudflare或Vercel防护;(3)访问检测自动化行为的网站(如Reddit、Twitter/X、注册流程);(4)爬取受保护内容;(5)执行需要模拟人类行为的网页自动化任务。
通过 Playwright MCP 服务器实现浏览器自动化,支持导航网站、点击元素、填写表单、提取数据、截取屏幕截图以及执行完整的浏览器自动化流程