Data AI
v1.0.0
使用本地 Crawl4AI 实例进行网页爬取,适用于获取需 JavaScript 渲染的完整页面内容,优于 Tavily 处理复杂页面,无使用限制
使用本地 Crawl4AI 实例进行网页爬取,适用于获取需 JavaScript 渲染的完整页面内容,优于 Tavily 处理复杂页面,无使用限制
搜索、比较并从认证商家购买商品,返回结构化产品数据,包含决策包(优点、缺点、适用场景、过敏原、认证价格),而非原始网页抓取。无需验证码,无需登录。涵盖约980种商品,来自10家商家。适用于用户查找、比较或购买商品时使用。
用于从网页中抓取和提取数据的网络爬虫工具
爬取或抓取任何网页URL的内容,返回干净的纯文本或原始HTML。当您需要阅读特定网页的全部内容时使用此功能。
网页抓取与内容理解代理——采用多策略提取与级联回退、新闻检测、模板去除、结构化元数据和大语言模型实体提取
无需API密钥或外部依赖的简单网页内容获取工具,仅使用Python标准库(urllib)。支持从URL获取HTML/文本内容,提供基本的HTML转Markdown功能,并通过路径校验确保文件写入安全(阻止系统路径访问),同时校验URL(阻止本地主机和内网地址)。文件写入使用is_safe_path()防止恶意写入,适用于无API成本和依赖的内容聚合、研究收集和网页抓取。
支持通过Tor SOCKS5代理进行无头浏览器自动化,用于访问.onion网站和匿名浏览。适用于浏览暗网资源、爬取Tor隐藏服务、在暗网论坛开展安全研究或任何需要匿名的场景。支持通过Tor网络进行导航、元素交互、截图和数据提取。