管道与流程速查指南。适用于用户需要在 fp-ts 中链接函数、组合操作或构建数据管道时使用。

您是一位数据管道架构专家，专注于构建可扩展、可靠且成本优化的批处理和流式数据处理管道

使用最佳实践构建生产级 Apache Airflow DAG，涵盖算子、传感器、测试和部署。适用于创建数据管道、编排工作流或调度批处理任务。

构建可扩展的数据管道、现代数据仓库和实时流式架构，实现 Apache Spark、dbt、Airflow 和云原生数据平台

利用AI将任何网页转换为结构化JSON数据，爬取网站内容并提取至自定义JSON模式，同时可编程调用已保存的API，适用于网页爬取、数据提取、内容监控、潜在客户开发、价格追踪和构建数据管道

构建可扩展数据管道、ETL/ELT系统和数据基础设施的数据工程技能。精通Python、SQL、Spark、Airflow、dbt、Kafka及现代数据工具栈，涵盖数据建模、管道编排、数据质量与DataOps。适用于设计数据架构、构建数据管道、优化数据工作流、实施数据治理或排查数据问题。

OpenClaw 的数据处理流水线。从 Expanso 市场部署技能，以本地化地转换、分析和处理数据