用于处理超出内存大小的pandas/NumPy工作流的分布式计算。当您需要将现有的pandas/NumPy代码扩展到超出内存范围或跨集群运行时使用。最适合并行文件处理、分布式机器学习以及与现有pandas代码的集成。若需在单机上进行外存分析，请使用vaex；若需内存内高速运算，请使用polars。

在开始任何计算密集型科学任务之前，应使用此技能来检测并报告可用的系统资源（CPU核心、GPU、内存、磁盘空间）。它会生成一个包含资源信息和策略性建议的JSON文件，以指导计算方法的选择，例如是否使用并行处理（joblib、multiprocessing）、外存计算（Dask、Zarr）、GPU加速（PyTorch、JAX）或内存高效策略。在运行分析、训练模型、处理大型数据集或任何受资源限制影响的任务之前，请先使用此技能。

适用于内存中数据集的高性能内存DataFrame库。当pandas速度过慢但数据仍可放入内存时使用。采用惰性求值、并行执行和Apache Arrow后端，最适合1-100GB的数据集、ETL管道，可作为pandas的更快替代方案。对于超过内存容量的数据，请使用dask或vaex。

使用此技能处理和分析超出可用内存的大型表格数据集（数十亿行）。Vaex 在外部存储 DataFrame 操作、惰性求值、快速聚合、大数据高效可视化以及大规模数据集的机器学习方面表现卓越。当用户需要处理大型 CSV/HDF5/Arrow/Parquet 文件、对海量数据集进行快速统计分析、创建大数据可视化图表，或构建无法完全装入内存的机器学习流水线时，适用于此场景。