Research & Science
v1.0.0
用于处理超出内存大小的pandas/NumPy工作流的分布式计算。当您需要将现有的pandas/NumPy代码扩展到超出内存范围或跨集群运行时使用。最适合并行文件处理、分布式机器学习以及与现有pandas代码的集成。若需在单机上进行外存分析,请使用vaex;若需内存内高速运算,请使用polars。
用于处理超出内存大小的pandas/NumPy工作流的分布式计算。当您需要将现有的pandas/NumPy代码扩展到超出内存范围或跨集群运行时使用。最适合并行文件处理、分布式机器学习以及与现有pandas代码的集成。若需在单机上进行外存分析,请使用vaex;若需内存内高速运算,请使用polars。
在开始任何计算密集型科学任务之前,应使用此技能来检测并报告可用的系统资源(CPU核心、GPU、内存、磁盘空间)。它会生成一个包含资源信息和策略性建议的JSON文件,以指导计算方法的选择,例如是否使用并行处理(joblib、multiprocessing)、外存计算(Dask、Zarr)、GPU加速(PyTorch、JAX)或内存高效策略。在运行分析、训练模型、处理大型数据集或任何受资源限制影响的任务之前,请先使用此技能。