关键词按回车检索;分类和排序切换自动检索 关键词回车检索;分类/排序自动检索
符合当前检索条件的共有 3 个
Research & Science v1.0.0

dask

K-Dense Inc.

用于处理超出内存大小的pandas/NumPy工作流的分布式计算。当您需要将现有的pandas/NumPy代码扩展到超出内存范围或跨集群运行时使用。最适合并行文件处理、分布式机器学习以及与现有pandas代码的集成。若需在单机上进行外存分析,请使用vaex;若需内存内高速运算,请使用polars。

浏览量14 下载量13 查看
Research & Science v1.0.0

在开始任何计算密集型科学任务之前,应使用此技能来检测并报告可用的系统资源(CPU核心、GPU、内存、磁盘空间)。它会生成一个包含资源信息和策略性建议的JSON文件,以指导计算方法的选择,例如是否使用并行处理(joblib、multiprocessing)、外存计算(Dask、Zarr)、GPU加速(PyTorch、JAX)或内存高效策略。在运行分析、训练模型、处理大型数据集或任何受资源限制影响的任务之前,请先使用此技能。

浏览量13 下载量15 查看
Research & Science v1.0.0

vaex

K-Dense Inc.

使用此技能处理和分析超出可用内存的大型表格数据集(数十亿行)。Vaex 在外部存储 DataFrame 操作、惰性求值、快速聚合、大数据高效可视化以及大规模数据集的机器学习方面表现卓越。当用户需要处理大型 CSV/HDF5/Arrow/Parquet 文件、对海量数据集进行快速统计分析、创建大数据可视化图表,或构建无法完全装入内存的机器学习流水线时,适用于此场景。

浏览量40 下载量32 查看