首页 >科技周边 >人工智能 >再见熊猫:FireDucks提供125倍的性能

再见熊猫:FireDucks提供125倍的性能

Joseph Gordon-Levitt
Joseph Gordon-Levitt原创
2025-03-09 10:54:14777浏览

通过FireDucks增压您的数据工作流程:Python库125倍比Pandas

快。

您是否厌倦了无休止的等待大熊猫处理大量数据集? 在快速的数据科学世界中,效率是关键。 随着数据集变得更大和越来越复杂,对更快的处理工具的需求变得至关重要。 由NEC开发的革命性Python图书馆FireDucks提供了一种解决方案,其速度的速度比Pandas快125倍。 这使其成为数据科学家,分析师和开发人员的宝贵资产。

> 目录的

>

什么是fireducks?
  • >性能基准
  • > figeducks vs. pandas:一种实用的比较
  • >步骤1:导入库
    • >步骤2:生成样本数据
    • 步骤3:创建FireDucks DataFrame
    • 步骤4:计时熊猫执行
    • 步骤5:定时fireeducks执行
    • >步骤6:性能比较
    fireducks的关键优势
  • >有用的资源
  • 常见问题
  • 什么是fireducks?
FireDucks是一个高性能的Python库,旨在简化数据分析。 利用NEC在高性能计算方面的广泛专业知识,Fireducks提供了出色的速度和效率。

燃油速度:

实现的速度比熊猫快125倍。
  • >无缝兼容性:使用熟悉的pandas api,最小化代码更改。
  • 智能优化:采用懒惰评估来优化操作并节省资源。
  • >性能基准 使用DB基准测试了
  • > FireDucks的性能,DB基准是一种基准套件,评估了不同尺寸的数据集中的核心数据科学操作(如加入和GroupBys)。 截至2024年9月10日,FireDucks表现出卓越的性能,巩固了其作为Groupby的最佳表现的地位,并在大型数据集上加入运营。

有关详细的基准结果,请访问Goodbye Pandas: FireDucks Offers 125x Faster Performance>官方结果链接

  • 综合基准详细信息可在>基准测试详细信息链接
  • > figeducks vs. pandas:一种实用的比较 >让我们使用现实世界的场景比较Fireducks和Pandas。我们将加载数据,过滤,执行集团操作和汇总,突出显示Fireducks的速度优势。
  • >步骤1:导入库

import pandas as pd
import fireducks.pandas as fpd
import numpy as np
import time

>步骤2:生成样本数据

num_rows = 10_000_000
df_pandas = pd.DataFrame({
    'A': np.random.randint(1, 100, num_rows),
    'B': np.random.rand(num_rows),
})

这将创建一个带有1000万行的pandas dataframe(df_pandas),其中包含随机整数(列'a')和浮点数(列'b')。

>

步骤3:创建FireDucks DataFrame

df_fireducks = fpd.DataFrame(df_pandas)

PANDAS DATAFRAME将转换为FireDucks DataFrame(df_fireducks)。

步骤4:计时熊猫执行

start_time = time.time()
result_pandas = df_pandas.groupby('A')['B'].sum()
pandas_time = time.time() - start_time
print(f"Pandas execution time: {pandas_time:.4f} seconds")
这衡量了pandas dataframe上的集体操作所花费的时间。

步骤5:定时fireeducks执行

start_time = time.time()
result_fireducks = df_fireducks.groupby('A')['B'].sum()
fireducks_time = time.time() - start_time
print(f"FireDucks execution time: {fireducks_time:.4f} seconds")
这将在FireDucks DataFrame上执行相同的组件操作并测量其执行时间。

>步骤6:性能比较

speed_up = pandas_time / fireducks_time
print(f"FireDucks is approximately {speed_up:.2f} times faster than pandas.")
这可以计算并打印熊猫上的射击的速度提高。>

fireducks的关键优势

  • 广泛的平台支持:在Linux,Windows(通过WSL)和MacOS。
  • 轻松的过渡:
  • 熟悉的pandas api确保了平稳的学习曲线。
  • >自动化效率:
  • 懒惰评估和自动优化手柄幕后的性能。
  • >有用的资源

Q1。 Fireducks与Pandas兼容吗?

Q2。可以在Windows上使用FireDucks吗?

Q3。 FireDucks与Polars或Dask相比如何?

A. FireDucks由于其懒惰的评估和自动优化而在性能和易用性方面表现出色。>

Q4。 Fireducks是免费的吗?付费计划提供扩展的功能。

记住将替换为实际链接。

>

以上是再见熊猫:FireDucks提供125倍的性能的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn