FireDucks：以零學習成本獲得超越 pandas 的效能！

Pandas 是最受歡迎的庫之一，當我在尋找一種更簡單的方法來加速其性能時，我發現了 FireDucks 並對它產生了興趣！

與 pandas 的比較：為什麼選擇 FireDucks？

Pandas 程式可能會遇到嚴重的效能問題，這取決於其編寫方式。然而，作為一名數據科學家，我想花越來越多的時間分析數據，而不是提高程式碼效能。因此，如果它能夠執行諸如交換進程順序並自動加速程式效能之類的事情，那就太好了。例如，Process A => Process B 會比較慢，所以我們將其替換為 Process B => Process A。 （當然，結果保證是一樣的。）據說資料科學家花了大約他們 45% 的時間都在準備數據，當我考慮做一些事情來加速這個過程時，我遇到了一個名為 FireDucks 的模組。

從 FireDucks 文件來看，它似乎只支援 Linux 平台。由於我在我的主機上使用 Windows，所以我想從 WSL2（Windows Subsystem for Linux）嘗試一下，這是一個可以在 Windows 上運行 Linux 的環境。

我嘗試的環境如下

• 作業系統 Microsoft Windows 11 Pro
• 版本 10.0.22631 內部版本 22631
• 系統型號 Z690 Pro RS
• 系統類型基於 x64
• PC 處理器第 12 代 Intel(R) Core(TM) i3–12100、3300 Mhz、4 核心、8 個邏輯處理器
• 底板產品 Z690 Pro RS
• 平台角色桌面
• 安裝的實體記憶體 (RAM)64.0 GB

安裝和配置 FireDucks

安裝 WSL

WSL 是在以下 Microsoft 文件的幫助下安裝的； Linux 發行版是 Ubuntu 22.04.1 LTS。

安裝 FireDucks

然後實際安裝FireDucks。不過安裝起來非常簡單。
pip install fireducks

安裝 FireDucks（以及 pyarrow、pandas 和其他函式庫）需要幾分鐘時間。

我嘗試執行下面的程式碼，載入速度非常快，pandas 花了 4 秒，fireDucks 只花了 74.5 ns。

# 1. analysis based on time period and creative duration
# convert timestamp to date/time object
df['timestamp_converted'] = pd.to_datetime(df['timestamp'], unit='s ')

# define time period 
def get_part_of_day(hour): 
  if 5 



<p>所有這些數據預處理和分析在 pandas 中大約需要 8 秒，而使用 FireDucks 時可以在 4 秒內完成。幾乎可以實現 2 倍的速度。 </p>

<h4>
  
  
  提高性能
</h4>

<p>使用pandas最有壓力的事情之一是載入大數據集時的等待，然後我必須等待像groupby這樣的複雜操作。另一方面，由於FireDucks進行惰性評估，加載本身根本不需要時間，因此在需要的地方進行處理，我覺得這非常重要，大大減少了總等待時間。 </p>

<p>至於其他性能，據該組織官方宣布，與 pandas 相比，似乎已經實現了高達 16 倍的速度提升。 （下次我會與各個競爭庫進行效能比較。）</p>

<p><img src="/static/imghwm/default1.png" data-src="https://img.php.cn/upload/article/000/000/000/172790778456832.jpg?x-oss-process=image/resize,p_40" class="lazy" alt="FireDucks: Get performance beyond pandas with zero learning cost!"></p>

<h2>
  
  
  零學習成本
</h2>

<p>能夠遵循精確的 pandas 符號而無需考慮任何事情是一個巨大的優勢。除了FireDucks之外，還有其他資料幀加速庫，但它們學習成本太高，而且太容易被遺忘。 </p>

<p>例如，如果你想加入有極座標的列，你必須這樣寫。 <br>
</p>

<pre class="brush:php;toolbar:false">
# pandas df["new_col"] = df["A"] + 1
# polars 
df = df.with_columns((pl.col("A") + 1).alias("new_col"))

幾乎不需要更改現有程式碼

我有幾個使用 pandas 的 ETL 和其他項目，如果僅透過安裝 FireDucks 並替換 import 語句就能看到效能改進，那就太好了。

如果您想進一步添加，請隨時在下面評論。

以上是FireDucks：以零學習成本獲得超越 pandas 的效能！的詳細內容。更多資訊請關注PHP中文網其他相關文章！