如何處理 Pandas 的 Dtype 警告：Low_Memory 和 Dtype 選項？

使用Low_Memory 和Dtype 選項解決Pandas 的Dtype 警告

使用pd.read_csv('somefile.csv') 使用Pandas 載入CSV 檔案時，您可能會遇到到警告：

DtypeWarning: Columns (4,5,7,16) have mixed types. Specify dtype option on import or set low_memory=False.

Low_Memory：已棄用的概念

low_memory 選項已過時，沒有功能影響。其目的是透過防止類型推斷來減少文件解析期間的記憶體使用。然而，它現在沒有什麼不同。

為什麼 Low_Memory=False 可能有幫助？

出現警告是因為猜測每列的資料型別是資源密集的。 Pandas 透過分析整個文件來確定資料類型。如果沒有明確定義資料類型，則在讀取完整文件之前無法開始解析。

為什麼定義資料型別至關重要

指定資料型別（例如 dtype={'user_id': int}）通知 Pandas關於預期的資料類型，使其能夠立即開始解析。

pd.read_csv('somefile.csv', dtype={'user_id': int})

定義資料型別可以避免遇到無效資料型別（例如整數列中的「foobar」）時發生錯誤。

了解Pandas 資料類型

Pandas 支援各種資料類型，包括：

• Numpy 資料類型：float、int、bool、timedelta64[ns]、datetime64 [ns]

• Pandas 特定：

  • datetime64[ns,
  ]：時區感知時間戳
  • 類別：用整數表示的枚碼舉
  • period[] ：時間段
  • Sparse[int]、Sparse[float]：缺失值的資料
  • 間隔：索引
  • 🎜>
  間隔：可圖整數：Int8、Int16、Int32、Int64、UInt8 , UInt16, UInt32, UInt64
  • 字串：存取.str 屬性
  • 布林值：支援缺失資料

注意事項

• 設定dtype=object 會抑制警告，但不會提高記憶體效率。
• 設定 dtype=unicode 無效，因為 Numpy 將 unicode 表示為物件。

替代方案：使用轉換器

使用轉換器來處理潛在的無效資料（例如，整數列中的「foobar」）。然而，轉換器速度慢且效率低，因此請謹慎使用。

以上是如何處理 Pandas 的 Dtype 警告：Low_Memory 和 Dtype 選項？的詳細內容。更多資訊請關注PHP中文網其他相關文章！