Pandas の Dtype 警告を処理する方法: Low_Memory および Dtype オプション?

Low_Memory および Dtype オプションを使用した Pandas の Dtype 警告の解決

pd.read_csv('somefile.csv') を使用して Pandas で CSV ファイルをロードすると、次のような問題が発生する可能性があります。警告:

DtypeWarning: Columns (4,5,7,16) have mixed types. Specify dtype option on import or set low_memory=False.

Low_Memory: A非推奨のコンセプト

low_memory オプションは廃止されており、機能に影響はありません。その目的は、型推論を防止することでファイル解析中のメモリ使用量を削減することでした。

Low_Memory=False が役に立つのはなぜですか?

各列の dtype を推測するとリソースが大量に消費されるため、この警告が表示されます。 Pandas は、ファイル全体を分析して dtype を決定します。 dtype を明示的に定義しないと、完全なファイルが読み取られるまで解析を開始できません。

Dtype の定義が最も重要な理由

dtype の指定 (例: dtype={'user_id': int}) が Pandas に通知されます。予想されるデータ型について、解析を開始できるようにする

pd.read_csv('somefile.csv', dtype={'user_id': int})

dtype を定義すると、無効なデータ型 (整数列の "foobar" など) に遭遇したときのエラーを回避できます。

Pandas Dtype について

Pandas はサポートしています以下を含むさまざまな dtype:

• Numpy dtypes: float、int、bool、timedelta64[ns]、datetime64[ns]

• Pandas 固有:

  • datetime64[ns, ]: 時間ゾーン対応タイムスタンプ
  • カテゴリ: によって表される列挙型integers
  • period[]: 期間
  • Sparse[int]、Sparse[float]: 欠損値のあるデータ
  • Interval: インデックス作成
  • null 許容整数: Int8、Int16、Int32、Int64、UInt8、 UInt16、UInt32、UInt64
  • 文字列: .str 属性へのアクセス
  • ブール値: 欠落データをサポート

注意事項

• dtype=object を設定すると警告は抑制されますが、メモリ効率は向上しません。
• Numpy は Unicode をオブジェクトとして表すため、dtype=unicode の設定は無効です。

代替: コンバータの使用

潜在的な処理にはコンバータを使用します。無効なデータ (例: 整数列の「foobar」)。ただし、コンバーターは遅くて非効率なので、慎重に使用してください。

以上がPandas の Dtype 警告を処理する方法: Low_Memory および Dtype オプション?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。