Amalan terbaik dan pilihan algoritma untuk cara mengendalikan dan mengisi data yang hilang dalam Python

Amalan terbaik dan pemilihan algoritma untuk cara mengendalikan dan mengisi data yang hilang dalam Python

Pengenalan

Nilai yang hilang sering ditemui dalam analisis data. Kehadiran nilai yang hilang mungkin menjejaskan keputusan analisis data dan latihan model. Oleh itu, pemprosesan dan pengisian nilai yang hilang telah menjadi bahagian penting dalam analisis data. Artikel ini akan memperkenalkan amalan terbaik dan pilihan algoritma untuk mengendalikan dan mengisi data yang hilang dalam Python, dan memberikan contoh kod khusus.

Kaedah biasa untuk mengendalikan nilai yang hilang dalam data

Padamkan nilai yang hilang

Cara paling mudah untuk menangani nilai yang hilang adalah dengan memadamkan terus baris atau lajur dengan nilai yang hilang. Kaedah ini selalunya sesuai apabila perkadaran nilai yang hilang adalah kecil. Dalam Python, anda boleh menggunakan kaedah dropna() untuk mengalih keluar nilai yang hilang. dropna()方法来删除缺失值。

import pandas as pd

# 删除含有缺失值的行
df_dropna = df.dropna()

# 删除含有缺失值的列
df_dropna = df.dropna(axis=1)

插值方法

插值方法是一种常用的填充缺失值的方法，它基于已有的数据来估计缺失值。Python提供了多种插值方法，常用的有线性插值、多项式插值和样条插值。

线性插值

线性插值是一种简单有效的缺失值填充方法，它使用已有的数据点和线性关系来估计缺失值。在Python中，可以使用interpolate()方法来进行线性插值。

import pandas as pd

# 线性插值填充缺失值
df_interpolate = df.interpolate()

多项式插值

多项式插值是一种基于多项式拟合的缺失值填充方法，它可以更好地估计非线性关系的缺失值。在Python中，可以使用polyfit()方法来进行多项式插值。

import pandas as pd
import numpy as np

# 多项式插值填充缺失值
df_polyfit = df.interpolate(method='polynomial', order=3)

样条插值

样条插值是一种通过拟合曲线来填充缺失值的方法，它可以更好地估计复杂的非线性关系。在Python中，可以使用interpolate()方法并指定method='spline'来进行样条插值。

import pandas as pd

# 样条插值填充缺失值
df_spline = df.interpolate(method='spline', order=3)

均值、中位数或众数填充

对于数值型数据，常用的填充缺失值的方法是使用均值、中位数或众数。在Python中，可以使用fillna()

import pandas as pd

# 使用均值填充缺失值
mean_value = df.mean()
df_fillna = df.fillna(mean_value)

Kaedah interpolasi

Kaedah interpolasi adalah kaedah yang biasa digunakan untuk mengisi nilai yang hilang berdasarkan data sedia ada. Python menyediakan pelbagai kaedah interpolasi, yang biasa digunakan ialah interpolasi linear, interpolasi polinomial dan interpolasi spline.

Interpolasi linear

Interpolasi linear ialah kaedah pengisian nilai hilang yang mudah dan berkesan yang menggunakan titik data sedia ada dan hubungan linear untuk menganggar nilai yang hilang. Dalam Python, anda boleh menggunakan kaedah interpolate() untuk melakukan interpolasi linear.

import pandas as pd

# 使用中位数填充缺失值
median_value = df.median()
df_fillna = df.fillna(median_value)

Interpolasi polinomial

Interpolasi polinomial ialah kaedah pengisian nilai yang hilang berdasarkan padanan polinomial, yang boleh menganggarkan nilai yang hilang bagi perhubungan bukan linear dengan lebih baik. Dalam Python, anda boleh menggunakan kaedah polyfit() untuk melakukan interpolasi polinomial.

import pandas as pd

# 使用众数填充缺失值
mode_value = df.mode().iloc[0]
df_fillna = df.fillna(mode_value)

Interpolasi spline

Interpolasi spline ialah kaedah mengisi nilai yang hilang dengan memasang lengkung, yang boleh menganggarkan hubungan bukan linear yang kompleks dengan lebih baik. Dalam Python, anda boleh menggunakan kaedah interpolate() dan tentukan method='spline' untuk melakukan interpolasi spline.

from sklearn.metrics import mean_squared_error, mean_absolute_error

# 计算均方误差
mse = mean_squared_error(df_true, df_fillna)

# 计算平均绝对误差
mae = mean_absolute_error(df_true, df_fillna)

Pengisian Min, Median atau Mod

Untuk data berangka, cara biasa untuk mengisi nilai yang tiada adalah dengan menggunakan min, median atau mod. Dalam Python, anda boleh menggunakan kaedah fillna() untuk mengisi.

Pengisian min🎜🎜Menggunakan min untuk mengisi nilai yang hilang adalah kaedah yang mudah dan berkesan yang boleh mengekalkan ciri pengedaran data keseluruhan. 🎜rrreee🎜Pengisian median🎜🎜Menggunakan median untuk mengisi nilai yang hilang sesuai untuk situasi di mana terdapat banyak outlier dalam data Ia boleh mengurangkan kesan outlier. 🎜rrreee🎜Pengisian mod🎜🎜Menggunakan mod untuk mengisi nilai yang hilang sesuai untuk data diskret, ia boleh mengekalkan ciri pengedaran keseluruhan data. 🎜rrreee🎜Pemilihan dan Penilaian Algoritma🎜🎜Apabila memilih dan menggunakan kaedah untuk pemprosesan dan pengisian nilai yang hilang, anda perlu memilih kaedah yang sesuai berdasarkan jenis data, pengagihan nilai yang hilang, dan keperluan masalah. Pada masa yang sama, data yang diisi juga perlu dinilai. Penunjuk penilaian yang biasa digunakan termasuk ralat min kuasa dua (MSE) dan ralat mutlak min (MAE). 🎜rrreee🎜Kesimpulan🎜🎜Dalam analisis data, pemprosesan dan pengisian nilai data yang hilang adalah langkah penting dan perlu. Artikel ini menerangkan amalan terbaik dan pilihan algoritma untuk mengendalikan dan mengimput data yang hilang dalam Python, dan menyediakan contoh kod khusus. Berdasarkan keperluan masalah sebenar, anda boleh memilih kaedah yang sesuai untuk memproses dan mengisi nilai yang hilang, dan menilai data yang diisi. Ini boleh meningkatkan ketepatan dan keberkesanan analisis data dan latihan model. 🎜

Atas ialah kandungan terperinci Amalan terbaik dan pilihan algoritma untuk cara mengendalikan dan mengisi data yang hilang dalam Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!