Apa itu discretization? - Analytics Vidhya

Discretization Data: Teknik Preprocessing Penting dalam Sains Data

Discretization data adalah langkah pra -proses asas dalam analisis data dan pembelajaran mesin. Ia mengubah data berterusan ke dalam bentuk diskret, menjadikannya serasi dengan algoritma yang direka untuk input diskret. Proses ini meningkatkan tafsiran data, mengoptimumkan kecekapan algoritma, dan menyediakan dataset untuk tugas seperti klasifikasi dan kluster. Artikel ini menyelidiki metodologi, kelebihan, dan aplikasi discretization, yang menonjolkan kepentingannya dalam sains data moden.

Jadual Kandungan:

• Apakah discretization data?
• Keperluan pembicaraan data
• Langkah -langkah Discretization
• Tiga Teknik Discretization Utama:
  • Binning sama lebar
  • Binning frekuensi sama
  • Binning berasaskan Kmeans
• Aplikasi Discretization
• Ringkasan
• Soalan yang sering ditanya

Apakah discretization data?

Discretization data menukarkan pembolehubah, fungsi, dan persamaan yang berterusan ke dalam perwakilan diskret. Ini adalah penting untuk menyediakan data untuk algoritma pembelajaran mesin yang memerlukan input diskret untuk pemprosesan dan analisis yang cekap.

Keperluan pembicaraan data

Banyak model pembelajaran mesin, terutama yang menggunakan pembolehubah kategori, tidak dapat mengendalikan data berterusan secara langsung. Discretization menangani ini dengan membahagikan data berterusan ke dalam selang atau tong yang bermakna. Ini memudahkan dataset kompleks, meningkatkan tafsiran, dan membolehkan penggunaan algoritma tertentu yang berkesan. Pokok keputusan dan pengelas Bayes naif, misalnya, sering mendapat manfaat daripada data yang diskriminasi kerana dimensi dan kerumitan yang dikurangkan. Tambahan pula, discretization dapat mendedahkan corak yang tersembunyi dalam data yang berterusan, seperti korelasi antara kumpulan umur dan tingkah laku pembelian.

Langkah Discretization:

1. Pemahaman Data: Menganalisis pembolehubah berterusan, pengagihan, julat, dan peranan mereka dalam masalah.
2. Pemilihan Teknik: Pilih kaedah discretization yang sesuai (sama lebar, frekuensi sama, atau berasaskan clustering).
3. Penentuan BIN: Tentukan bilangan selang atau kategori berdasarkan ciri -ciri data dan keperluan masalah.
4. Permohonan Discretization: Peta nilai berterusan kepada tong sampah yang sepadan, menggantikannya dengan pengenal bin.
5. Penilaian Transformasi: Menilai kesan budi bicara pada pengagihan data dan prestasi model, memastikan corak penting dipelihara.
6. Pengesahan Keputusan: Sahkan bahawa discretization sejajar dengan objektif masalah.

Tiga Teknik Discretization Utama:

Teknik discretization digunakan untuk dataset perumahan California:

 # Import perpustakaan yang diperlukan
dari sklearn.datasets import fetch_california_housing
dari sklearn.Preprocessing import kbinsdiscretizer
Import Pandas sebagai PD

# Memuatkan dataset perumahan California
data = fetch_california_housing (as_frame = true)
df = data.frame

# Fokus pada ciri 'Medinc' (Pendapatan Median)
ciri = 'medinc'
Cetak ("Data Asal:")
cetak (df [[ciri]]. kepala ()) 

1. Binning sama lebar: Membahagikan julat data ke dalam tong saiz yang sama. Berguna untuk pengagihan data walaupun dalam visualisasi atau apabila julat data konsisten.

 # Binning sama lebar
df ['equal_width_bins'] = pd.cut (df [feature], tong = 5, label = false)

2. Binning frekuensi sama: Membuat tong dengan kira-kira bilangan titik data yang sama. Ideal untuk mengimbangi saiz kelas dalam klasifikasi atau mencipta tong sampah seragam untuk analisis statistik.

 # Binning frekuensi sama
df ['equal_frequency_bins'] = pd.qcut (df [feature], q = 5, labels = false)

3. Binning berasaskan Kmeans: Menggunakan K-means clustering untuk kumpulan nilai yang sama ke dalam tong sampah. Paling sesuai untuk data dengan pengagihan kompleks atau kumpulan semulajadi yang tidak mudah ditangkap oleh kaedah lebar sama atau sama frekuensi.

 # Binning berasaskan Kmeans
k_bins = kbinsdiscretizer (n_bins = 5, encode = 'ordinal', strategi = 'kmeans')
df ['kmeans_bins'] = k_bins.fit_transform (df [[ciri]]). astype (int)

Hasil Melihat:

 # Menggabungkan dan memaparkan hasil
Cetak ("Data \ ndiscretized:")
cetak (df [[ciri, 'sama_width_bins', 'sama_frequency_bins', 'kmeans_bins']]. kepala ()) 

Penjelasan output: Kod menunjukkan penerapan tiga teknik discretization ke lajur 'Medinc'. Sama-sama mewujudkan 5 tong dengan jarak yang sama, frekuensi yang sama mencipta 5 tong dengan jumlah sampel yang sama, dan kumpulan K-Means nilai pendapatan yang serupa menjadi 5 kelompok.

Aplikasi pembihalan:

1. Prestasi model yang lebih baik: Algoritma seperti pokok keputusan dan bayes naif sering mendapat manfaat daripada data diskret.
2. Pengendalian hubungan bukan linear: Mengungkapkan corak bukan linear antara pembolehubah.
3. Pengurusan Outlier: Mengurangkan pengaruh Outliers.
4. Pengurangan ciri: Memudahkan data semasa mengekalkan maklumat utama.
5. Visualisasi dan tafsiran yang dipertingkatkan: lebih mudah untuk memvisualisasikan dan memahami.

Ringkasan:

Discretization data adalah teknik preprocessing yang kuat yang memudahkan data berterusan untuk pembelajaran mesin, meningkatkan prestasi model dan tafsiran. Pilihan kaedah bergantung kepada dataset tertentu dan matlamat analisis.

Soalan Lazim:

Q1. Bagaimanakah kluster k-means berfungsi? A1. Kumpulan K-Means data ke dalam kluster K berdasarkan kedekatan dengan centroid cluster.

S2. Bagaimanakah data kategori dan berterusan berbeza? A2. Data kategori mewakili kumpulan yang berbeza, manakala data berterusan mewakili nilai berangka dalam julat.

Q3. Apakah kaedah discretization biasa? A3. Kaedah-kaedah sama rata, frekuensi yang sama, dan berasaskan kluster adalah perkara biasa.

Q4. Mengapa discretization penting dalam pembelajaran mesin? A4. Ia meningkatkan prestasi dan tafsiran model yang paling sesuai dengan data kategori.

Atas ialah kandungan terperinci Apa itu discretization? - Analytics Vidhya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!