Tukar dokumen teks ke matriks TF-IDF dengan TFIDFVectorizer

Artikel ini menerangkan teknik frekuensi frekuensi-inverse frekuensi (TF-IDF), alat penting dalam pemprosesan bahasa semulajadi (NLP) untuk menganalisis data teks. TF-IDF melampaui batasan pendekatan asas beg-kata-kata dengan istilah berat berdasarkan kekerapannya dalam dokumen dan jarang mereka merentasi koleksi dokumen. Ini peningkatan berat badan meningkatkan klasifikasi teks dan meningkatkan keupayaan analisis model pembelajaran mesin. Kami akan menunjukkan cara membina model TF-IDF dari awal dalam Python dan melakukan pengiraan berangka.

Jadual Kandungan

• Syarat Utama dalam TF-IDF
• Kekerapan jangka panjang (TF) dijelaskan
• Frekuensi Dokumen (DF) dijelaskan
• Frekuensi Dokumen Songsang (IDF) dijelaskan
• Memahami TF-IDF
  • Pengiraan TF-IDF berangka
  • Langkah 1: Mengira kekerapan jangka panjang (TF)
  • Langkah 2: Mengira Frekuensi Dokumen Songsang (IDF)
  • Langkah 3: Mengira TF-IDF
• Pelaksanaan Python menggunakan dataset terbina dalam
  • Langkah 1: Memasang perpustakaan yang diperlukan
  • Langkah 2: Mengimport perpustakaan
  • Langkah 3: Memuatkan dataset
  • Langkah 4: Memulakan TfidfVectorizer
  • Langkah 5: Memasang dan mengubah dokumen
  • Langkah 6: Memeriksa Matriks TF-IDF
• Kesimpulan
• Soalan yang sering ditanya

Syarat Utama dalam TF-IDF

Sebelum meneruskan, mari kita tentukan istilah utama:

• t : istilah (perkataan individu)
• D : Dokumen (satu set perkataan)
• N : Jumlah dokumen di korpus
• Corpus : Koleksi keseluruhan dokumen

Kekerapan jangka panjang (TF) dijelaskan

Kekerapan jangka panjang (TF) mengukur seberapa kerap istilah muncul dalam dokumen tertentu. TF yang lebih tinggi menunjukkan kepentingan yang lebih besar dalam dokumen itu. Formula adalah:

Frekuensi Dokumen (DF) dijelaskan

Kekerapan dokumen (df) mengukur bilangan dokumen dalam korpus yang mengandungi istilah tertentu. Tidak seperti TF, ia mengira kehadiran istilah, bukan kejadiannya. Formula adalah:

Df (t) = bilangan dokumen yang mengandungi istilah t

Frekuensi Dokumen Songsang (IDF) dijelaskan

Kekerapan dokumen songsang (IDF) menilai maklumat mengenai perkataan. Walaupun TF merawat semua istilah sama, kata -kata bawah tanah IDF (seperti kata -kata berhenti) dan istilah yang lebih jarang. Formula adalah:

di mana n ialah jumlah dokumen dan df (t) adalah bilangan dokumen yang mengandungi istilah t.

Memahami TF-IDF

TF-IDF menggabungkan kekerapan jangka panjang dan kekerapan dokumen songsang untuk menentukan kepentingan istilah dalam dokumen berbanding dengan keseluruhan korpus. Formula adalah:

Pengiraan TF-IDF berangka

Mari kita gambarkan pengiraan TF-IDF berangka dengan dokumen contoh:

Dokumen:

1. "Langit berwarna biru."
2. "Matahari cerah hari ini."
3. "Matahari di langit cerah."
4. "Kita dapat melihat matahari bersinar, matahari yang cerah."

Berikutan langkah-langkah yang digariskan dalam teks asal, kami mengira TF, IDF, dan kemudian TF-IDF untuk setiap istilah dalam setiap dokumen. (Pengiraan terperinci ditinggalkan di sini untuk keringkasan, tetapi mereka mencerminkan contoh asal.)

Pelaksanaan Python menggunakan dataset terbina dalam

Bahagian ini menunjukkan pengiraan TF-IDF menggunakan TfidfVectorizer Scikit-Learn dan dataset 20 kumpulan berita.

Langkah 1: Memasang perpustakaan yang diperlukan

 PIP Pasang SCIKIT-Learn

Langkah 2: Mengimport perpustakaan

 Import Pandas sebagai PD
dari sklearn.datasets import fetch_20newsgroups
dari sklearn.feature_extraction.text import tfidfvectorizer

Langkah 3: Memuatkan dataset

 kumpulan berita = fetch_20NewSgroups (subset = 'kereta api')

Langkah 4: Memulakan TfidfVectorizer

 vectorizer = tfidfvectorizer (stop_words = 'english', max_features = 1000)

Langkah 5: Memasang dan mengubah dokumen

 tfidf_matrix = vectorizer.fit_transform (newsgroups.data)

Langkah 6: Memeriksa Matriks TF-IDF

 df_tfidf = pd.dataFrame (tfidf_matrix.toarray (), lajur = vectorizer.get_feature_names_out ())
df_tfidf.head () 

Kesimpulan

Menggunakan 20 kumpulan kumpulan berita dan TfidfVectorizer , kami dengan cekap mengubah dokumen teks ke dalam matriks TF-IDF. Matriks ini mewakili kepentingan setiap istilah, membolehkan pelbagai tugas NLP seperti klasifikasi teks dan kluster. TfidfVectorizer Scikit-Learn memudahkan proses ini dengan ketara.

Soalan yang sering ditanya

Seksyen Soalan Lazim tetap tidak berubah, menangani sifat logaritma IDF, skalabilitas kepada dataset yang besar, batasan TF-IDF (mengabaikan perintah dan konteks perkataan), dan aplikasi umum (enjin carian, klasifikasi teks, kluster, ringkasan).

Atas ialah kandungan terperinci Tukar dokumen teks ke matriks TF-IDF dengan TFIDFVectorizer. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!