Bagaimana Mengira Kekerapan Perkataan dan Isih mengikut Kekerapan dalam Python?

Mengira Kekerapan Perkataan dan Isih Mengikut Kekerapan

Apabila bekerja dengan set data besar yang mengandungi data teks, selalunya perlu menganalisis kekerapan perkataan individu . Maklumat ini boleh digunakan untuk pelbagai tugas pemprosesan bahasa semula jadi (NLP). Dalam Python, tugasan ini boleh dipermudahkan menggunakan alat berkuasa yang dipanggil Counter.

Melaksanakan Reka Bentuk

Reka bentuk anda menggariskan langkah berikut:

1. Buat senarai kosong untuk menyimpan perkataan unik (baru).
2. Buat senarai kosong untuk menyimpan frekuensi perkataan (frekuensi) yang sepadan.
3. Lelaran melalui senarai perkataan asal.
4. Untuk setiap perkataan, semak sama ada ia sudah berada dalam newlst.
5. Jika perkataan itu tiada dalam newlst, tambahkannya dan tetapkan kekerapan kepada 1.
6. Jika perkataan itu sudah dalam newlst , tambah kekerapannya.
7. Isih newlst berdasarkan senarai kekerapan.

Menggunakan Counter dalam Python

Modul koleksi Python menyediakan khusus kelas yang dipanggil Counter, yang direka untuk mengira dan mengagregatkan elemen dalam iterables. Kaunter membolehkan kami melakukan langkah 3-6 dalam satu baris kod. Begini cara anda boleh melaksanakan reka bentuk anda menggunakan Kaunter:

<code class="python">from collections import Counter

# Create a Counter from the list of words
counts = Counter(original_list)

# Sort the keys (unique words) based on their frequencies
sorted_words = sorted(counts.keys(), key=lambda x: counts[x], reverse=True)</code>

Kod ini menjana senarai disusun perkataan unik, di mana perkataan dengan kekerapan tertinggi muncul dahulu.

Contoh

<code class="python">list1 = ['the', 'car', 'apple', 'banana', 'car', 'apple']
counts = Counter(list1)
print(counts)  # Counter({'apple': 2, 'car': 2, 'banana': 1, 'the': 1})
sorted_words = sorted(counts.keys(), key=lambda x: counts[x], reverse=True)
print(sorted_words)  # ['apple', 'car', 'banana', 'the']</code>

Atas ialah kandungan terperinci Bagaimana Mengira Kekerapan Perkataan dan Isih mengikut Kekerapan dalam Python?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!