python - Gunakan sklearn untuk mencari ciri tfidf teks besar?

Question

Data di atas diperolehi daripada set latihan 7303 daripada set data reuters, dan sklearn digunakan untuk mengambil ciri tfidf Keputusan yang diperolehi semuanya 0. Apa yang berlaku?

Apabila saya mengambil sebahagian daripada data ini, saya boleh mendapatkan hasil tfidf yang betul untuk bahagian kecil data ini.

Answer 1

Kod di atas mungkin disebabkan oleh ketepatan anda terlalu rendah atau min_count

Sebagai contoh, jika kekerapan perkataan ialah 1 dan jumlah bilangan perkataan ialah 1e9, tf yang sepadan ialah 1e-9, yang diabaikan.