python - Verwenden Sie Sklearn, um TFIDF-Funktionen für großen Text zu finden?

Question

Die oben genannten Daten stammen aus dem 7303-Trainingssatz des Reuters-Datensatzes, und sklearn wird verwendet, um die TFIDF-Funktion zu übernehmen. Die erhaltenen Ergebnisse sind alle 0. Was ist los?

Wenn ich einen Teil dieser Daten verwende, kann ich für diese kleinen Teile der Daten die korrekten TFIDF-Ergebnisse erhalten.

Answer 1

上代码，可能是你精度太低或者min_count导致的

比如词频是1，总词数1e9，对应的tf就是1e-9，被忽略了。