python - Utiliser Sklearn pour trouver les fonctionnalités Tfidf d'un texte volumineux?

Question

Les données ci-dessus sont obtenues à partir de l'ensemble de formation 7303 de l'ensemble de données Reuters, et sklearn est utilisé pour prendre la fonctionnalité tfidf. Les résultats obtenus sont tous 0. Que se passe-t-il ?

Lorsque je prends une partie de ces données, je peux obtenir les résultats tfidf corrects pour ces petites parties des données.

Answer 1

Le code ci-dessus peut être dû à une précision trop faible ou à min_count

Par exemple, si la fréquence des mots est de 1 et que le nombre total de mots est de 1e9, le tf correspondant est de 1e-9, qui est ignoré.