Comment améliorer la vitesse des requêtes Python ?

Question

J'ai récemment recherché des actualités liées aux actions. Ce que j'avais initialement imaginé, c'est que lorsque de nouvelles actualités seraient publiées, le programme enverrait le dernier contenu à votre boîte aux lettres par e-mail.

Je souhaite donc enregistrer les titres et le contenu des actualités dans la base de données. Lorsque le contenu est mis à jour, comparez le nouveau contenu avec la liste de titres dans la base de données pour voir s'il existe déjà, alors il ne sera pas envoyé. Si ce n'est pas le cas, envoyez-le par e-mail.

Mais lorsque le nombre augmente, la vitesse d'interrogation de la liste ralentira. Pouvez-vous m'apprendre une autre méthode ?

Answer 1

Déduplication des tâches du robot

Enregistrez le lien capturé dans un ensemble et vérifiez si le nouveau lien est dans l'ensemble.

Answer 2

Il existe de nombreuses façons de supprimer les doublons, telles que le filtre Set ou Bloom ci-dessus, qui peuvent utiliser efficacement la mémoire et améliorer l'efficacité