首页  >  问答  >  正文

如何提高python查询速度?

最近在爬股票的相关新闻,一开始设想的是,当有新的新闻动态发布,程序通过邮件发送最新内容到邮箱。

所以我想把新闻标题,内容存到数据库里,当内容更新时,把新的内容和数据库的标题列表对比,看是不是已存在的,如果已存在,那就不发送,如果没有,那发送到邮箱。

但数量大了以后,列表查询速度就会变慢,请问各位还有什么方法可以传授下吗?

过去多啦不再A梦过去多啦不再A梦2686 天前697

全部回复(2)我来回复

  • 欧阳克

    欧阳克2017-06-12 09:21:34

    爬虫任务去重

    抓过的链接存到一个set中,检查新链接是否在集合中即可。

    回复
    0
  • 欧阳克

    欧阳克2017-06-12 09:21:34

    去重有很多方法,比如楼上的set或者布隆过滤器都可以有效的使用内存,提升效率

    回复
    0
  • 取消回复