Maison  >  Article  >  base de données  >  Comment utiliser Python pour explorer les URL de commentaires populaires CSDN et les stocker dans Redis

Comment utiliser Python pour explorer les URL de commentaires populaires CSDN et les stocker dans Redis

WBOY
WBOYavant
2023-05-28 15:17:23867parcourir

1. Configurez le pilote Web

Téléchargez le pilote Google Chrome et configurez-le

import timeimport randomfrom PIL import Imagefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECif __name__ == '__main__':options = webdriver.ChromeOptions()options.binary_location = r'C:UsershhhAppDataLocalGoogleChromeApplication谷歌浏览器.exe'# driver=webdriver.Chrome(executable_path=r'D:360Chromechromedriverchromedriver.exe')driver = webdriver.Chrome(options=options)#以java模块为例driver.get('https://www.csdn.net/nav/java')for i in range(1,20):driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")time.sleep(2)

2 Obtenez l'URL

from bs4 import BeautifulSoupfrom lxml import etree 
html = etree.HTML(driver.page_source)# soup = BeautifulSoup(html, 'lxml')# soup_herf=soup.find_all("#feedlist_id > li:nth-child(1) > div > div > h2 > a")# soup_herftitle = html.xpath('//*[@id="feedlist_id"]/li/div/div/h2/a/@href')

Vous pouvez voir que beaucoup de choses ont été explorées en même temps et la vitesse est très rapide
Comment utiliser Python pour explorer les URL de commentaires populaires CSDN et les stocker dans Redis

3. Écrivez dans Redis

Après avoir importé le package Redis ,Configurez le port Redis et la base de données Redis,Utilisez la fonction rpush pour écrire
Ouvrez redisComment utiliser Python pour explorer les URL de commentaires populaires CSDN et les stocker dans Redis

import redis
r_link = redis.Redis(port='6379', host='localhost', decode_responses=True, db=1)for u in title:print("准备写入{}".format(u))r_link.rpush("csdn_url", u)print("{}写入成功!".format(u))print('=' * 30, 'n', "共计写入url:{}个".format(len(title)), 'n', '=' * 30)

Comment utiliser Python pour explorer les URL de commentaires populaires CSDN et les stocker dans Redis

Vous avez terminé!

Vous peut voir dans Redis Desktop Manager que l'exploration et l'écriture sont très rapides.
Comment utiliser Python pour explorer les URL de commentaires populaires CSDN et les stocker dans Redis
Pour l'utiliser, utilisez simplement rpop pour le faire apparaître

one_url = r_link.rpop("csdn_url)")while one_url:print("{}被弹出!".format(one_url))

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration:
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer