Python を使用して CSDN の人気のあるコメント URL をクロールし、Redis に保存する方法

1. ウェブドライバーを構成します

Google Chrome ドライバーをダウンロード， して構成します

import timeimport randomfrom PIL import Imagefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECif __name__ == '__main__':options = webdriver.ChromeOptions()options.binary_location = r'C:UsershhhAppDataLocalGoogleChromeApplication谷歌浏览器.exe'# driver=webdriver.Chrome(executable_path=r'D:360Chromechromedriverchromedriver.exe')driver = webdriver.Chrome(options=options)#以java模块为例driver.get('https://www.csdn.net/nav/java')for i in range(1,20):driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")time.sleep(2)

2. URL を取得します

from bs4 import BeautifulSoupfrom lxml import etree 
html = etree.HTML(driver.page_source)# soup = BeautifulSoup(html, 'lxml')# soup_herf=soup.find_all("#feedlist_id > li:nth-child(1) > div > div > h2 > a")# soup_herftitle = html.xpath('//*[@id="feedlist_id"]/li/div/div/h2/a/@href')

クロールされたことがわかります，一度にたくさん，速度は非常に速いです

3. Redisへの書き込み

redisパッケージをインポートした後，Redisポートとredisデータベースを構成します& #xff0c;rpush 関数を使用して書き込みます
Open redis

import redis
r_link = redis.Redis(port='6379', host='localhost', decode_responses=True, db=1)for u in title:print("准备写入{}".format(u))r_link.rpush("csdn_url", u)print("{}写入成功!".format(u))print('=' * 30, 'n', "共计写入url：{}个".format(len(title)), 'n', '=' * 30)

Done！

これは Redis デスクトップ マネージャーで確認できますクロールと書き込みは非常に高速です。

これを使用するには、rpop を使用してスタックからポップするだけです

one_url = r_link.rpop("csdn_url)")while one_url:print("{}被弹出！".format(one_url))

以上がPython を使用して CSDN の人気のあるコメント URL をクロールし、Redis に保存する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。