Beispiel einer Datenerfassung von der Detailseite von Sina News

Im vorherigen Artikel „Python Crawler: Erfassen von Sina News-Daten“ wurde ausführlich erläutert, wie die relevanten Daten der Sina News-Detailseite gecrawlt werden. Der Aufbau des Codes ist jedoch nicht förderlich für eine spätere Erweiterung packteEs muss erneut geschrieben werden, also müssen wir es in Funktionen organisieren, damit es direkt aufgerufen werden kann.

Sechs von der Detailseite erfasste Daten: Nachrichtentitel, Anzahl der Kommentare, Zeit, Quelle, Text und verantwortlicher Herausgeber.

Zuerst organisieren wir die Anzahl der Kommentare in einer funktionalen Form:

 1 import requests 2 import json 3 import re 4  5 comments_url = '{}&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20' 6  7 def getCommentsCount(newsURL): 8     ID = re.search('doc-i(.+).shtml', newsURL) 9     newsID = ID.group(1)10     commentsURL = requests.get(comments_url.format(newsID))11     commentsTotal = json.loads(commentsURL.text.strip('var data='))12     return commentsTotal['result']['count']['total']13 14 news = ''15 print(getCommentsCount(news))

Zeile 5 comments_url, im vorherigen Artikel haben wir Beachten Sie, dass der Kommentarlink eine Nachrichten-ID enthält und die Anzahl der Kommentare zu verschiedenen Nachrichten durch die Transformation der Nachrichten-ID geändert wird. Daher formatieren wir sie und ersetzen die Nachrichten-ID durch geschweifte Klammern {} Definitionserfassung Die Funktion getCommentsCount zur Anzahl der Kommentare verwendet reguläre Regeln, um die passende Nachrichten-ID zu finden, speichert dann den erhaltenen Nachrichtenlink in der Variablen commentsURL und erhält die endgültige Anzahl der Kommentare commentsTotal durch Dekodierung von JS

Dann , wir müssen nur eingeben Für einen neuen News-Link können Sie die Funktion getCommentsCount direkt aufrufen, um die Anzahl der Kommentare abzurufen.

Schließlich organisieren wir die 6 Daten, die erfasst werden müssen, in einer Funktion getNewsDetail. Wie folgt:

 1 from bs4 import BeautifulSoup 2 import requests 3 from datetime import datetime 4 import json 5 import re 6  7 comments_url = '{}&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20' 8  9 def getCommentsCount(newsURL):10     ID = re.search('doc-i(.+).shtml', newsURL)11     newsID = ID.group(1)12     commentsURL = requests.get(comments_url.format(newsID))13     commentsTotal = json.loads(commentsURL.text.strip('var data='))14     return commentsTotal['result']['count']['total']15 16 # news = 'http://news.sina.com.cn/c/nd/2017-05-14/doc-ifyfeius7904403.shtml'17 # print(getCommentsCount(news))18 19 def getNewsDetail(news_url):20     result = {}21     web_data = requests.get(news_url)22     web_data.encoding = 'utf-8'23     soup = BeautifulSoup(web_data.text,'lxml')24     result['title'] = soup.select('#artibodyTitle')[0].text25     result['comments'] = getCommentsCount(news_url)26     time = soup.select('.time-source')[0].contents[0].strip()27     result['dt'] = datetime.strptime(time,'%Y年%m月%d日%H:%M')28     result['source'] = soup.select('.time-source span span a')[0].text29     result['article'] = ' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])30     result['editor'] = soup.select('.article-editor')[0].text.lstrip('责任编辑：')31     return result32 33 print(getNewsDetail(''))

Besorgen Sie sich in der Funktion getNewsDetail die 6 Daten, die erfasst werden müssen, und fügen Sie sie in das Ergebnis ein:

result['title'] dient zum Abrufen des Nachrichtentitels;
resul['comments'] dient zum Abrufen der Anzahl der Kommentare, Sie kann die Anzahl der Kommentare, die wir zu Beginn definiert haben, direkt aufrufen:
result['dt'] ist die Erfassungszeit; 🎜>

• result['article'] dient dazu, den Haupttext zu erhalten;

• result['editor'] dient dazu, den Herausgeber zu beauftragen.

• Geben Sie dann den Nachrichtenlink ein, über den Sie die Daten erhalten möchten, und rufen Sie diese Funktion auf.

Ein Teil der laufenden Ergebnisse:

{'title': 'Der „Lehrer“, der Wing Chun an der der Zhejiang-Universität angegliederten High School unterrichtet, ist ein Schüler von Ip Man in der dritten Generation“, „ comments“: 618, „dt“: datetime.datetime(2017, 5, 14, 7, 22), „source“: „China News Network“, „article“: „ Originaltitel: Zhejiang University Affiliated High School beginnt mit dem Unterrichten des Wing Chun-„Lehrers“ „Das ist Ip Man...“ Quelle: Qianjiang Evening News‘, ‚Herausgeber‘: ‚Zhang Di‘}

Das obige ist der detaillierte Inhalt vonBeispiel einer Datenerfassung von der Detailseite von Sina News. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!