PythonでWebコンテンツを取得する方法

Python はデータ処理に非常に適しています。クローラを実行したい場合は、Python が最適です。Python には、呼び出されるだけで多くの複雑な関数を完了できる、事前に作成されたクラス パッケージが多数含まれています。

1 Pyhton は Web ページのコンテンツ (つまり、ソース コード) を取得します (推奨学習: Python ビデオ チュートリアル)

page = urllib2.urlopen(url)   
contents = page.read()   
#获得了整个网页的内容也就是源代码  
print(contents)

url は URL を表し、contents は URL に対応するソース コードを表します。urllib2 は使用する必要があるパッケージです。上記の 3 行のコードは、次のソース コード全体を取得できます。 Web ページ

2 Web ページ内の目的のコンテンツを取得します (最初に Web ページのソース コードを取得し、次に Web ページのソース コードを分析し、対応するタグを見つけて、タグ内のコンテンツを抽出します)

Douban の映画ランキングを例に挙げます

次に、現在のページにあるすべての映画の名前、評価、レビュー数、リンクを取得する必要があります

#coding:utf-8  
''''' 
@author: jsjxy 
'''  
import urllib2   
import re   
from bs4 import BeautifulSoup  
from distutils.filelist import findall  

page = urllib2.urlopen('http://movie.douban.com/top250?format=text')   
contents = page.read()   
 #print(contents)  
soup = BeautifulSoup(contents,"html.parser")  
print("豆瓣电影TOP250" + "\n" +" 影片名              评分       评价人数     链接 ")    
for tag in soup.find_all('div', class_='info'):    
   # print tag  
    m_name = tag.find('span', class_='title').get_text()        
    m_rating_score = float(tag.find('span',class_='rating_num').get_text())          
    m_people = tag.find('div',class_="star")  
    m_span = m_people.findAll('span')  
    m_peoplecount = m_span[3].contents[0]  
    m_url=tag.find('a').get('href')  
    print( m_name+"        "  +  str(m_rating_score)   + "           " + m_peoplecount + "    " + m_url )

コンソール出力、ファイルに書き込むこともできます。

その他の Python 関連テクノロジの記事については、Python チュートリアル 列にアクセスして学習してください。

以上がPythonでWebコンテンツを取得する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。