Python으로 웹 콘텐츠를 얻는 방법

Python은 데이터 처리에 매우 좋습니다. 크롤러를 수행하려는 경우 Python을 선택하는 것이 좋습니다. 호출만 하면 많은 복잡한 기능을 완료할 수 있는 미리 작성된 클래스 패키지가 많이 있습니다.

1 Pyhton은 웹 페이지의 콘텐츠(즉, 소스 코드)를 가져옵니다(권장 학습: Python 비디오 튜토리얼)

page = urllib2.urlopen(url)   
contents = page.read()   
#获得了整个网页的内容也就是源代码  
print(contents)

url은 URL을 나타내고, content는 해당 소스 코드를 나타냅니다. URL, urllib2 패키지가 필요합니다. 위 세 줄의 코드로 웹페이지의 전체 소스 코드를 얻을 수 있습니다

2 웹 페이지에서 원하는 콘텐츠를 가져옵니다. (먼저 웹 페이지 소스 코드를 가져온 다음 웹 페이지 소스 코드를 분석하고, 해당 태그를 찾은 다음 태그에서 콘텐츠를 추출하세요)

두반 영화 순위를 예로 들어

이제 현재 페이지에 있는 모든 영화의 이름, 평점, 리뷰어 수, 링크를 가져와야 합니다

#coding:utf-8  
''''' 
@author: jsjxy 
'''  
import urllib2   
import re   
from bs4 import BeautifulSoup  
from distutils.filelist import findall  

page = urllib2.urlopen('http://movie.douban.com/top250?format=text')   
contents = page.read()   
 #print(contents)  
soup = BeautifulSoup(contents,"html.parser")  
print("豆瓣电影TOP250" + "\n" +" 影片名              评分       评价人数     链接 ")    
for tag in soup.find_all('div', class_='info'):    
   # print tag  
    m_name = tag.find('span', class_='title').get_text()        
    m_rating_score = float(tag.find('span',class_='rating_num').get_text())          
    m_people = tag.find('div',class_="star")  
    m_span = m_people.findAll('span')  
    m_peoplecount = m_span[3].contents[0]  
    m_url=tag.find('a').get('href')  
    print( m_name+"        "  +  str(m_rating_score)   + "           " + m_peoplecount + "    " + m_url )

콘솔 출력 , 파일에 쓸 수도 있습니다

더 보기 많은 Python 관련 기술 기사를 보려면 Python Tutorial 칼럼을 방문하여 알아보세요!

위 내용은 Python으로 웹 콘텐츠를 얻는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!