[Python] 웹 크롤러(10) : 크롤러 탄생 전 과정(산동대학교 학점계산을 예로 들어)

먼저 우리 학교 웹사이트에 대해 이야기해 볼까요:

http://jwxt.sdu.edu.cn:7777/zhxt_bks/zhxt_bks.html

점수를 확인하려면 로그인이 필요합니다 을 선택하면 표시됩니다. 각 과목의 결과가 표시되지만, 가중평균 점수인 학점은 제외되고 결과만 표시됩니다.

분명히 수동으로 성적을 계산하는 것은 매우 번거로운 일입니다. 따라서 우리는 Python을 사용하여 이 문제를 해결하는 크롤러를 만들 수 있습니다.

1.결전을 앞두고

먼저 도구를 준비해보자: HttpFox 플러그인.

페이지 요청 및 응답 시간과 내용, 브라우저에서 사용하는 COOKIE를 분석하는 http 프로토콜 분석 플러그인입니다.

예를 들어 Firefox에 설치하면 효과는 다음과 같습니다.

Yes 해당 정보를 매우 직관적으로 확인하세요.

탐지를 시작하려면 시작을 클릭하고, 감지를 일시 중지하려면 중지를 클릭하고, 콘텐츠를 지우려면 지우기를 클릭하세요.

일반적으로 사용하기 전에 중지를 클릭하여 일시 정지한 다음 지우기를 클릭하여 화면을 지워 현재 페이지에 접속하여 얻은 데이터를 볼 수 있는지 확인하세요.

2. 적진의 깊숙이 파고들다

산동대학교 점수조회 사이트에 접속하면 어떤 정보가 나오는지 확인해 보자.

먼저 로그인 페이지로 이동하여 httpfox를 엽니다. 삭제 후 시작을 클릭하여 감지를 활성화합니다.

개인 정보를 입력한 후 httpfox가 그런 다음 확인을 클릭하여 정보를 제출하고 로그인하세요.

이때 httpfox가 세 가지 정보를 감지한 것을 확인할 수 있습니다:

이때 중지 버튼을 클릭하여 정보가 무엇인지 확인하세요. 캡처된 데이터는 크롤러를 수행할 때 로그인을 시뮬레이션할 수 있도록 페이지를 방문한 후의 피드백입니다.

3. Jiedin Niu

얼핏 보면 3개의 데이터가 있는데 2개는 GET이고 하나는 POST인데 그게 무엇이며 어떻게 되나요? 사용해야 하는데 아직은 모르겠습니다.

그래서 캡쳐한 내용을 하나씩 살펴봐야 합니다.

POST 정보를 먼저 보세요:

POST 정보이므로 PostData만 보면 됩니다.

POST 데이터가 Stud와 pwd 2개 있는 것을 볼 수 있습니다.

그리고 Redirect to Type을 보면 POST가 완료된 후 bks_login2.loginmessage 페이지로 점프하는 것을 알 수 있습니다.

이 데이터는 확인을 누른 후 제출한 폼 데이터임을 알 수 있습니다.

쿠키 정보를 보려면 쿠키 라벨을 클릭하세요.

예, 계정 쿠키가 수신되었으며 세션이 끝나면 자동으로 삭제됩니다.

그럼 제출 후 어떤 정보를 받으셨나요?

다음 두 개의 GET 데이터를 살펴보겠습니다.

먼저 첫 번째 내용을 살펴보겠습니다. 콘텐츠 태그를 클릭하면 받은 콘텐츠를 볼 수 있습니다. -HTML 소스 코드는 의심할 바 없이 노출되어 있습니다:

쿠키 ​​관련 정보를 보려면 쿠키를 클릭하세요.

아하, 쿠키 정보가 전송된 후에야 html 페이지의 내용이 수신된 것으로 밝혀졌습니다.

마지막으로 받은 메시지를 살펴보겠습니다.

대략 살펴보면 style.css라는 CSS 파일일 것입니다. 우리에게는 큰 의미가 없습니다.

4. 침착하게 대응

이제 서버에 어떤 데이터를 보냈는지, 어떤 데이터를 받았는지 알았으니 기본 과정은 다음과 같습니다.

먼저 , 학생 ID와 비밀번호를 게시합니다--->그런 다음 쿠키 값을 반환합니다

그런 다음 서버에 쿠키를 보냅니다--->페이지 정보를 반환합니다.

성적 페이지에서 데이터를 가져와 정규식을 사용하여 성적과 학점을 별도로 추출하고 가중 평균을 계산합니다.

아주 간단한 샘플 용지처럼 보입니다. 그럼 한번 시험해 보겠습니다.

그런데 실험을 하기 전에 아직 해결되지 않은 문제가 있는데, POST 데이터는 어디로 보내지는 걸까요?

원래 페이지를 다시 보세요:

분명히 html 프레임워크를 사용하여 구현되었습니다. 즉, 주소 표시줄에 표시되는 내용은 주소는 오른쪽에 있는 양식을 제출할 주소가 아닙니다.

그럼 실제 주소는 어떻게 알 수 있나요-. -페이지 소스 코드를 보려면 마우스 오른쪽 버튼을 클릭하세요:

예, 맞습니다. name="w_right"인 페이지가 우리가 원하는 로그인 페이지입니다.

웹사이트의 원래 주소는 다음과 같습니다.

http://jwxt.sdu.edu.cn:7777/zhxt_bks/zhxt_bks.html

그래서 실제 형태는 제출 주소는 다음과 같아야 합니다:

http://jwxt.sdu.edu.cn:7777/zhxt_bks/xk_login.html

입력하고 보니 예상한 대로입니다.

젠장, 칭화대 과목선정제도야. . . 내 생각엔 우리 학교가 페이지를 만드는 게 너무 게을러서 그냥 빌려온 것 같다. . 결과적으로 제목도 바뀌지 않았습니다. . .

그러나 이 페이지는 여전히 우리에게 필요한 페이지가 아닙니다. 왜냐하면 POST 데이터가 제출되는 페이지는 양식의 ACTION으로 제출된 페이지여야 하기 때문입니다.

즉, POST 데이터가 어디로 전송되는지 알기 위해 소스 코드를 확인해야 합니다.

글쎄요, 육안으로 살펴보면 다음과 같습니다. POST 데이터가 제출되는 주소입니다.

주소 표시줄에 정리하세요. 전체 주소는 다음과 같습니다:

http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login

(구하는 방법은 매우 간단합니다. Firefox 브라우저에서 직접 링크를 클릭하면 링크의 주소를 볼 수 있습니다)

5. 기술 테스트

다음 작업은 Python을 사용하여 POST 데이터 전송을 시뮬레이션하고 반환된 쿠키 값을 가져오는 것입니다.

쿠키 작동에 대한 자세한 내용은 다음 블로그 게시물을 참조하세요.

http://blog.csdn.net/wxg694175346/article/ 세부정보/8925978

먼저 POST 데이터를 준비한 후, 수신할 쿠키를 준비한 후 다음과 같이 소스코드를 작성합니다.

# -*- coding: utf-8 -*-  
#---------------------------------------  
#   程序：山东大学爬虫  
#   版本：0.1  
#   作者：why  
#   日期：2013-07-12  
#   语言：Python 2.7  
#   操作：输入学号和密码  
#   功能：输出成绩的加权平均值也就是绩点  
#---------------------------------------  
  
import urllib    
import urllib2  
import cookielib  
  
cookie = cookielib.CookieJar()    
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))  
  
#需要POST的数据#  
postdata=urllib.urlencode({    
    'stuid':'201100300428',    
    'pwd':'921030'    
})  
  
#自定义一个请求#  
req = urllib2.Request(    
    url = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login',    
    data = postdata  
)  
  
#访问该链接#  
result = opener.open(req)  
  
#打印返回的内容#  
print result.read()

이후 효과를 살펴보겠습니다. 작업:

좋아, 이런 식으로 로그인을 성공적으로 시뮬레이션했습니다.

6. 상황 바꾸기

다음 작업은 크롤러를 사용하여 학생들의 점수를 얻는 것입니다.

출처 사이트를 다시 살펴보겠습니다.

HTTPFOX를 연 후 클릭하여 결과를 보고 다음 데이터가 캡처되었음을 확인합니다.

첫 번째 GET 데이터를 클릭하여 내용을 확인하면 해당 Content가 획득한 결과의 내용임을 알 수 있습니다.

페이지 링크를 얻으려면 페이지 소스코드에서 마우스 오른쪽 버튼을 클릭해 요소를 확인하고, 링크를 클릭하면 점프하는 페이지를 볼 수 있습니다(Firefox의 경우, "이 프레임 보기"를 마우스 오른쪽 버튼으로 클릭하기만 하면 됩니다.

결과를 볼 수 있는 링크는 다음과 같습니다:

http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bkscjcx.curscopre

7. 모든 것이 준비되었습니다

이제 모든 것이 준비되었으므로 크롤러에 링크를 적용하고 결과 페이지를 볼 수 있는지 확인하세요.

httpfox에서 볼 수 있듯이 점수 정보를 반환하려면 쿠키를 보내야 하므로 Python을 사용하여 점수 정보를 요청하는 쿠키 전송을 시뮬레이션합니다.

# -*- coding: utf-8 -*-  
#---------------------------------------  
#   程序：山东大学爬虫  
#   版本：0.1  
#   作者：why  
#   日期：2013-07-12  
#   语言：Python 2.7  
#   操作：输入学号和密码  
#   功能：输出成绩的加权平均值也就是绩点  
#---------------------------------------  
  
import urllib    
import urllib2  
import cookielib  
  
#初始化一个CookieJar来处理Cookie的信息#  
cookie = cookielib.CookieJar()  
  
#创建一个新的opener来使用我们的CookieJar#  
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))  
  
#需要POST的数据#  
postdata=urllib.urlencode({    
    'stuid':'201100300428',    
    'pwd':'921030'    
})  
  
#自定义一个请求#  
req = urllib2.Request(    
    url = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login',    
    data = postdata  
)  
  
#访问该链接#  
result = opener.open(req)  
  
#打印返回的内容#  
print result.read()  
  
#打印cookie的值  
for item in cookie:    
    print 'Cookie：Name = '+item.name    
    print 'Cookie：Value = '+item.value  
  
      
#访问该链接#  
result = opener.open('http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bkscjcx.curscopre')  
  
#打印返回的内容#  
print result.read()

F5를 눌러 실행하여 캡처된 데이터를 살펴보세요.

이제 문제가 없으므로 정규식을 사용하여 데이터를 변환하고 처리하면 됩니다. 조금 크레딧과 해당 점수를 꺼내십시오.

8. 손끝에서 가져오기

이렇게 많은 양의 HTML 소스 코드는 분명히 우리의 처리에 도움이 되지 않습니다. 다음으로, 필요한 것을 추출하기 위해 정규식을 사용해야 합니다. 데이터.

정규 표현식에 대한 튜토리얼을 보려면 다음 블로그 게시물을 읽어보세요.

http://blog.csdn.net/wxg694175346/article/details/8929576

결과 소스코드를 살펴보겠습니다.

既然如此，用正则表达式就易如反掌了。

我们将代码稍稍整理一下，然后用正则来取出数据：

# -*- coding: utf-8 -*-  
#---------------------------------------  
#   程序：山东大学爬虫  
#   版本：0.1  
#   作者：why  
#   日期：2013-07-12  
#   语言：Python 2.7  
#   操作：输入学号和密码  
#   功能：输出成绩的加权平均值也就是绩点  
#---------------------------------------  
  
import urllib    
import urllib2  
import cookielib  
import re  
  
class SDU_Spider:    
    # 申明相关的属性    
    def __init__(self):      
        self.loginUrl = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login'   # 登录的url  
        self.resultUrl = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bkscjcx.curscopre' # 显示成绩的url  
        self.cookieJar = cookielib.CookieJar()                                      # 初始化一个CookieJar来处理Cookie的信息  
        self.postdata=urllib.urlencode({'stuid':'201100300428','pwd':'921030'})     # POST的数据  
        self.weights = []   #存储权重，也就是学分  
        self.points = []    #存储分数，也就是成绩  
        self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookieJar))  
  
    def sdu_init(self):  
        # 初始化链接并且获取cookie  
        myRequest = urllib2.Request(url = self.loginUrl,data = self.postdata)   # 自定义一个请求  
        result = self.opener.open(myRequest)            # 访问登录页面，获取到必须的cookie的值  
        result = self.opener.open(self.resultUrl)       # 访问成绩页面，获得成绩的数据  
        # 打印返回的内容  
        # print result.read()  
        self.deal_data(result.read().decode('gbk'))  
        self.print_data(self.weights);  
        self.print_data(self.points);  
  
    # 将内容从页面代码中抠出来    
    def deal_data(self,myPage):    
        myItems = re.findall(&#39;<TR>.*?<p.*?<p.*?<p.*?<p.*?<p.*?>(.*?)</p>.*?<p.*?<p.*?>(.*?)</p>.*?</TR>&#39;,myPage,re.S)     #获取到学分  
        for item in myItems:  
            self.weights.append(item[0].encode(&#39;gbk&#39;))  
            self.points.append(item[1].encode(&#39;gbk&#39;))  
  
              
    # 将内容从页面代码中抠出来  
    def print_data(self,items):    
        for item in items:    
            print item  
              
#调用    
mySpider = SDU_Spider()    
mySpider.sdu_init()

水平有限，，正则是有点丑，。运行的效果如图：

ok，接下来的只是数据的处理问题了。。

9.凯旋而归

完整的代码如下，至此一个完整的爬虫项目便完工了。

# -*- coding: utf-8 -*-  
#---------------------------------------  
#   程序：山东大学爬虫  
#   版本：0.1  
#   作者：why  
#   日期：2013-07-12  
#   语言：Python 2.7  
#   操作：输入学号和密码  
#   功能：输出成绩的加权平均值也就是绩点  
#---------------------------------------  
  
import urllib    
import urllib2  
import cookielib  
import re  
import string  
  
  
class SDU_Spider:    
    # 申明相关的属性    
    def __init__(self):      
        self.loginUrl = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bks_login2.login'   # 登录的url  
        self.resultUrl = 'http://jwxt.sdu.edu.cn:7777/pls/wwwbks/bkscjcx.curscopre' # 显示成绩的url  
        self.cookieJar = cookielib.CookieJar()                                      # 初始化一个CookieJar来处理Cookie的信息  
        self.postdata=urllib.urlencode({'stuid':'201100300428','pwd':'921030'})     # POST的数据  
        self.weights = []   #存储权重，也就是学分  
        self.points = []    #存储分数，也就是成绩  
        self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookieJar))  
  
    def sdu_init(self):  
        # 初始化链接并且获取cookie  
        myRequest = urllib2.Request(url = self.loginUrl,data = self.postdata)   # 自定义一个请求  
        result = self.opener.open(myRequest)            # 访问登录页面，获取到必须的cookie的值  
        result = self.opener.open(self.resultUrl)       # 访问成绩页面，获得成绩的数据  
        # 打印返回的内容  
        # print result.read()  
        self.deal_data(result.read().decode('gbk'))  
        self.calculate_date();  
  
    # 将内容从页面代码中抠出来    
    def deal_data(self,myPage):    
        myItems = re.findall(&#39;<TR>.*?<p.*?<p.*?<p.*?<p.*?<p.*?>(.*?)</p>.*?<p.*?<p.*?>(.*?)</p>.*?</TR>&#39;,myPage,re.S)     #获取到学分  
        for item in myItems:  
            self.weights.append(item[0].encode(&#39;gbk&#39;))  
            self.points.append(item[1].encode(&#39;gbk&#39;))  
  
    #计算绩点，如果成绩还没出来，或者成绩是优秀良好，就不运算该成绩  
    def calculate_date(self):  
        point = 0.0  
        weight = 0.0  
        for i in range(len(self.points)):  
            if(self.points[i].isdigit()):  
                point += string.atof(self.points[i])*string.atof(self.weights[i])  
                weight += string.atof(self.weights[i])  
        print point/weight  
  
              
#调用    
mySpider = SDU_Spider()    
mySpider.sdu_init()

以上就是 [Python]网络爬虫（十）：一个爬虫的诞生全过程（以山东大学绩点运算为例）的内容，更多相关内容请关注PHP中文网（www.php.cn）！