Python 크롤러, 미국 드라마 웹사이트 확보

이 기사는 원래 MaNong.com – Xiao Hao에 의해 작성되었습니다. 재인쇄하려면 기사 끝에 있는 재인쇄 요구 사항을 읽어보세요. 유료 기부 계획에 참여하신 것을 환영합니다!

저는 항상 미국 TV 시리즈를 보는 습관이 있어서 한편으로는 영어 듣기도 연습하고, 다른 한편으로는 시간을 보냅니다. 예전에는 동영상 웹사이트를 통해 온라인으로 시청할 수 있었지만, 국가광파영화TV총국의 제한 명령으로 인해 수입된 미국과 영국 드라마가 더 이상 예전처럼 동시에 업데이트되지 않는 것 같습니다. 그런데 너드로서 어떻게 드라마를 하나도 안 볼 수가 있는데, 인터넷으로 확인해보니 썬더를 이용해 다양한 자료를 마음대로 다운로드할 수 있는 미국 드라마 다운로드 사이트인 [Tiantian American Dramas]를 찾았습니다. 저는 BBC의 고화질 다큐멘터리에 푹 빠졌어요. 자연이 너무 아름답거든요.

다운받을 수 있는 리소스 사이트를 찾았지만 브라우저를 열 때마다 URL을 입력하고 미국 드라마를 찾은 다음 다운로드 링크. 시간이 오래 지나면 절차가 매우 번거로워지고 때로는 웹사이트 링크가 열리지 않아 약간 번거롭습니다. 우연히 파이썬 크롤러를 배워서 오늘은 즉흥적으로 웹사이트에 있는 미국 드라마 링크를 다 잡아다가 텍스트 문서로 저장하는 크롤러를 작성해봤습니다. 그것을 복사하고 링크를 Thunder를 통해 다운로드할 수 있습니다.

사실 원래는 URL을 찾고 요청을 사용하여 다운로드 링크를 열고 크롤링하며 홈페이지부터 전체 사이트를 크롤링하는 메서드를 작성할 계획이었습니다. 하지만 반복되는 링크가 많고, 웹사이트의 URL이 생각보다 규칙적이지 않습니다. 오랫동안 글을 써왔지만 아직 제가 원하는 다양한 크롤러가 작성되지 않았습니다. 충분하니 계속 열심히 하세요. . . 그래서 제가 예전에 썼던 크롤러 경험을 교묘하게 활용했는데, 그 뒤에 있는 숫자는 바꿀 수 없나요? . 를 입력한 후 range 함수를 사용하여 연속적으로 숫자를 직접 생성하여 URL을 구성합니다.

위 단계의 구현 코드는 다음과 같습니다.

def get_urls(self):
    try:
        for i in range(2015,25000):
            base_url='http://cn163.net/archives/'
            url=base_url+str(i)+'/'
            if requests.get(url).status_code == 404:
                continue
            else:
                self.save_links(url)
    except Exception,e:
        pass

나머지는 순조롭게 진행되었습니다. 이전에 누군가가 작성한 유사한 크롤러를 인터넷에서 찾았지만 기사 하나만 크롤링했기 때문에 정규식을 빌렸습니다. BeautifulSoup을 사용해 보았으나 일반 방법만큼 효과가 좋지 않아 과감히 포기했습니다. 학습에는 한계가 없습니다. 그러나 그 효과는 그리 이상적이지 않습니다. 링크 중 약 절반은 올바르게 크롤링할 수 없으므로 계속해서 최적화해야 합니다.

rree

풀버전 코드도 멀티스레딩을 사용하고 있는데, 파이썬의 GIL 때문인 것 같습니다. 하지만 URL 오류와 일치하지 않는 URL을 제외하면 총 크롤링 시간은 20분 미만입니다. 원래는 Redis를 사용하여 두 대의 Linux 시스템에서 크롤링하려고 했지만 많은 고민 끝에 불필요하다고 느꼈기 때문에 그대로 두었고 나중에 더 많은 데이터가 필요할 때 사용하겠습니다.

이 과정에서 저를 괴롭혔던 또 다른 문제는 파일 이름 저장이었습니다. txt 텍스트 형식의 파일 이름에는 공백이 포함될 수 있지만 슬래시, 백슬래시 또는 괄호 등은 포함될 수 없습니다. 이게 문제예요. 아침 내내 이것 때문에 시간을 보냈어요. 처음에는 데이터를 크롤링하는 중 오류인 줄 알았습니다. 오랫동안 확인해보니 크롤링된 드라마 제목에 슬래시가 포함되어 있었습니다. 비참한. .

위 내용은 Python 크롤러, 미국 드라마 웹사이트 확보의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!