PDF 전자책으로 변환된 Python 크롤러 구현 튜토리얼

이 기사에서는 Python 크롤러를 사용하여 "Liao Xuefeng의 Python 튜토리얼"을 PDF로 변환하는 방법과 코드를 공유합니다. 필요한 친구는 이를 참조할 수 있습니다.

크롤러를 작성하는 것은 사용하는 것보다 쉽지 않은 것 같습니다. 파이썬 맞습니다. 파이썬 커뮤니티에서 제공하는 크롤러 도구가 너무 많아서 직접 사용할 수 있는 다양한 라이브러리를 사용하면 몇 분 안에 크롤러를 작성할 수 있습니다. Liao Xuefeng의 Python 튜토리얼 누구나 오프라인에서 읽을 수 있는 PDF 전자책을 만드세요.

크롤러 작성을 시작하기 전에 먼저 웹사이트의 페이지 구조를 분석해 보겠습니다. 1. 웹 페이지의 왼쪽은 튜토리얼의 디렉토리 개요이며, 위쪽은 각 URL에 해당합니다. 오른쪽은 기사의 제목이고, 가운데는 기사의 텍스트 부분이고, 텍스트 내용은 우리가 관심을 두는 부분이고, 크롤링하려는 데이터는 모든 웹페이지의 텍스트 부분이고, 아래는 사용자의 댓글 영역입니다. , 댓글 영역은 우리에게 쓸모가 없으므로 무시해도 됩니다.

도구 준비

웹사이트의 기본 구조를 파악한 후 크롤러가 의존하는 도구 키트 준비를 시작할 수 있습니다. 에. 요청과 beautifulsoup는 크롤러의 두 가지 주요 아티팩트이며, reuqests는 네트워크 요청에 사용되고 beautifulsoup는 html 데이터를 작동하는 데 사용됩니다. 이 두 셔틀을 사용하면 스크래피와 같은 크롤러 프레임워크가 필요하지 않습니다. 작은 프로그램에서 이를 사용하는 것은 큰 망치로 닭을 죽이는 것과 같습니다. 또한 html 파일을 pdf로 변환하므로 해당 라이브러리 지원도 있어야 합니다. wkhtmltopdf는 html을 여러 플랫폼에 적합한 pdf로 변환할 수 있는 매우 유용한 도구입니다. 먼저 다음 종속성 패키지를 설치하고

wkhtmltopdf

pip install requests
pip install beautifulsoup
pip install pdfkit

wkhtmltopdf 설치

를 설치하세요. Windows 플랫폼의 경우 wkhtmltopdf 공식 웹사이트에서 직접 안정 버전을 다운로드하여 설치하세요. 2 설치가 완료된 후 프로그램의 실행 경로를 시스템 환경 $PATH 변수에 추가하세요. 그렇지 않으면 pdfkit에서 wkhtmltopdf를 찾을 수 없으며 "라는 오류가 발생합니다. wkhtmltopdf 실행 파일을 찾을 수 없습니다."라는 메시지가 나타납니다. Ubuntu 및 CentOS는 명령줄을 사용하여 직접 설치할 수 있습니다

$ sudo apt-get install wkhtmltopdf # ubuntu
$ sudo yum intsall wkhtmltopdf   # centos

크롤러 구현

모든 것이 준비되면 코드를 작성할 수는 있지만 코드를 작성하기 전에 생각을 정리해야 합니다. 이 프로그램의 목적은 모든 URL에 해당하는 HTML 텍스트 부분을 로컬에 저장한 다음 pdfkit을 사용하여 이러한 파일을 pdf 파일로 변환하는 것입니다. 작업을 분할해 보겠습니다. 먼저 특정 URL에 해당하는 html 텍스트를 로컬에 저장한 다음 모든 URL을 찾아 동일한 작업을 수행합니다.

Chrome 브라우저를 사용하여 페이지의 본문 부분에서 태그를 찾고, F12를 눌러 본문에 해당하는 p 태그를 찾습니다. 05ff9a9e18a7aecf8acff32163179ec7, 여기서 p는 웹페이지의 본문 내용입니다. 요청을 사용하여 전체 페이지를 로컬로 로드한 후 beautifulsoup를 사용하여 HTML dom 요소를 작동하여 텍스트 콘텐츠를 추출할 수 있습니다.

구체적인 구현 코드는 다음과 같습니다. 수프.find_all 함수를 사용하여 텍스트 태그를 찾은 후 텍스트 부분의 내용을 a.html 파일에 저장합니다.

def parse_url_to_html(url):
  response = requests.get(url)
  soup = BeautifulSoup(response.content, "html5lib")
  body = soup.find_all(class_="x-wiki-content")[0]
  html = str(body)
  with open("a.html", 'wb') as f:
    f.write(html)

두 번째 단계는 페이지 왼쪽에 있는 모든 URL을 구문 분석하는 것입니다. 동일한 방법을 사용하여 왼쪽 메뉴 레이블 818516a2aea8c5412fd444e4ed52d34a

특정 코드 구현 논리: uk-nav 및 uk-nav-side의 두 가지 클래스 속성이 있기 때문입니다. 페이지에서 실제 디렉토리 목록은 두 번째입니다. 모든 URL을 얻었고, 첫 번째 단계에서 URL을 HTML로 변환하는 기능이 작성되었습니다.

def get_url_list():
  """
  获取所有URL目录列表
  """
  response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")
  soup = BeautifulSoup(response.content, "html5lib")
  menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]
  urls = []
  for li in menu_tag.find_all("li"):
    url = "http://www.liaoxuefeng.com" + li.a.get('href')
    urls.append(url)
  return urls

마지막 단계는 HTML을 PDF 파일로 변환하는 것입니다. pdfkit이 모든 로직을 캡슐화했기 때문에 pdf 파일로 변환하는 것은 매우 간단합니다. save_pdf를 실행하려면 pdfkit.from_file

def save_pdf(htmls):
  """
  把所有html文件转换成pdf文件
  """
  options = {
    'page-size': 'Letter',
    'encoding': "UTF-8",
    'custom-header': [
      ('Accept-Encoding', 'gzip')
    ]
  }
  pdfkit.from_file(htmls, file_name, options=options)

함수만 호출하면 됩니다. 기능, 전자적으로 책 PDF 파일이 생성되고 렌더링:

요약

총 코드 금액의 합은 다음보다 적습니다. 하지만 50줄입니다. 사실 위에 제공된 코드에서는 기사 제목을 가져오는 방법과 같은 일부 세부 정보가 생략되어 있습니다. 텍스트 콘텐츠의 img 태그는 상대 경로를 사용합니다. 정상적으로 PDF에 있는 이미지를 보려면 상대 경로를 절대 경로로 변경해야 하며, 저장된 임시 HTML 파일도 삭제해야 합니다

PDF 전자책으로 변환된 더 많은 Python 크롤러 구현 튜토리얼을 보려면 PHP 중국어 웹사이트를 주목하세요!