찾다
백엔드 개발파이썬 튜토리얼PDF 전자책으로 변환된 Python 크롤러 구현 튜토리얼

이 기사에서는 Python 크롤러를 사용하여 "Liao Xuefeng의 Python 튜토리얼"을 PDF로 변환하는 방법과 코드를 공유합니다. 필요한 친구는 이를 참조할 수 있습니다.

크롤러를 작성하는 것은 사용하는 것보다 쉽지 않은 것 같습니다. 파이썬 맞습니다. 파이썬 커뮤니티에서 제공하는 크롤러 도구가 너무 많아서 직접 사용할 수 있는 다양한 라이브러리를 사용하면 몇 분 안에 크롤러를 작성할 수 있습니다. Liao Xuefeng의 Python 튜토리얼 누구나 오프라인에서 읽을 수 있는 PDF 전자책을 만드세요.

크롤러 작성을 시작하기 전에 먼저 웹사이트의 페이지 구조를 분석해 보겠습니다. 1. 웹 페이지의 왼쪽은 튜토리얼의 디렉토리 개요이며, 위쪽은 각 URL에 해당합니다. 오른쪽은 기사의 제목이고, 가운데는 기사의 텍스트 부분이고, 텍스트 내용은 우리가 관심을 두는 부분이고, 크롤링하려는 데이터는 모든 웹페이지의 텍스트 부분이고, 아래는 사용자의 댓글 영역입니다. , 댓글 영역은 우리에게 쓸모가 없으므로 무시해도 됩니다.

python爬虫实现教程转换成 PDF 电子书

도구 준비

웹사이트의 기본 구조를 파악한 후 크롤러가 의존하는 도구 키트 준비를 시작할 수 있습니다. 에. 요청과 beautifulsoup는 크롤러의 두 가지 주요 아티팩트이며, reuqests는 네트워크 요청에 사용되고 beautifulsoup는 html 데이터를 작동하는 데 사용됩니다. 이 두 셔틀을 사용하면 스크래피와 같은 크롤러 프레임워크가 필요하지 않습니다. 작은 프로그램에서 이를 사용하는 것은 큰 망치로 닭을 죽이는 것과 같습니다. 또한 html 파일을 pdf로 변환하므로 해당 라이브러리 지원도 있어야 합니다. wkhtmltopdf는 html을 여러 플랫폼에 적합한 pdf로 변환할 수 있는 매우 유용한 도구입니다. 먼저 다음 종속성 패키지를 설치하고

wkhtmltopdf

pip install requests
pip install beautifulsoup
pip install pdfkit
<p></p>

wkhtmltopdf 설치

를 설치하세요. Windows 플랫폼의 경우 wkhtmltopdf 공식 웹사이트에서 직접 안정 버전을 다운로드하여 설치하세요. 2 설치가 완료된 후 프로그램의 실행 경로를 시스템 환경 $PATH 변수에 추가하세요. 그렇지 않으면 pdfkit에서 wkhtmltopdf를 찾을 수 없으며 "라는 오류가 발생합니다. wkhtmltopdf 실행 파일을 찾을 수 없습니다."라는 메시지가 나타납니다. Ubuntu 및 CentOS는 명령줄을 사용하여 직접 설치할 수 있습니다

$ sudo apt-get install wkhtmltopdf # ubuntu
$ sudo yum intsall wkhtmltopdf   # centos
<p></p>

크롤러 구현

모든 것이 준비되면 코드를 작성할 수는 있지만 코드를 작성하기 전에 생각을 정리해야 합니다. 이 프로그램의 목적은 모든 URL에 해당하는 HTML 텍스트 부분을 로컬에 저장한 다음 pdfkit을 사용하여 이러한 파일을 pdf 파일로 변환하는 것입니다. 작업을 분할해 보겠습니다. 먼저 특정 URL에 해당하는 html 텍스트를 로컬에 저장한 다음 모든 URL을 찾아 동일한 작업을 수행합니다.

Chrome 브라우저를 사용하여 페이지의 본문 부분에서 태그를 찾고, F12를 눌러 본문에 해당하는 p 태그를 찾습니다. <p></p>, 여기서 p는 웹페이지의 본문 내용입니다. 요청을 사용하여 전체 페이지를 로컬로 로드한 후 beautifulsoup를 사용하여 HTML dom 요소를 작동하여 텍스트 콘텐츠를 추출할 수 있습니다.

python爬虫实现教程转换成 PDF 电子书
구체적인 구현 코드는 다음과 같습니다. 수프.find_all 함수를 사용하여 텍스트 태그를 찾은 후 텍스트 부분의 내용을 a.html 파일에 저장합니다.

def parse_url_to_html(url):
  response = requests.get(url)
  soup = BeautifulSoup(response.content, "html5lib")
  body = soup.find_all(class_="x-wiki-content")[0]
  html = str(body)
  with open("a.html", &#39;wb&#39;) as f:
    f.write(html)
<p></p>

두 번째 단계는 페이지 왼쪽에 있는 모든 URL을 구문 분석하는 것입니다. 동일한 방법을 사용하여 왼쪽 메뉴 레이블 <ul></ul>

python爬虫实现教程转换成 PDF 电子书

특정 코드 구현 논리: uk-nav 및 uk-nav-side의 두 가지 클래스 속성이 있기 때문입니다. 페이지에서 실제 디렉토리 목록은 두 번째입니다. 모든 URL을 얻었고, 첫 번째 단계에서 URL을 HTML로 변환하는 기능이 작성되었습니다.

def get_url_list():
  """
  获取所有URL目录列表
  """
  response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")
  soup = BeautifulSoup(response.content, "html5lib")
  menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]
  urls = []
  for li in menu_tag.find_all("li"):
    url = "http://www.liaoxuefeng.com" + li.a.get(&#39;href&#39;)
    urls.append(url)
  return urls
<p></p>

마지막 단계는 HTML을 PDF 파일로 변환하는 것입니다. pdfkit이 모든 로직을 캡슐화했기 때문에 pdf 파일로 변환하는 것은 매우 간단합니다. save_pdf를 실행하려면 pdfkit.from_file

def save_pdf(htmls):
  """
  把所有html文件转换成pdf文件
  """
  options = {
    &#39;page-size&#39;: &#39;Letter&#39;,
    &#39;encoding&#39;: "UTF-8",
    &#39;custom-header&#39;: [
      (&#39;Accept-Encoding&#39;, &#39;gzip&#39;)
    ]
  }
  pdfkit.from_file(htmls, file_name, options=options)
<p></p>

함수만 호출하면 됩니다. 기능, 전자적으로 책 PDF 파일이 생성되고 렌더링:

python爬虫实现教程转换成 PDF 电子书

요약

총 코드 금액의 합은 다음보다 적습니다. 하지만 50줄입니다. 사실 위에 제공된 코드에서는 기사 제목을 가져오는 방법과 같은 일부 세부 정보가 생략되어 있습니다. 텍스트 콘텐츠의 img 태그는 상대 경로를 사용합니다. 정상적으로 PDF에 있는 이미지를 보려면 상대 경로를 절대 경로로 변경해야 하며, 저장된 임시 HTML 파일도 삭제해야 합니다

PDF 전자책으로 변환된 더 많은 Python 크롤러 구현 튜토리얼을 보려면 PHP 중국어 웹사이트를 주목하세요!

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
요소를 파이썬 어레이에 어떻게 추가합니까?요소를 파이썬 어레이에 어떻게 추가합니까?Apr 30, 2025 am 12:19 AM

inpython, youappendElementStoalistUsingTheAppend () 메소드 1) useappend () forsinglelements : my_list.append (4) .2) useextend () 또는 = formultiplementements : my_list.extend (other_list) 또는 my_list = [4,5,6] .3) useinsert () forspecificpositions : my_list.insert (1,5) .Bearware

Shebang 관련 문제를 어떻게 디버그합니까?Shebang 관련 문제를 어떻게 디버그합니까?Apr 30, 2025 am 12:17 AM

Shebang 문제를 디버깅하는 방법에는 다음이 포함됩니다. 1. Shebang 라인을 확인하여 스크립트의 첫 번째 줄인지 확인하고 접두사 공간이 없는지 확인하십시오. 2. 통역 경로가 올바른지 확인하십시오. 3. 통역사에게 직접 전화하여 스크립트를 실행하여 Shebang 문제를 분리하십시오. 4. Strace 또는 Trusts를 사용하여 시스템 호출을 추적합니다. 5. Shebang에 대한 환경 변수의 영향을 확인하십시오.

파이썬 어레이에서 요소를 어떻게 제거합니까?파이썬 어레이에서 요소를 어떻게 제거합니까?Apr 30, 2025 am 12:16 AM

pythonlistscanbemanipatedusingseveralmethodstoremoveElements : 1) geremove () methodremove () methodeMovestHefirstoccurrence.2) thePop () methodRemovesAndReTurnSanElementatAgivenIndex.3) THEDELSTATEMENTCANREMORENDEX.4) LESTCORHENSCREC

파이썬 목록에 어떤 데이터 유형을 저장할 수 있습니까?파이썬 목록에 어떤 데이터 유형을 저장할 수 있습니까?Apr 30, 2025 am 12:07 AM

PythonlistscanstoreAnydatataTATY, 문자열, 부유물, 부울, 기타 목록 및 디터 시어

Python 목록에서 수행 할 수있는 일반적인 작업은 무엇입니까?Python 목록에서 수행 할 수있는 일반적인 작업은 무엇입니까?Apr 30, 2025 am 12:01 AM

pythonlistssupportnumouseOperations : 1) addingElementSwitHappend (), extend (), andinsert ()

Numpy를 사용하여 다차원 배열을 어떻게 생성합니까?Numpy를 사용하여 다차원 배열을 어떻게 생성합니까?Apr 29, 2025 am 12:27 AM

다음 단계를 통해 Numpy를 사용하여 다차원 배열을 만들 수 있습니다. 1) Numpy.array () 함수를 사용하여 NP.Array ([[1,2,3], [4,5,6]]과 같은 배열을 생성하여 2D 배열을 만듭니다. 2) np.zeros (), np.ones (), np.random.random () 및 기타 함수를 사용하여 특정 값으로 채워진 배열을 만듭니다. 3) 서브 어레이의 길이가 일관되고 오류를 피하기 위해 배열의 모양과 크기 특성을 이해하십시오. 4) NP.Reshape () 함수를 사용하여 배열의 모양을 변경하십시오. 5) 코드가 명확하고 효율적인지 확인하기 위해 메모리 사용에주의를 기울이십시오.

Numpy 어레이에서 '방송'의 개념을 설명하십시오.Numpy 어레이에서 '방송'의 개념을 설명하십시오.Apr 29, 2025 am 12:23 AM

BroadcastingInnumpyIsamethodtoperformoperationsonArraysoffferentShapesByAutomicallyAligningThem.itsimplifiesCode, enourseadability, andboostsperformance.here'showitworks : 1) smalraysarepaddedwithonestomatchdimenseare

데이터 저장을 위해 목록, Array.Array 및 Numpy Array 중에서 선택하는 방법을 설명하십시오.데이터 저장을 위해 목록, Array.Array 및 Numpy Array 중에서 선택하는 방법을 설명하십시오.Apr 29, 2025 am 12:20 AM

forpythondatastorage, chooselistsforflexibilitywithmixeddatatypes, array.arrayformemory-effic homogeneousnumericaldata, andnumpyarraysforadvancednumericalcomputing.listsareversatilebutlessefficipforlargenumericaldatasets.arrayoffersamiddlegro

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.