머리말

블로그를 처음 작성합니다. 주요 콘텐츠는 WeChat 공개 계정의 기사를 크롤링하는 것입니다. 기사를 PDF 형식으로 변환하여 로컬에 저장하세요.

Wechatsogou 기사 크롤링(wechatsogou 사용)

1. 설치

pip install wechatsogou --upgrade

wechatsogou는 Sogou WeChat 검색을 기반으로 하는 Wechat 공용 계정 크롤러 인터페이스입니다.

2 사용 방법

사용 방법은 다음과 같습니다

import wechatsogou
# captcha_break_time为验证码输入错误的重试次数，默认为1
ws_api = wechatsogou.WechatSogouAPI(captcha_break_time=3)
# 公众号名称
gzh_name = &#39;&#39;
# 将该公众号最近10篇文章信息以字典形式返回
data = ws_api.get_gzh_article_by_history(gzh_name)

data 구조 :

{
    &#39;gzh&#39;: {
        &#39;wechat_name&#39;: &#39;&#39;,  # 名称
        &#39;wechat_id&#39;: &#39;&#39;,  # 微信id
        &#39;introduction&#39;: &#39;&#39;,  # 简介
        &#39;authentication&#39;: &#39;&#39;,  # 认证
        &#39;headimage&#39;: &#39;&#39;  # 头像
    },
    &#39;article&#39;: [
        {
            &#39;send_id&#39;: int,  # 群发id，注意不唯一，因为同一次群发多个消息，而群发id一致
            &#39;datetime&#39;: int,  # 群发datatime 10位时间戳
            &#39;type&#39;: &#39;&#39;,  # 消息类型，均是49（在手机端历史消息页有其他类型，网页端最近10条消息页只有49），表示图文
            &#39;main&#39;: int,  # 是否是一次群发的第一次消息 1 or 0
            &#39;title&#39;: &#39;&#39;,  # 文章标题
            &#39;abstract&#39;: &#39;&#39;,  # 摘要
            &#39;fileid&#39;: int,  #
            &#39;content_url&#39;: &#39;&#39;,  # 文章链接
            &#39;source_url&#39;: &#39;&#39;,  # 阅读原文的链接
            &#39;cover&#39;: &#39;&#39;,  # 封面图
            &#39;author&#39;: &#39;&#39;,  # 作者
            &#39;copyright_stat&#39;: int,  # 文章类型，例如：原创啊
        },
        ...
    ]
}

여기에서 기사 제목과 기사 URL이라는 두 가지 정보를 얻어야 합니다.

기사 URL을 얻은 후 해당 URL을 기반으로 html 페이지를 pdf 파일로 변환할 수 있습니다.

PDF 파일 생성

1. wkhtmltopdf 설치

다운로드 주소 : https://wkhtmltopdf.org/downloads.html

2.pdfkit

pip install pdfkit

설치 방법

import pdfkit
# 根据url生成pdf
pdfkit.from_url(&#39;http://baidu.com&#39;,&#39;out.pdf&#39;)
# 根据html文件生成pdf
pdfkit.from_file(&#39;test.html&#39;,&#39;out.pdf&#39;)
# 根据html代码生成pdf
pdfkit.from_string(&#39;Hello!&#39;,&#39;out.pdf&#39;)

3. 위의 URL을 직접 사용하여 PDF를 생성할 경우 PDF 파일에 기사 이미지가 표시되지 않는 문제가 발생합니다.

해결책:

# 该方法根据文章url对html进行处理，使图片显示
content_info = ws_api.get_article_content(url)
# 得到html代码(代码不完整，需要加入head、body等标签)
html_code = content_info[&#39;content_html&#39;]

그런 다음 html_code를 기반으로 완전한 html 코드를 구성하고 pdfkit.from_string() 메소드를 호출하여 pdf 파일을 생성합니다. 이때 기사의 사진이 pdf 파일로 표시되는 것을 확인할 수 있습니다.

전체 코드

import os
import pdfkit
import datetime
import wechatsogou

# 初始化API
ws_api = wechatsogou.WechatSogouAPI(captcha_break_time=3)


def url2pdf(url, title, targetPath):
    &#39;&#39;&#39;
    使用pdfkit生成pdf文件
    :param url: 文章url
    :param title: 文章标题
    :param targetPath: 存储pdf文件的路径
    &#39;&#39;&#39;
    try:
        content_info = ws_api.get_article_content(url)
    except:
        return False
    # 处理后的html
    html = f&#39;&#39;&#39;
    <!DOCTYPE html>
    <html lang="en">
    <head>
        <meta charset="UTF-8">
        <title>{title}</title>
    </head>
    <body>
    <h2 id="title">{title}</h2>
    {content_info[&#39;content_html&#39;]}
    </body>
    </html>
    &#39;&#39;&#39;
    try:
        pdfkit.from_string(html, targetPath + os.path.sep + f&#39;{title}.pdf&#39;)
    except:
        # 部分文章标题含特殊字符，不能作为文件名
        filename = datetime.datetime.now().strftime(&#39;%Y%m%d%H%M%S&#39;) + &#39;.pdf&#39;
        pdfkit.from_string(html, targetPath + os.path.sep + filename)


if __name__ == &#39;__main__&#39;:
    # 此处为要爬取公众号的名称
    gzh_name = &#39;&#39;
    targetPath = os.getcwd() + os.path.sep + gzh_name
    # 如果不存在目标文件夹就进行创建
    if not os.path.exists(targetPath):
        os.makedirs(targetPath)
    # 将该公众号最近10篇文章信息以字典形式返回
    data = ws_api.get_gzh_article_by_history(gzh_name)
    article_list = data[&#39;article&#39;]
    for article in article_list:
        url = article[&#39;content_url&#39;]
        title = article[&#39;title&#39;]
        url2pdf(url, title, targetPath)

관련 학습 권장 사항: python 튜토리얼

위 내용은 WeChat 공개 계정 기사를 크롤링하여 PDF 파일로 저장(Python 방식)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명

이 기사는 CSDN에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제

핫 AI 도구

뜨거운 도구

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

Dreamweaver Mac版

시각적 웹 개발 도구

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.