ホームページ  >  記事  >  WeChat アプレット  >  WeChat パブリック アカウントの記事をクロールし、PDF ファイルとして保存します (Python メソッド)

WeChat パブリック アカウントの記事をクロールし、PDF ファイルとして保存します (Python メソッド)

coldplay.xixi
coldplay.xixi転載
2020-08-29 17:14:485461ブラウズ

WeChat パブリック アカウントの記事をクロールし、PDF ファイルとして保存します (Python メソッド)

[関連する学習の推奨事項: WeChat パブリック アカウント開発チュートリアル ]

はじめに

初めてブログを書くのですが、主な内容は、WeChat 公開アカウントから記事をクロールし、記事を PDF 形式でローカルに保存することです。

WeChat パブリック アカウントの記事のクロール (wechatsogou を使用)

1. インストール

pip install wechatsogou --upgrade

wechatsogou は、Sogou WeChat 検索に基づいた WeChat パブリック アカウント クローラー インターフェイスです

# 2. 利用方法

利用方法は以下の通りです

import wechatsogou
# captcha_break_time为验证码输入错误的重试次数,默认为1
ws_api = wechatsogou.WechatSogouAPI(captcha_break_time=3)
# 公众号名称
gzh_name = ''
# 将该公众号最近10篇文章信息以字典形式返回
data = ws_api.get_gzh_article_by_history(gzh_name)

dataデータ構造:

{
    'gzh': {
        'wechat_name': '',  # 名称
        'wechat_id': '',  # 微信id
        'introduction': '',  # 简介
        'authentication': '',  # 认证
        'headimage': ''  # 头像
    },
    'article': [
        {
            'send_id': int,  # 群发id,注意不唯一,因为同一次群发多个消息,而群发id一致
            'datetime': int,  # 群发datatime 10位时间戳
            'type': '',  # 消息类型,均是49(在手机端历史消息页有其他类型,网页端最近10条消息页只有49),表示图文
            'main': int,  # 是否是一次群发的第一次消息 1 or 0
            'title': '',  # 文章标题
            'abstract': '',  # 摘要
            'fileid': int,  #
            'content_url': '',  # 文章链接
            'source_url': '',  # 阅读原文的链接
            'cover': '',  # 封面图
            'author': '',  # 作者
            'copyright_stat': int,  # 文章类型,例如:原创啊
        },
        ...
    ]
}

ここで取得する情報は記事タイトルと記事URLの2つです。

記事の URL を取得したら、その URL に基づいて HTML ページを PDF ファイルに変換できます。

PDF ファイルの生成

1.wkhtmltopdf のインストール

ダウンロード アドレス: https://wkhtmltopdf.org/downloads.html

2.pdfkit のインストール

pip install pdfkit

3. 使い方

import pdfkit
# 根据url生成pdf
pdfkit.from_url('http://baidu.com','out.pdf')
# 根据html文件生成pdf
pdfkit.from_file('test.html','out.pdf')
# 根据html代码生成pdf
pdfkit.from_string('Hello!','out.pdf')

上記で取得した記事URLを直接使用してPDFを生成すると、PDFファイルに記事画像が表示されないという問題が発生します。

解決策:

# 该方法根据文章url对html进行处理,使图片显示
content_info = ws_api.get_article_content(url)
# 得到html代码(代码不完整,需要加入head、body等标签)
html_code = content_info['content_html']

次に、html_code に基づいて完全な HTML コードを構築し、

pdfkit.from_string() メソッドを呼び出して PDF ファイルを生成します。記事内の写真を検索するとPDFファイルで表示されます。

完全なコード

import os
import pdfkit
import datetime
import wechatsogou

# 初始化API
ws_api = wechatsogou.WechatSogouAPI(captcha_break_time=3)


def url2pdf(url, title, targetPath):
    '''
    使用pdfkit生成pdf文件
    :param url: 文章url
    :param title: 文章标题
    :param targetPath: 存储pdf文件的路径
    '''
    try:
        content_info = ws_api.get_article_content(url)
    except:
        return False
    # 处理后的html
    html = f'''
    <!DOCTYPE html>
    <html lang="en">
    <head>
        <meta charset="UTF-8">
        <title>{title}</title>
    </head>
    <body>
    <h2 style="text-align: center;font-weight: 400;">{title}</h2>
    {content_info[&#39;content_html&#39;]}
    </body>
    </html>
    &#39;&#39;&#39;
    try:
        pdfkit.from_string(html, targetPath + os.path.sep + f&#39;{title}.pdf&#39;)
    except:
        # 部分文章标题含特殊字符,不能作为文件名
        filename = datetime.datetime.now().strftime(&#39;%Y%m%d%H%M%S&#39;) + &#39;.pdf&#39;
        pdfkit.from_string(html, targetPath + os.path.sep + filename)


if __name__ == &#39;__main__&#39;:
    # 此处为要爬取公众号的名称
    gzh_name = &#39;&#39;
    targetPath = os.getcwd() + os.path.sep + gzh_name
    # 如果不存在目标文件夹就进行创建
    if not os.path.exists(targetPath):
        os.makedirs(targetPath)
    # 将该公众号最近10篇文章信息以字典形式返回
    data = ws_api.get_gzh_article_by_history(gzh_name)
    article_list = data[&#39;article&#39;]
    for article in article_list:
        url = article[&#39;content_url&#39;]
        title = article[&#39;title&#39;]
        url2pdf(url, title, targetPath)

関連学習の推奨事項:

Python チュートリアル

以上がWeChat パブリック アカウントの記事をクロールし、PDF ファイルとして保存します (Python メソッド)の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明:
この記事はcsdn.netで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。