手把手教你使用Python網路爬蟲取得王者榮耀英雄出裝說明並自動化產生markdown文件

#一、前言

#玩過王者榮耀遊戲的小夥伴們都知道英雄出裝是十分重要的事情，一個合理的出裝，再加上銘文，可以讓你在王者戰場上勢如破竹，unstoppable！

前幾天在【明佬】群組裡看到他分享了一個使用Python網絡爬蟲獲取王者榮耀英雄出裝說明，並使用線程池的方式下載了出裝圖片，之後還自動化生成了markdown文件，乾貨內容很多，這裡拿出來分享給大家，歡迎大家積極嘗試。

二、資料取得

這裡我們的目標網站是王者榮耀官網，如下圖所示。

之後依序點擊首頁右側中的【英雄/皮膚】的【更多】按鈕，可以進入到詳情頁，如下圖所示，點擊【局內道具】就可以看到出裝訊息了，裡邊包含了我們想要的目標訊息。

透過瀏覽器抓包，可以獲取到具體的信息，可以看到存放在json格式中。

下圖是資料詳情截圖，可以看到有中文亂碼，這個不影響，起碼資料是可以拿到的。

程式碼實作過程

#找到資料來源之後，接下來就是程式碼實作了，一起來看看吧，這裡直接套用【明佬】程式碼，在jupyter notebook中跑的。

取得裝備資料

import requests
import pandas as pd

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/88.0.4324.104 Safari/537.36 '
}
target = 'https://pvp.qq.com/web201605/js/item.json'
item_list = requests.get(target, headers=headers).json()
item_df = pd.DataFrame(item_list)
item_df.sort_values(["item_type", "price", "item_id"], inplace=True)
item_df.fillna("", inplace=True)
item_df.des1 = item_df.des1.str.replace("</?p>", "", regex=True)
item_df.des2 = item_df.des2.str.replace("</?p>", "", regex=True)
item_df

結果如下圖所示：

多執行緒下載圖片

接下來使用執行緒池的方法下載圖片，圖片的拼接方法也很簡單，看下圖就一目了然了。

以下是程式碼實作：

import os
from concurrent.futures import ThreadPoolExecutor


def download_img(item_id):
    if os.path.exists(f"imgs/{item_id}.jpg"):
        return
    imgurl = f"http://game.gtimg.cn/images/yxzj/img201606/itemimg/{item_id}.jpg"
    res = requests.get(imgurl)
    with open(f"imgs/{item_id}.jpg", "wb") as f:
        f.write(res.content)


os.makedirs("imgs", exist_ok=True)
with ThreadPoolExecutor(max_workers=8) as executor:
    nums = executor.map(download_img, item_df.item_id)

下載速度很快，幾秒鐘的事情，結果如下圖所示：

接下來，我們將資料自動化產生Markdown文檔，一起來看看吧。

產生Markdown文件

程式碼如下，前面部分是資料的預處理，後面是寫入檔案：

item_type_dict = {1: '攻击', 2: '法术', 3: '防御', 4: '移动', 5: '打野', 7: '游走'}
item_ids = item_df.item_id.values
item_df.item_id = item_df.item_id.apply(
    lambda item_id: f"![{item_id}](imgs/{item_id}.jpg)")
item_df.item_type = item_df.item_type.map(item_type_dict)
item_df.columns = ["图片", "装备名称", "类型", "售价", "总价", "基础描述", "扩展描述"]
item_df

寫入檔案的程式碼，產生Markdown文檔：

with open("王者装备说明.md", "w") as f:
    for item_type, item_split in item_df.groupby("类型", sort=False):
        f.write(f"# {item_type}\n")
        item_split.drop(columns="类型", inplace=True)
        f.write(item_split.to_markdown(index=False))
        f.write("\n\n")

結果如下圖所示：

之後在本機還會產生一個名為【王者裝備說明.md】的Markdown文檔，雙擊文件打開，內容如下圖所示：

真是直呼好傢伙！我在這一步實現的時候，遇到了一個報錯，如下：

Missing optional dependency 'tabulate'.  Use pip or conda to install tabulate.

提示却少依赖库，只需要在cmd下进行安装即可pip install tabulate，之后就可以正常运行了。

生成Excel表格

不过Markdown的表格无法任意调整，图片需要点击后才会放大，下面我们考虑生成Excel表格：首先需要整理数据，代码如下：

item_df.图片 = ""
item_df.基础描述 = item_df.基础描述.str.replace("<br>", "\n")
item_df.扩展描述 = item_df.扩展描述.str.replace("<br>", "\n")
item_df

生成结果如下图所示：

之后将结果写入到Excel中去，代码如下所示：

# 写入Excel表格
from openpyxl.drawing.image import Image
from openpyxl.styles import Alignment

with pd.ExcelWriter("王者装备说明.xlsx", engine='openpyxl') as writer:
    item_df.to_excel(writer, sheet_name='装备说明', index=False)
    worksheet = writer.sheets['装备说明']
    worksheet.column_dimensions["A"].width = 11
    for item_id, (cell,) in zip(item_ids, worksheet.iter_rows(2, None, 1, 1)):
        worksheet.row_dimensions[cell.row].height = 67
        worksheet.add_image(Image(f"imgs/{item_id}.jpg"), f'A{cell.row}')
    worksheet.column_dimensions["F"].width = 15
    worksheet.column_dimensions["G"].width = 35
    writer.save()

打开文件，效果图如下图所示：

当然了，大家也可以根据自己想要的效果生成HTML和Word等等。

三、总结

大家好，我是Python进阶者。这篇文章主要分享了一个使用Python网络爬虫获取王者荣耀英雄出装说明，并使用线程池的方式下载了出装图片，之后还自动化生成了markdown文件，干货内容很多，欢迎大家积极尝试，如果有遇到问题，请添加我好友，我帮助解决。

最后感谢粉丝【明佬】分享的代码喝王者荣耀出装攻略，真是太强了，上王者指日可待！

最后放上【明佬】的csdn链接：https://xxmdmst.blog.csdn.net/article/details/124035041，点击阅读原文可以直达噢！

以上是手把手教你使用Python網路爬蟲取得王者榮耀英雄出裝說明並自動化產生markdown文件的詳細內容。更多資訊請關注PHP中文網其他相關文章！