Python 웹 크롤러를 사용하여 King of Glory 영웅 장비 지침을 얻고 자동으로 마크다운 파일을 생성하는 방법을 단계별로 가르쳐줍니다.

1. 소개

Honor of Kings 게임을 플레이한 친구들은 모두 영웅 복장과 비문이 매우 중요하다는 것을 알고 있습니다. 왕들의 전장에서 막을 수 없다!

얼마 전 [Minglao] 그룹에서 왕의 영광 영웅의 장비 지침을 얻기 위해 Python 웹 크롤러를 공유하고 스레드 풀을 사용하여 장비 사진을 다운로드한 다음 자동으로 마크다운이 생성되는 것을 보았습니다. 유용한 콘텐츠가 많이 있으며 여기에서 여러분과 공유하겠습니다. 누구나 시도해 볼 수 있습니다.

2. 데이터 수집

여기서 저희가 타겟으로 삼는 사이트는 아래 사진과 같이 King of Glory 공식 사이트입니다.

그리고 홈페이지 우측 [영웅/스킨]의 [더보기] 버튼을 클릭하시면, 아래 그림과 같이 상세 페이지로 진입하실 수 있으며, [게임 내 아이템]을 클릭하시면 해당 장비 정보를 보실 수 있습니다. 우리가 원하는 대상 정보를 얻는 것이 포함됩니다.

브라우저를 통해 패킷을 캡처하면 특정 정보를 얻을 수 있으며, 이는 json 형식으로 저장된 것을 볼 수 있습니다.

아래 사진은 데이터 세부정보의 스크린샷입니다. 한자가 깨져 있는 것을 볼 수 있습니다. 이는 최소한 데이터를 얻을 수 있습니다.

코드 구현 과정

데이터 소스를 찾은 후 다음 단계는 코드를 구현하는 것입니다. 여기에 [Minglao] 코드가 직접 적용되어 jupyter notebook에서 실행됩니다.

장비 데이터 가져오기

import requests
import pandas as pd

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/88.0.4324.104 Safari/537.36 '
}
target = 'https://pvp.qq.com/web201605/js/item.json'
item_list = requests.get(target, headers=headers).json()
item_df = pd.DataFrame(item_list)
item_df.sort_values(["item_type", "price", "item_id"], inplace=True)
item_df.fillna("", inplace=True)
item_df.des1 = item_df.des1.str.replace("</?p>", "", regex=True)
item_df.des2 = item_df.des2.str.replace("</?p>", "", regex=True)
item_df

결과는 아래 그림과 같습니다.

멀티 스레드 사진 다운로드

다음으로 스레드 풀 방식을 사용하여 사진을 다운로드합니다. 사진의 접합 방법도 매우 간단합니다. 아래 사진을 보면 한 눈에 알 수 있습니다.

다음은 코드 구현입니다.

import os
from concurrent.futures import ThreadPoolExecutor


def download_img(item_id):
    if os.path.exists(f"imgs/{item_id}.jpg"):
        return
    imgurl = f"http://game.gtimg.cn/images/yxzj/img201606/itemimg/{item_id}.jpg"
    res = requests.get(imgurl)
    with open(f"imgs/{item_id}.jpg", "wb") as f:
        f.write(res.content)


os.makedirs("imgs", exist_ok=True)
with ThreadPoolExecutor(max_workers=8) as executor:
    nums = executor.map(download_img, item_df.item_id)

다운로드 속도는 몇 초에 불과할 정도로 매우 빠르며 결과는 아래 그림과 같습니다.

다음으로 자동으로 Markdown 문서를 생성하겠습니다. 데이터부터 살펴보겠습니다.

마크다운 문서 생성

코드는 다음과 같습니다. 첫 번째 부분은 데이터 전처리 후 파일을 작성하는 것입니다.

item_type_dict = {1: '攻击', 2: '法术', 3: '防御', 4: '移动', 5: '打野', 7: '游走'}
item_ids = item_df.item_id.values
item_df.item_id = item_df.item_id.apply(
    lambda item_id: f"![{item_id}](imgs/{item_id}.jpg)")
item_df.item_type = item_df.item_type.map(item_type_dict)
item_df.columns = ["图片", "装备名称", "类型", "售价", "总价", "基础描述", "扩展描述"]
item_df

파일을 작성하고 마크다운 문서를 생성하는 코드:

with open("王者装备说明.md", "w") as f:
    for item_type, item_split in item_df.groupby("类型", sort=False):
        f.write(f"# {item_type}\n")
        item_split.drop(columns="类型", inplace=True)
        f.write(item_split.to_markdown(index=False))
        f.write("\n\n")

결과는 아래와 같습니다.

이후 [King Equipment Description.md]라는 마크다운 문서가 로컬로 생성됩니다. 파일을 두 번 클릭하여 엽니다.

무슨 내용인가요? 대단한 사람이야! 이 단계를 구현할 때 아래와 같은 오류가 발생했습니다.

Missing optional dependency 'tabulate'.  Use pip or conda to install tabulate.

提示却少依赖库，只需要在cmd下进行安装即可pip install tabulate，之后就可以正常运行了。

生成Excel表格

不过Markdown的表格无法任意调整，图片需要点击后才会放大，下面我们考虑生成Excel表格：首先需要整理数据，代码如下：

item_df.图片 = ""
item_df.基础描述 = item_df.基础描述.str.replace("<br>", "\n")
item_df.扩展描述 = item_df.扩展描述.str.replace("<br>", "\n")
item_df

生成结果如下图所示：

之后将结果写入到Excel中去，代码如下所示：

# 写入Excel表格
from openpyxl.drawing.image import Image
from openpyxl.styles import Alignment

with pd.ExcelWriter("王者装备说明.xlsx", engine='openpyxl') as writer:
    item_df.to_excel(writer, sheet_name='装备说明', index=False)
    worksheet = writer.sheets['装备说明']
    worksheet.column_dimensions["A"].width = 11
    for item_id, (cell,) in zip(item_ids, worksheet.iter_rows(2, None, 1, 1)):
        worksheet.row_dimensions[cell.row].height = 67
        worksheet.add_image(Image(f"imgs/{item_id}.jpg"), f'A{cell.row}')
    worksheet.column_dimensions["F"].width = 15
    worksheet.column_dimensions["G"].width = 35
    writer.save()

打开文件，效果图如下图所示：

当然了，大家也可以根据自己想要的效果生成HTML和Word等等。

三、总结

大家好，我是Python进阶者。这篇文章主要分享了一个使用Python网络爬虫获取王者荣耀英雄出装说明，并使用线程池的方式下载了出装图片，之后还自动化生成了markdown文件，干货内容很多，欢迎大家积极尝试，如果有遇到问题，请添加我好友，我帮助解决。

最后感谢粉丝【明佬】分享的代码喝王者荣耀出装攻略，真是太强了，上王者指日可待！

最后放上【明佬】的csdn链接：https://xxmdmst.blog.csdn.net/article/details/124035041，点击阅读原文可以直达噢！

위 내용은 Python 웹 크롤러를 사용하여 King of Glory 영웅 장비 지침을 얻고 자동으로 마크다운 파일을 생성하는 방법을 단계별로 가르쳐줍니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!