Scrapy 연습: 게임 포럼에서 데이터 크롤링 및 분석

최근에는 데이터 마이닝 및 분석에 Python을 사용하는 것이 점점 더 보편화되었습니다. Scrapy는 웹사이트 데이터를 스크랩할 때 널리 사용되는 도구입니다. 이 기사에서는 후속 데이터 분석을 위해 Scrapy를 사용하여 게임 포럼에서 데이터를 크롤링하는 방법을 소개합니다.

1. 대상 선택

먼저 대상 웹사이트를 선택해야 합니다. 여기서는 게임 포럼을 선택합니다.

아래 그림과 같이 이 포럼에는 게임 가이드, 게임 다운로드, 플레이어 커뮤니케이션 등 다양한 리소스가 포함되어 있습니다.

우리의 목표는 후속 데이터 분석을 위해 게시물 제목, 작성자, 게시 시간, 답글 수 및 기타 정보를 얻는 것입니다.

2. Scrapy 프로젝트 만들기

데이터 크롤링을 시작하기 전에 Scrapy 프로젝트를 만들어야 합니다. 명령줄에 다음 명령을 입력하세요:

scrapy startproject forum_spider

이렇게 하면 "forum_spider"라는 새 프로젝트가 생성됩니다.

3. Scrapy 설정 구성

Scrapy가 포럼 웹사이트에서 필요한 데이터를 성공적으로 크롤링할 수 있도록 settings.py 파일에서 일부 설정을 구성해야 합니다. 다음은 일반적으로 사용되는 설정입니다.

BOT_NAME = 'forum_spider'

SPIDER_MODULES = ['forum_spider.spiders']
NEWSPIDER_MODULE = 'forum_spider.spiders'

ROBOTSTXT_OBEY = False # 忽略robots.txt文件
DOWNLOAD_DELAY = 1 # 下载延迟
COOKIES_ENABLED = False # 关闭cookies

4. Spider 작성

Scrapy에서 Spider는 실제 작업(예: 웹 사이트 크롤링)을 수행하는 데 사용되는 클래스입니다. 포럼에서 필요한 데이터를 얻으려면 스파이더를 정의해야 합니다.

Scrapy의 Shell을 사용하여 Spider를 테스트하고 디버그할 수 있습니다. 명령줄에 다음 명령을 입력합니다:

scrapy shell "https://forum.example.com"

이렇게 하면 대상 포럼이 있는 대화형 Python 셸이 열립니다.

셸에서는 다음 명령을 사용하여 필수 선택기를 테스트할 수 있습니다.

response.xpath("xpath_expression").extract()

여기에서 "xpath_expression"은 필수 데이터를 선택하는 데 사용되는 XPath 표현식이어야 합니다.

예를 들어 다음 코드는 포럼의 모든 스레드를 가져오는 데 사용됩니다.

response.xpath("//td[contains(@id, 'td_threadtitle_')]").extract()

XPath 표현식을 결정한 후 Spider를 만들 수 있습니다.

spiders 폴더에 "forum_spider.py"라는 새 파일을 만듭니다. 다음은 Spider의 코드입니다.

import scrapy

class ForumSpider(scrapy.Spider):
    name = "forum"
    start_urls = [
        "https://forum.example.com"
    ]

    def parse(self, response):
        for thread in response.xpath("//td[contains(@id, 'td_threadtitle_')]"):
            yield {
                'title': thread.xpath("a[@class='s xst']/text()").extract_first(),
                'author': thread.xpath("a[@class='xw1']/text()").extract_first(),
                'date': thread.xpath("em/span/@title").extract_first(),
                'replies': thread.xpath("a[@class='xi2']/text()").extract_first()
            }

위 코드에서는 먼저 Spider의 이름을 "forum"으로 정의하고 시작 URL을 설정합니다. 그런 다음 포럼 페이지의 응답을 처리하기 위해 구문 분석() 메서드를 정의했습니다.

parse() 메서드에서는 XPath 표현식을 사용하여 필요한 데이터를 선택합니다. 다음으로, Yield 문을 사용하여 Python 사전에 데이터를 생성하고 반환합니다. 이는 우리 Spider가 포럼 홈페이지의 모든 스레드를 하나씩 크롤링하고 필요한 데이터를 추출한다는 것을 의미합니다.

5. Spider 실행

Spider를 실행하기 전에 Scrapy가 올바르게 구성되었는지 확인해야 합니다. 다음 명령을 사용하여 스파이더가 제대로 작동하는지 테스트할 수 있습니다.

scrapy crawl forum

이렇게 하면 스파이더가 시작되고 스크랩된 데이터가 콘솔에 출력됩니다.

6. 데이터 분석

데이터를 성공적으로 크롤링한 후에는 일부 Python 라이브러리(예: Pandas 및 Matplotlib)를 사용하여 데이터를 분석하고 시각화할 수 있습니다.

먼저 크롤링된 데이터를 CSV 파일로 저장하여 데이터 분석 및 처리를 용이하게 할 수 있습니다.

import pandas as pd

df = pd.read_csv("forum_data.csv")
print(df.head())

이렇게 하면 CSV 파일의 처음 5개 데이터 행이 표시됩니다.

Pandas 및 Matplotlib와 같은 라이브러리를 사용하여 데이터의 통계 분석 및 시각화를 수행할 수 있습니다.

다음은 게시 시간별로 데이터를 정렬하고 총 게시물 수를 표시하는 간단한 예입니다.

import matplotlib.pyplot as plt
import pandas as pd

df = pd.read_csv("forum_data.csv")

df['date'] = pd.to_datetime(df['date']) #将时间字符串转化为时间对象
df['month'] = df['date'].dt.month

grouped = df.groupby('month')
counts = grouped.size()

counts.plot(kind='bar')
plt.title('Number of Threads by Month')
plt.xlabel('Month')
plt.ylabel('Count')
plt.show()

위 코드에서는 출시 시간을 Python Datetime 객체로 변환하고 데이터를 월별로 그룹화했습니다. 그런 다음 Matplotlib를 사용하여 매달 게시된 게시물 수를 표시하는 히스토그램을 만들었습니다.

7. 요약

이 글에서는 Scrapy를 사용하여 게임 포럼에서 데이터를 크롤링하는 방법을 소개하고, 데이터 분석 및 시각화를 위해 Python의 Pandas 및 Matplotlib 라이브러리를 사용하는 방법을 보여줍니다. 이러한 도구는 데이터 분석 분야에서 매우 널리 사용되는 Python 라이브러리이며 웹 사이트 데이터를 탐색하고 시각화하는 데 사용할 수 있습니다.

위 내용은 Scrapy 연습: 게임 포럼에서 데이터 크롤링 및 분석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!