트위터 데이터 크롤링 및 분석에 Scrapy를 실제로 적용

Scrapy는 인터넷에서 데이터를 빠르게 크롤링할 수 있고 데이터 처리 및 분석을 위한 간단하고 사용하기 쉬운 API와 도구를 제공하는 Python 기반 웹 크롤러 프레임워크입니다. 이 글에서는 트위터 데이터 크롤링 및 분석에 있어 Scrapy의 실제 적용 사례에 대해 논의하겠습니다.

트위터는 대규모 사용자와 데이터 리소스를 갖춘 소셜 미디어 플랫폼입니다. 연구원, 소셜 미디어 분석가 및 데이터 과학자는 대량의 데이터에 액세스하고 데이터 마이닝 및 분석을 통해 흥미로운 통찰력과 정보를 발견할 수 있습니다. 그러나 Twitter API를 통해 데이터를 얻는 데에는 몇 가지 제한 사항이 있으며 Scrapy는 더 많은 양의 Twitter 데이터를 얻기 위해 인간 액세스를 시뮬레이션하여 이러한 제한을 우회할 수 있습니다.

먼저 트위터 개발자 계정을 만들고 API Key와 Access Token을 신청해야 합니다. 다음으로 Scrapy의 settings.py 파일에서 Twitter API 액세스 매개변수를 설정해야 합니다. 이를 통해 Scrapy는 Twitter API에 대한 수동 액세스를 시뮬레이션하여 데이터를 얻을 수 있습니다. 예:

TWITTER_CONSUMER_KEY = 'your_consumer_key'
TWITTER_CONSUMER_SECRET = 'your_consumer_secret'
TWITTER_ACCESS_TOKEN = 'your_access_token'
TWITTER_ACCESS_TOKEN_SECRET = 'your_access_token_secret'

다음으로 Twitter 데이터를 크롤링하기 위해 Scrapy 크롤러를 정의해야 합니다. Scrapy의 항목 정의를 사용하여 크롤링할 데이터 유형을 지정할 수 있습니다. 예:

class TweetItem(scrapy.Item):
    text = scrapy.Field()
    created_at = scrapy.Field()
    user_screen_name = scrapy.Field()

크롤러 구성에서 쿼리할 키워드와 시간 범위를 설정할 수 있습니다. 예:

class TwitterSpider(scrapy.Spider):
    name = 'twitter'
    allowed_domains = ['twitter.com']
    start_urls = ['https://twitter.com/search?f=tweets&q=keyword%20since%3A2021-01-01%20until%3A2021-12-31&src=typd']

    def parse(self, response):
        tweets = response.css('.tweet')
        for tweet in tweets:
            item = TweetItem()
            item['text'] = tweet.css('.tweet-text::text').extract_first().strip()
            item['created_at'] = tweet.css('._timestamp::text').extract_first()
            item['user_screen_name'] = tweet.css('.username b::text').extract_first().strip()
            yield item

이 예제 크롤러에서는 우리는 CSS 선택기를 사용하여 2021년 1월 1일부터 2021년 12월 31일까지 Twitter의 "키워드"에 대한 모든 트윗을 추출했습니다. 위에서 정의한 TweetItem 객체에 데이터를 저장하고 항복 문을 통해 Scrapy 엔진에 전달합니다.

Scrapy 크롤러를 실행하면 Twitter API에 대한 인간의 액세스를 자동으로 시뮬레이션하고 Twitter 데이터를 가져와 정의된 데이터 유형 TweetItem 개체에 저장합니다. Scrapy에서 제공하는 다양한 도구와 데이터 분석 라이브러리를 사용하여 다음과 같이 크롤링된 데이터를 분석하고 마이닝할 수 있습니다.

class TwitterAnalyzer():
    def __init__(self, data=[]):
        self.data = data
        self.texts = [d['text'] for d in data]
        self.dates = [dt.strptime(d['created_at'], '%a %b %d %H:%M:%S %z %Y').date() for d in data]

    def get_top_hashtags(self, n=5):
        hashtags = Counter([re.findall(r'(?i)#w+', t) for t in self.texts])
        return hashtags.most_common(n)

    def get_top_users(self, n=5):
        users = Counter([d['user_screen_name'] for d in self.data])
        return users.most_common(n)

    def get_dates_histogram(self, step='day'):
        if step == 'day':
            return Counter(self.dates)
        elif step == 'week':
            return Counter([date.fromisoformat(str(dt).split()[0]) for dt in pd.date_range(min(self.dates), max(self.dates), freq='W')])

analyzer = TwitterAnalyzer(data)
print(analyzer.get_top_hashtags())
print(analyzer.get_top_users())
print(analyzer.get_dates_histogram('day'))

이 샘플 코드에서는 TweetItem 개체의 데이터를 사용하여 다양한 정보를 얻는 데 도움이 되는 TwitterAnalyzer 클래스를 정의합니다. 그리고 트위터 데이터에서 얻은 통찰력. 이 클래스의 메소드를 사용하여 트윗에서 가장 자주 사용되는 해시 태그를 얻고, 활성 사용자의 시간 변화와 노출 데이터 등을 공개할 수 있습니다.

간단히 말해서 Scrapy는 Twitter와 같은 웹사이트에서 데이터를 얻은 다음 데이터 마이닝 및 분석 기술을 사용하여 흥미로운 정보와 통찰력을 발견하는 데 도움이 되는 매우 효과적인 도구입니다. 학술 연구원, 소셜 미디어 분석가, 데이터 과학 애호가 등 Scrapy는 시도해 볼 가치가 있는 도구입니다.

위 내용은 트위터 데이터 크롤링 및 분석에 Scrapy를 실제로 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!