Twitterデータのクローリングと分析におけるScrapyの実用化

Scrapy は、インターネットからデータを迅速にクロールでき、データ処理と分析のためのシンプルで使いやすい API とツールを提供する Python ベースの Web クローラー フレームワークです。この記事では、Twitter データのクローリングと分析における Scrapy の実際の適用事例について説明します。

Twitter は、膨大なユーザーとデータ リソースを抱えるソーシャル メディア プラットフォームです。研究者、ソーシャルメディアアナリスト、データサイエンティストは、データマイニングと分析を通じて大量のデータにアクセスし、興味深い洞察や情報を発見できます。ただし、Twitter API を介したデータの取得にはいくつかの制限があり、Scrapy は人間のアクセスをシミュレートすることでこれらの制限を回避し、より大量の Twitter データを取得できます。

まず、Twitter 開発者アカウントを作成し、API キーとアクセス トークンを申請する必要があります。次に、Scrapy の settings.py ファイルに Twitter API アクセス パラメータを設定する必要があります。これにより、Scrapy が Twitter API への手動アクセスをシミュレートしてデータを取得できるようになります。例:

TWITTER_CONSUMER_KEY = 'your_consumer_key'
TWITTER_CONSUMER_SECRET = 'your_consumer_secret'
TWITTER_ACCESS_TOKEN = 'your_access_token'
TWITTER_ACCESS_TOKEN_SECRET = 'your_access_token_secret'

次に、Twitter データをクロールするために Scrapy クローラーを定義する必要があります。 Scrapy の項目定義を使用して、クロールするデータのタイプを指定できます。例:

class TweetItem(scrapy.Item):
    text = scrapy.Field()
    created_at = scrapy.Field()
    user_screen_name = scrapy.Field()

クローラー設定では、クエリ対象のキーワードと時間範囲を設定できます。例:

class TwitterSpider(scrapy.Spider):
    name = 'twitter'
    allowed_domains = ['twitter.com']
    start_urls = ['https://twitter.com/search?f=tweets&q=keyword%20since%3A2021-01-01%20until%3A2021-12-31&src=typd']

    def parse(self, response):
        tweets = response.css('.tweet')
        for tweet in tweets:
            item = TweetItem()
            item['text'] = tweet.css('.tweet-text::text').extract_first().strip()
            item['created_at'] = tweet.css('._timestamp::text').extract_first()
            item['user_screen_name'] = tweet.css('.username b::text').extract_first().strip()
            yield item

このサンプル クローラーでは、CSS セレクターを使用して、2021 年 1 月 1 日から 2021 年 12 月 31 日までの Twitter 上の「キーワード」に関するすべてのツイートを抽出しました。上記で定義した TweetItem オブジェクトにデータを保存し、yield ステートメントを介して Scrapy エンジンに渡します。

Scrapy クローラーを実行すると、人間による Twitter API へのアクセスが自動的にシミュレートされ、Twitter データが取得され、定義されたデータ型 TweetItem オブジェクトに保存されます。 Scrapy が提供するさまざまなツールとデータ分析ライブラリを使用して、クロールされたデータを分析およびマイニングできます。たとえば、次のとおりです。

class TwitterAnalyzer():
    def __init__(self, data=[]):
        self.data = data
        self.texts = [d['text'] for d in data]
        self.dates = [dt.strptime(d['created_at'], '%a %b %d %H:%M:%S %z %Y').date() for d in data]

    def get_top_hashtags(self, n=5):
        hashtags = Counter([re.findall(r'(?i)#w+', t) for t in self.texts])
        return hashtags.most_common(n)

    def get_top_users(self, n=5):
        users = Counter([d['user_screen_name'] for d in self.data])
        return users.most_common(n)

    def get_dates_histogram(self, step='day'):
        if step == 'day':
            return Counter(self.dates)
        elif step == 'week':
            return Counter([date.fromisoformat(str(dt).split()[0]) for dt in pd.date_range(min(self.dates), max(self.dates), freq='W')])

analyzer = TwitterAnalyzer(data)
print(analyzer.get_top_hashtags())
print(analyzer.get_top_users())
print(analyzer.get_dates_histogram('day'))

このサンプル コードでは、TweetItem を使用する TwitterAnalyzer クラスを定義します。オブジェクト内のデータは役立ちます。私たちはTwitterのデータからさまざまな情報や洞察を取得します。このクラスのメソッドを使用すると、ツイートで最も頻繁に使用されるハッシュ タグを取得したり、アクティブ ユーザーやインプレッション データの時間変化を明らかにしたりできます。

つまり、Scrapy は、Twitter などの Web サイトからデータを取得し、データマイニングと分析技術を使用して興味深い情報や洞察を発見するのに役立つ非常に効果的なツールです。あなたが学術研究者であっても、ソーシャルメディアアナリストであっても、データサイエンス愛好家であっても、Scrapy は試して使用する価値のあるツールです。

以上がTwitterデータのクローリングと分析におけるScrapyの実用化の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。