Python - Sina Weibo でユーザーの転送された Weibo 投稿の数と元の Weibo 投稿の数を取得する方法

Question

1. 問題の説明
Weibo 荒らしに関連する分析を行っており、転送された Weibo 投稿の割合と、Weibo ユーザーによる元の Weibo 投稿の割合、つまり、他の投稿を転送したユーザーの数を取得する必要があります。人々の Weibo 投稿数/すべての Weibo 投稿数。

文献を確認したところ、多くの人の論文にこの種のデータが含まれていることがわかりましたが、その入手方法がわかりません。

#Weibo のモバイル版と PC 版の両方で、フィルタリングを使用してその人の転送された Weibo を見つけることができることがわかりましたが、モバイル版でこのようにフィルタリングすると、返される結果は空になります。

コンピューター版で得られた結果に関しては、転送された Weibo の数と元の Weibo の数の合計は、明らかに Weibo の総数よりもはるかに少なくなります。

#2. 助けが必要です

(1) Sina Weibo の検索エンジンに問題がありますか?

(2) 何らかの検索方法を使用して、ある人の元の Weibo 投稿と転送された Weibo 投稿の数を取得できますか? ? APIとクローラの両方が利用可能です。 (非表示の Weibo も含まれるため、Weibo の総数 - 元の Weibo の数は使用しないでください)。

Answer 1

私は分散型 Weibo クローラーをオープンソース化しました。このプロジェクトは元々、(私自身の作品に関連した) 人気のある Weibo の再投稿を分析するために使用されました。その後、何度も修正し、多くの新機能を追加して、オープンソースにしました。最初の質問については、Weibo の検索エンジンに問題があるのでしょうか。たとえば、Weibo システムでは、場所による検索など、ユーザーのフォローやユーザーのファンに対して返されるデータは 5 ページのみに制限されているため、意図的な可能性があると思います。ユーザーは数万のデータのみを返します。また、表示権限がない Weibo 投稿がいくつかあるにもかかわらず、取得される結果は表示権限があるものである可能性もあります。
あなたが言及した2番目の質問は、目に見えないWeiboを取得できないということです。クローラーは一般のユーザーが見ることができるWeiboデータのみを取得できます。これもコードに実装しました。なぜなら、非公開のWeiboであれば間違いなくWeiboシステムでは表示されず、APIも利用できないはずだからです。 Weibo は非常に大きな企業であるため、依然としてユーザーのプライバシーを保護する必要があります。
モバイル端末の検索インターフェースで検索しても何も返されない理由は、実は Weibo が意図的にこれを行っているためである可能性があります。よく調べてみると、モバイル側の Weibo の情報よりも PC 側の情報の方がはるかに豊富であることがわかります。したがって、クローラーを作成し、包括的なデータが必要な場合は、PC 側から開始する必要があります。