selenium - Python クローラー ツールについて質問します。

Question

1) 私が捉えたいのは、Instagram 上の特定のスターのファンです。
2) Instagram の PC サイトでは、大量の JS レンダリングが使用されています。
3) 私はクローラーを書いたことはありません。上司はそうするでしょう。明日データが必要です

私は現在、BeautifulSoup、selenium、phantomjs

を使用しています。

コードデモはおそらく

です リーリー

問題は次のとおりです:
1) クリックが正常に実行されたかどうか、クリック要素が正しいかどうかがわかりません。ドライバーには参照用の戻り値がないようです。
2)クリックは成功しました。呼び出しのみですか。js の click() メソッドがトリガーされない場合はどうすればよいですか?
3) page_source を最初にレンダリングするか、click を最初にレンダリングするかわかりません。 まず、クリックの実行が成功したとします。ソースには返されないのでしょうか?

ああ、爬虫類のボスの皆さん、ありがとう

Answer 1

どういう意味ですか？私は困惑しています。 。 。

Selenium オートメーション、クリックはユーザーのクリックを模倣することができ、自分でページをクリックするのと同じように、すべてが仮想ブラウザードライバーで行われます。

ビジネスロジックを見てください。 。 。たとえば、一部のデータはクリックして取得する必要があるため、最初にクリックしてからソース コードを取得します。