クローラー - Python クローラーで JavaScript 関数のページ回転を完了するにはどうすればよいですか?

Question

Web ページをクロールしたときに、このような機能によってページめくりが実装されていることに気づきました。ページをめくっても、ページの URL は変わりませんでした:

リーリー

ページめくりを実現するために次のような関数を作成しました:

リーリー

しかし、turn_page() を呼び出した後、ページめくりが失敗しました。この問題はどうやって解決すればよいでしょうか?また、このような問題を解決するにはどのような知識を自分で学べばよいでしょうか?ありがとうございます!

Answer 1

• セレンの使用を推奨します

• たとえば、インターフェース上の次のページボタンをクリックする必要がある場合、または上下左右のキーを入力する必要がある場合、ページをめくることができ、Selenium Webdriver がそれを実行でき、参照を提供できます。 (私はQidian中国語ウェブサイトの小説をクロールしていました)

• Selenium は、ページと対話し、クリック、ダブルクリック、Enter を実行し、ページが読み込まれるのを待機します (暗黙的な待機と明示的な待機)。 。 。 。

リーリー

Answer 2

いくつかの状況があります。
1. JS エフェクトをスライドまたはクリックすることでページをめくることができます。
2. ハイパーリンクをクリックすることでページをめくることができます。

Chrome のデベロッパー ツールでネットワーク分析を使用すると、HTML ページであってもフィードバック JSON レンダリングであっても、結果を取得できます。

json は処理が簡単で、結果を直接取得するだけです。通常の HTML ページでは、改ページに通常のマッチングを使用する必要があります。次に、リンクをプールに入れてクロールします。

/a/11...