私はノードを初めて使用するので、Sina Weibo のコメントをクロールするためのクローラーを作成したいと考えていますが、ページは JS によって動的に生成されており、http モジュールではクロールできないことがわかりました。そのため、phantomjs を使用してクロールしました (聞いたところ)。 「遅くなります。15 分近く実行されています。遅すぎます。書き方が間違っているのではないかと思います。」と表示されていますが、それでも動作しません。新浪微博と同じように Web ページをクロールする方法はありますか?
リーリー
扔个三星炸死你2017-06-30 10:02:08
Weiboのクローリングについて書きました
アイデアは2つあります。注意深く見ると、対応するデータを取得し、正規表現を使用してそれに一致するインターフェースがあるはずです
Weiboは開発者APIインターフェースを提供しますが、使用するのはより面倒です