ホームページ >バックエンド開発 >PHPチュートリアル >シンプルなデータスクレイピングツール
シンプルなデータスクレイピングツール
- WBOYオリジナル
- 2016-06-13 12:46:03748ブラウズ
シンプルなデータ スクレイピング ツールを探しています
必要なデータは次のようなものです:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=(12925648.97,4823379.72;12990672.97,4828435.72)&t= 1368604536591
パラメータを変更することで異なるデータを取得できます。ファイルまたはデータベースに保存するだけです。
もともと、私はそれを自分で書きたかったのですが、ダウンロードしたいリンクをまとめてループでダウンロードし、データベースに処理するだけでした。
さらに、エージェントやマルチスレッド処理も考慮できます。
しかし、上司は私にオープンソースのクローラー ツールを見つけるよう主張しました。
また、このツールは、ツールにリンクを与え、それを機能させるためにデータをどのように処理する必要があるかを伝えることも要求します。
仕方なく皆さんにお聞きしたいのですが、どのクローラーツールにそのような機能がありますか？
私は PHP と簡単な Python しか知らないので、この 2 つの言語で記述できることを願っています。またよろしくお願いします。
声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。