シンプルなデータスクレイピングツールを探しています

必要なデータは次のとおりです: http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672 。 97, 4828435.72%29&t=1368604536591
パラメータを変更することで、異なるデータを取得できます。ファイルまたはデータベースに保存するだけです。

元々は自分で書きたかったのですが、ダウンロードしたいリンクをまとめてループでダウンロードし、データベースに処理するだけでした。
さらに、プロキシ処理やマルチスレッド処理も検討できます。

しかし、上司は私にオープンソースのクローラー ツールを見つけるよう主張しました。
このツールは、リンクを与えて、機能させるためにデータをどのように処理する必要があるかを伝えることも要求します。
仕方ないので、そのような機能があるクローラーツールを教えてください。
私は PHP と簡単な Python しか知らないので、この 2 つの言語で記述できることを願っています。またよろしくお願いします。

ディスカッション（解決策）への返信

オープンソースのものを見つけても、必要なものに変更する必要があり、面倒です。 PHP のカールは十分であり、プロキシをサポートしています。

ソケットは Python に非常に適しており、スレッド化はマルチスレッドに非常に便利です。
自分で書いてください~

物事が完了したら、これが最高のツールであると伝えてください