この記事では、クローン作成ツールであるcurlMultiを紹介します。このツールを使用すると、技術者以外の人でもサイト全体のクローンをすばやく作成できます。
ツールリンク:https://github.com/ares333/php-curl
ツールの機能:
##2. 並列クローリング、驚くべきクローリング速度
# #操作手順:この記事ではMacを使用して説明します。
1.
##2. 準備
通常の状況では、URL を変更しても問題ありません。クローン作成するサイトが非常に大きい場合は、最初の行にコードを追加する必要があります:
ini_set('memory_limit', '2048M');3. クローン作成を実行します
1.ターミナル
私の端末は次のようになります。参考として使用できます:
ターミナルに次のように入力します:php site_clone1.phpこの時点で、クローン作成が開始されました。ターミナル ウィンドウを閉じないでください。 (ウィンドウを閉じた後も複製を続けたい場合は、ご連絡ください)
複製したいWebサイトが小説サイトなど比較的小さい場合は、30分以内に複製できます(複製100個)圧力をかけずに 1 秒あたりのページ数)
4. Web サイトの保存ディレクトリ
##index.html をダブルクリックすると、複製された Web サイトを開くことができます。
添付ファイル: クローン作成を高速化したい場合は、次の手順を実行してください:
如果要测试500并发,那需要在终端多执行一行命令:
ulimit -n 1000
以上内容仅供参考!
推荐视频教程:PHP视频教程
以上がPHP Web サイト全体のクローンを作成する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。