ホームページ  >  記事  >  バックエンド開発  >  Curl を使用して Web ページをクロールすると、毎回約 18 ページしかクロールできず、その後自動的に停止してしまうのはなぜですか?

Curl を使用して Web ページをクロールすると、毎回約 18 ページしかクロールできず、その後自動的に停止してしまうのはなぜですか?

WBOY
WBOYオリジナル
2016-06-13 13:12:11945ブラウズ

Curl を使用して Web ページをクロールすると、毎回約 18 ページしかクロールできず、その後自動的に停止してしまうのはなぜですか?
curl を使用して Web ページをクロールする場合、自動的に停止する前に毎回約 18 ページしかクロールできないのはなぜですか?
コードは次のとおりです

PHP コード
<!--

Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.CodeHighlighter.com/

-->
<?php

for($i=2;$i<30;$i++)
   {
$ch = curl_init("http://www.readnovel.com/novel/169509/$i.html");
$fp = fopen("novel-$i.txt", "w");

curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_TIMEOUT, "100");

curl_exec($ch);
curl_close($ch);
fclose($fp);
echo "第".$i."页成功保存</br>";
   }
echo "抓取完成";
?> 




-----解決策---------- - ----------
すべての Web サイトがこのようなわけではない場合、この Web サイトには制限がある可能性があります
声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。