ホームページ  >  記事  >  バックエンド開発  >  剥がすべきページが多すぎるのですが、どうやって 1 つずつ剥ぎ取ることができますか?

剥がすべきページが多すぎるのですが、どうやって 1 つずつ剥ぎ取ることができますか?

WBOY
WBOYオリジナル
2016-06-13 13:01:12908ブラウズ

たくさんのページを集めたいのですが、部分ごとに分けて集める方法
Connect $url=array() URL には合計 1000 ページの URL があります、

コレクションクラスを書きました

foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->getContents($get_json_contetns,$key);
}

このようにループアウトされた $excel_contetns が、収集したいコンテンツです。

50 ページ未満の場合は問題ありませんが、ページ数が多すぎる場合はタイムアウトになります。どのように対処すればよいでしょうか。 ? ?
------解決策---------
$url をデータベースに保存します
$value をデータベースから 1 つずつ読み取り、収集を実行します。新しい URL が見つかった場合は、最初の手順を繰り返します
-----解決策------------- --- ----
「データベースを保存するかどうか」にこだわる必要はありません。問題の本質は、単一のタスクを複数のタスクに分割して完了することです

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。