ホームページ  >  記事  >  バックエンド開発  >  収集するページが多すぎます。どのようにパーツに分割し、問題を解決するか?

収集するページが多すぎます。どのようにパーツに分割し、問題を解決するか?

WBOY
WBOYオリジナル
2016-06-13 13:53:49965ブラウズ

たくさんのページを収集したいのですが、パーツごとに分割するにはどうすればよいですか?
$url=array() を接続します。

コレクション クラスを作成しました。

foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->gt; getContents($get_json_contetns,$ key);
}

このようにループアウトされた $excel_contetns が収集したいコンテンツです。

収集するページ数が 50 ページ未満の場合は問題ありませんが、ページ数が多すぎると収集がタイムアウトしてしまいます。どのように対処すればよいでしょうか。 ? ?

-----解決策---------
$url をデータベースに保存
データベースから $value を 1 つずつ読み取り、新しい URL が見つかった場合は、最初の手順を繰り返します。
------解決策------------------
「データベースを保存するかどうか」にこだわる必要はありません。問題の本質は、

を完了するために 1 つのタスクを複数のタスクに分割することです。
声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。