たくさんのページを集めたいのですが、部分ごとに分けて集める方法
Connect $url=array() URL には合計 1000 ページの URL があります、
コレクションクラスを書きました
foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->getContents($get_json_contetns,$key);
}
このようにループアウトされた $excel_contetns が、収集したいコンテンツです。
50 ページ未満の場合は問題ありませんが、ページ数が多すぎる場合はタイムアウトになります。どのように対処すればよいでしょうか。 ? ?
------解決策---------
$url をデータベースに保存します
$value をデータベースから 1 つずつ読み取り、収集を実行します。新しい URL が見つかった場合は、最初の手順を繰り返します
-----解決策------------- --- ----
「データベースを保存するかどうか」にこだわる必要はありません。問題の本質は、単一のタスクを複数のタスクに分割して完了することです