ホームページ > に質問 > 本文
クローラーを作成すると、しばらく (12 時間以内) 実行すると常に OOM されます。とても無力です！ ！ ！ 公式ドキュメントによると、この prefs() を使用しましたが、実際には問題を見つけることができませんでした。
クローラーの処理は全ページのaタグのリンクを取得することです:
アドバイスをお願いします、ありがとう
巴扎黑2017-06-30 09:55:22
yield item それを実装してファイルまたはデータベースを保存する必要がありますか? そうしないとメモリに保存されますか?
yield item
