Scrapy にはメモリリークの問題があります。

Question

クローラーを作成すると、しばらく (12 時間以内) 実行すると常に OOM されます。とても無力です！ ！ ！
公式ドキュメントによると、この prefs() を使用しましたが、実際には問題を見つけることができませんでした。

リーリー

クローラーの処理は全ページのaタグのリンクを取得することです:

リーリー

アドバイスをお願いします、ありがとう

Answer 1

yield item それを実装してファイルまたはデータベースを保存する必要がありますか? そうしないとメモリに保存されますか?