Python を使用してデータをクロールする場合は、単一プロセスでマルチスレッド クロールを有効にします。結局のところ、IO が集中するため、複数のプロセスを使用することはできません。
コードは以下のように表示されます
リーリーしかし、スレッドのリクエストが値を返さない限り、スレッドは待ち続けて書き込みを行わないため、メインプロセスがブロックされないという問題が発生します。
写真に示すように
それに対処するには、たとえば、requests.get にタイムアウトを設定しますが、タイムアウトを超えた後はどうすればよいですか? タイムアウトを設定すると、スレッドが直接強制終了されたようで、ダウンロードを続行できます。次のターゲットですが、これはダウンロードされていません。このように記録しましたが、この例外をキャッチして再接続できますか?メインは文章を書くことですが、あまり得意ではありません。奇妙な＃＃＃
