gs-fastcopy: アップロード ワーカーの CPU 数を取得する

前の投稿を参照: gs-fastcopy の紹介

拡張機能 gs-fastcopy-python#10: アップロードのデフォルトを改善するためのプロセッサー数の検査を出荷しました。

以前は、デフォルトのワーカー数は 8 人でした (Google のデフォルト)。 8 コアを超えるシステムでは、かなりのアイドル状態が発生します!

次に、利用可能な CPU 数を調べます。 os.get_schedaffinity をサポートするシステム (一般に限らず、このプロセス で利用可能なプロセッサ) では os.get_schedaffinity を尊重します。それ以外の場合は、os.cpu_count().

を使用します。

ベンチマーク結果: [ソースシート]

ワーカーを追加するとプロセスがスピードアップしますが、利益は減少することに注意してください。この場合、ネットワーク転送自体がボトルネックになると思いますが、チャンク サイズを調整することも効果がある可能性があります。

また、圧縮を使用すると、より劇的な効果が得られることにも注意してください (pigz、並列 gzip を使用)。 pigz は以前にも最大ワーカーを取得していましたが、ここでの新機能はアップロードにもそれらを含めることです。

以上がgs-fastcopy: アップロード ワーカーの CPU 数を取得するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。