ホームページ >バックエンド開発 >Python チュートリアル >Python を使用してダウンロードされた 11 の姿勢。それぞれ前回よりも高度です
Python を使用してダウンロードされた 11 の姿勢。それぞれ前回よりも高度です
- WBOY転載
- 2023-05-15 16:31:06742ブラウズ
以下では、リダイレクトされたファイルのダウンロード、大きなファイルのダウンロード、マルチスレッド ダウンロードの完了、その他の戦略など、遭遇する可能性のあるさまざまな課題を克服する方法を説明します。
1. リクエストの使用
リクエスト モジュールを使用して、URL からファイルをダウンロードできます。
次のコードを考えてみましょう:
要求モジュールの get メソッドを使用して URL を取得し、その結果を「myfile」という変数に保存するだけです。真ん中。次に、この変数の内容をファイルに書き込みます。
2. wget の使用
#Python の wget モジュールを使用して、URL からファイルをダウンロードすることもできます。次のコマンドで pip を使用して wget モジュールをインストールできます。
次のコードを考えてみましょう。これは、Python のロゴ イメージをダウンロードするために使用します。
このコードでは、URL とパス (画像が保存される場所) が wget モジュールの download メソッドに渡されます。
3. リダイレクトされたファイルのダウンロード
このセクションでは、リクエストを使用して、.pdf で別の URL にリダイレクトされるファイルをダウンロードする方法を学習します。 。 URL は次のようになります:
この PDF ファイルをダウンロードするには、次のコードを使用します:
この段落内コードでは、最初のステップとして URL を指定します。次に、リクエスト モジュールの get メソッドを使用して URL を取得します。 get メソッドで、allow_redirects を True に設定します。これにより、URL でのリダイレクトが許可され、リダイレクトされたコンテンツが変数 myfile に割り当てられます。さらに、パブリック アカウントのバックエンドでトップの建築家を検索し、「インタビュー ステータス」と返信して、サプライズ ギフト パッケージを入手します。
最後に、ファイルを開いて、取得したコンテンツを書き込みます。
4. 大きなファイルを分割してダウンロードする
次のコードを考えてみましょう:
まず、リクエスト モジュールの get を次のように使用します。 beforeメソッドですが、今回はstreamプロパティをTrueに設定します。
次に、現在の作業ディレクトリに PythonBook.pdf という名前のファイルを作成し、書き込み用に開きます。
次に、毎回ダウンロードするチャンク サイズを指定します。これを 1024 バイトに設定し、各チャンクを反復処理して、チャンクの終わりまでそれらのチャンクをファイルに書き込みました。
これは美しいと思いませんか? 心配しないでください。後でダウンロード プロセスの進行状況バーが表示されます。
5. 複数のファイルのダウンロード (並列/バッチ ダウンロード)
複数のファイルを同時にダウンロードするには、次のモジュールをインポートしてください:
ファイルのダウンロードにかかる時間を確認するために、os および time モジュールをインポートしました。 ThreadPool モジュールを使用すると、プールを使用して複数のスレッドまたはプロセスを実行できます。
応答を分割してファイルに送信する簡単な関数を作成しましょう。
この URL は、パスとパスを指定する 2 次元配列です。ダウンロードするページのURL。
前のセクションで行ったのと同じように、この URL を request.get に渡します。最後に、ファイル (URL で指定されたパス) を開いて、ページのコンテンツを書き込みます。
これで、各 URL に対してこの関数を個別に呼び出すことも、すべての URL に対してこの関数を同時に呼び出すこともできます。タイマーに注意しながら、for ループ内で URL ごとにこの関数を個別に呼び出してみましょう:
次に、for ループを次のコード行に置き換えます:
スクリプトを実行します。
6. プログレス バーを使用したダウンロード
プログレス バーは、clint モジュールの UI コンポーネントです。次のコマンドを入力して clint モジュールをインストールします。
次のコードを考えてみましょう。
このコードでは、まず、requests モジュールがインポートされ、次に clint.textui から progress コンポーネントをインポートします。唯一の違いは for ループです。コンテンツをファイルに書き込むときは、プログレス バー モジュールの bar メソッドを使用します。
7. urllib を使用して Web ページをダウンロードする
このセクションでは、urllib を使用して Web ページをダウンロードします。
urllib ライブラリは Python の標準ライブラリであるため、インストールする必要はありません。
次のコード行で Web ページを簡単にダウンロードできます:
ここで、ファイルの保存対象と保存先の URL を指定します。保管します。
このコードでは、urlretrieve メソッドを使用して、ファイルの URL とファイルを保存するパスを渡します。ファイル拡張子は .html になります。
8. プロキシ経由のダウンロード
プロキシを使用してファイルをダウンロードする必要がある場合は、urllib モジュールの ProxyHandler を使用できます。次のコードを見てください:
このコードでは、プロキシ オブジェクトを作成し、urllib の build_opener メソッドを呼び出してプロキシ オブジェクトを渡してプロキシを開きます。次に、ページを取得するリクエストを作成します。
さらに、公式ドキュメントで説明されているように、request モジュールを使用することもできます:
request モジュールをインポートしてプロキシを作成するだけです。物体。その後、ファイルを取得できます。
9. urllib3 の使用
urllib3 は、urllib モジュールの改良版です。 pip を使用してダウンロードしてインストールできます。
urllib3 を使用して Web ページを取得し、テキスト ファイルに保存します。
次のモジュールをインポートします:
ファイルを処理するときは、shutil モジュールを使用します。
ここで、URL 文字列変数を次のように初期化します。
次に、必要な接続プールを追跡する urllib3 の PoolManager を使用します。
ファイルの作成:
最後に、GET リクエストを送信して URL を取得し、ファイルを開きます。次に、ファイルへの応答を書き込みます:
10. Boto3 を使用して S3 からファイルをダウンロードする
Amazon S3 からファイルをダウンロードするには、Python boto3 を使用できます。モジュール。
始める前に、pip を使用して awscli モジュールをインストールする必要があります:
AWS 構成の場合は、次のコマンドを実行します:
ここで、次のコマンドを押して詳細を入力します:
Amazon S3 からファイルをダウンロードするには、boto3 と botocore をインポートする必要があります。 Boto3 は、Python が Amazon ウェブ サービス (S3 など) にアクセスできるようにする Amazon SDK です。 Botocore は、アマゾン ウェブ サービスと対話するためのコマンド ライン サービスを提供します。
Botocore には awscli が付属しています。 boto3 をインストールするには、次のコマンドを実行します:
次に、これら 2 つのモジュールをインポートします:
Amazon からダウンロードする場合ファイルの場合、次の 3 つのパラメータが必要です:
- バケット名
- ダウンロードする必要があるファイルの名前
- ダウンロード後のファイルの名前
変数の初期化:
次に、セッションのリソースを使用するために変数を初期化します。これを行うには、boto3 の resource() メソッドを呼び出して、サービス (s3:
) を渡します。最後に、download_file メソッドを使用してファイルをダウンロードし、渡します。変数:
11. asyncio の使用
asyncio モジュールは主にシステム イベントを処理するために使用されます。これは、イベントの発生を待機してからそのイベントに反応するイベント ループを回避します。その反応として、別の関数を呼び出すことができます。この処理をイベント処理と呼びます。 asyncio モジュールは、イベント処理にコルーチンを使用します。
asyncio イベント処理とコルーチン機能を使用するには、asyncio モジュールをインポートします:
次に、asyncio コルーチン メソッドを次のように定義します:
キーワード async は、これがネイティブの asyncio コルーチンであることを示します。コルーチン内には、特定の値を返す await キーワードがあります。 return キーワードを使用することもできます。
ここで、コルーチンを使用して Web サイトからファイルをダウンロードするコードを作成しましょう:
このコードでは、非同期コルーチン関数を作成します。これにより、ファイルがダウンロードされ、メッセージが返されます。
次に、別の非同期コルーチンを使用して main_func を呼び出します。このコルーチンは URL を待機し、すべての URL をキューに入れます。 asyncio の wait 関数は、コルーチンが完了するまで待機します。
コルーチンを開始するには、asyncio の get_event_loop() メソッドを使用してコルーチンをイベント ループに配置する必要があります。最後に、asyncio の run_until_complete() メソッドを使用してイベント ループを実行します。
Python を使用してファイルをダウンロードするのは楽しいです。このチュートリアルがお役に立てば幸いです!
以上がPython を使用してダウンロードされた 11 の姿勢。それぞれ前回よりも高度ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。