Linux シェルでcurlおよびwgetでプロキシIPを使用する方法のチュートリアル

この記事では、Linux シェルでのcurlとwgetでのプロキシIPの使用に関する関連情報を主に紹介し、サンプルコードを通じて詳細に紹介しています。学習や仕事に必要な学習に役立ちます。以下のエディタを使用して。

はじめに

Linux シェルには、Web ページをクロールするための 2 つの非常に実用的なコマンドがあることは誰もが知っています。それらは、curl と wget です。この記事では、Linux シェルのcurl と wget について詳しく説明します。プロキシ IP の使用に関する関連コンテンツは、皆さんの参照と学習のために共有されています。以下では多くを述べませんが、一緒に見てみましょう。

curlとwgetはプロキシを使用します

• curlはhttp、https、socks4、socks5をサポートします

• wgetはhttp、https

プロキシの例:

りー

wget 構成ファイル設定プロキシ

#!/bin/bash
#
# curl 支持 http、https、socks4、socks5
# wget 支持 http、https
#
# 米扑代理示例：
# http://proxy.mimvp.com/demo2.php
#
# 米扑代理购买：
# http://proxy.mimvp.com
#
# mimvp.com
# 2015-11-09
 
 
# http代理格式   http_proxy=http://IP:Port
# https代理格式   https_proxy=http://IP:Port
 
{'http': 'http://120.77.176.179:8888'}
curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php     # http_proxy
wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php   # http_proxy
 
{'https': 'http://46.105.214.133:3128'}
curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php     # https_proxy
wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php # https_proxy
 
  
# curl 支持socks
{'socks4': '101.255.17.145:1080'}
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php
  
{'socks5': '82.164.233.227:45454'}
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php
 
 
# wget 不支持socks

シェル 一時的なローカルプロキシを設定

vim ~/.wgetrc
 
http_proxy=http://120.77.176.179:8888:8080
https_proxy=http://12.7.17.17:8888:8080
use_proxy = on
wait = 30
 
wget -T 30 --tries 3 http://proxy.mimvp.com

シェル システムグローバルプロキシを設定

# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
 
# proxy auth
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
 
 
# 取消设置
unset http_proxy
unset https_proxy

Mipu エージェントの例

Mipu プロキシの例には、Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、Yi 言語、および 10 を超えるプログラミング言語またはスクリプトが含まれます。利用可能な多数の実行例では、Web クローリング、データ収集、自動テスト、その他の分野を容易にするためにプロキシ IP を使用する正しい方法を詳細に説明しています。

以上がLinux シェルでcurlおよびwgetでプロキシIPを使用する方法のチュートリアルの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。