Python HTTP 프록시로 놀기

0x00 서문

다방면에서 널리 사용되는 HTTP 프록시에 대해 누구나 잘 알고 있어야 합니다. HTTP 프록시는 순방향 프록시와 역방향 프록시로 구분됩니다. 후자는 일반적으로 사용자에게 방화벽 뒤의 서비스에 대한 액세스를 제공하거나 로드 밸런싱을 위해 사용됩니다. 이 문서에서는 전달 프록시에 대해 설명합니다.

HTTP 프록시의 가장 일반적인 용도는 네트워크 공유, 네트워크 가속화, 네트워크 한계 돌파 등입니다. 또한 HTTP 프록시는 Android/IOS 앱에서 호출되는 웹 API의 웹 애플리케이션 디버깅, 모니터링 및 분석에도 일반적으로 사용됩니다. 현재 잘 알려진 소프트웨어로는 Fiddler, Charles, Burp Suite 및 mitmproxy가 있습니다. HTTP 프록시를 사용하면 요청/응답 콘텐츠를 수정하고, 웹 애플리케이션에 추가 기능을 추가하거나, 서버를 변경하지 않고도 애플리케이션 동작을 변경할 수 있습니다.

0x01 HTTP 프록시란

HTTP 프록시는 본질적으로 웹 애플리케이션이며 다른 일반 웹 애플리케이션과 근본적으로 다르지 않습니다. HTTP 프록시는 요청을 받은 후 헤더의 Host 필드에 있는 호스트 이름과 Get/POST 요청 주소를 기반으로 대상 호스트를 종합적으로 결정하고 새로운 HTTP 요청을 설정한 후 요청 데이터를 전달하고 수신된 응답 데이터를 전달합니다. 클라이언트에게.

요청 주소가 절대 주소인 경우 HTTP 프록시는 주소의 호스트를 사용하고, 그렇지 않으면 헤더의 HOST 필드를 사용합니다. 네트워크 환경이 다음과 같다고 가정하고 간단한 테스트를 진행해 보세요.

192.168.1.2 웹 서버

192.168.1.3 HTTP 프록시 서버

텔넷을 사용하여 테스트

$ telnet 192.168.1.3
GET / HTTP/1.0
HOST: 192.168.1.2

끝에는 두 번의 연속 캐리지 리턴이 필요하며 이는 HTTP 프로토콜의 요구 사항입니다. 완료 후 http://192.168.1.2/ 페이지 내용을 받아보실 수 있습니다. 몇 가지 조정을 해보겠습니다. GET 요청을 할 때 절대 주소

$ telnet 192.168.1.3
GET http://httpbin.org/ip HTTP/1.0
HOST: 192.168.1.2

를 가져오세요. HOST도 192.168.1.2로 설정되어 있지만 실행 결과는 http:/를 반환합니다. /httpbin.org/ip 페이지의 내용은 공용 IP 주소 정보입니다.

위의 테스트 과정에서 볼 수 있듯이 HTTP 프록시는 원본 요청이 프록시 서버로 전송되는 한 그다지 복잡한 것은 아닙니다. HTTP 프록시를 설정할 수 없는 경우 HTTP 프록시가 필요한 소수의 호스트에 대해 가장 간단한 방법은 대상 호스트 도메인 이름의 IP를 프록시 서버로 가리키는 것입니다. 이는 호스트 파일을 수정하여 달성할 수 있습니다.

0x02 Python 프로그램에서 HTTP 프록시 설정

urllib2/urllib 프록시 설정

urllib2는 매우 강력한 기능을 갖춘 Python 표준 라이브러리이지만, 사용. Python 3에서는 urllib2가 더 이상 유지되지 않고 urllib 모듈로 이동되었습니다. urllib2에서는 ProxyHandler를 사용하여 프록시 서버를 설정합니다.

   
proxy_handler = urllib2.ProxyHandler({'http': '121.193.143.249:80'})
opener = urllib2.build_opener(proxy_handler)
r = opener.open('http://httpbin.org/ip')
print(r.read())

또한 install_opener를 사용하여 구성된 오프너를 전역 환경에 설치할 수 있습니다. 그러면 모든 urllib2.urlopen이 자동으로 프록시 사용

urllib2.install_opener(opener)
r = urllib2.urlopen('http://httpbin.org/ip')
print(r.read())

Python 3에서는 urllib를 사용합니다.

requests 프록시 설정

proxy_handler = urllib.request.ProxyHandler({'http': 'http://121.193.143.249:80/'})
opener = urllib.request.build_opener(proxy_handler)
r = opener.open('http://httpbin.org/ip')
print(r.read())

requests는 현재 최고의 HTTP 라이브러리 중 하나이며, http 요청을 구성할 때 제가 가장 많이 사용하는 라이브러리이기도 합니다. API 디자인은 매우 사용자 친화적이고 사용하기 쉽습니다. 요청에 대한 프록시를 설정하는 것은 매우 간단합니다. 프록시에 대해 {'http': 'x.x.x.x:8080', 'https': 'x.x.x.x:8080'} 형식의 매개변수만 설정하면 됩니다. 그 중 http와 https는 서로 독립적입니다.

In [5]: requests.get('http://httpbin.org/ip', proxies={'http': '121.193.143.249:80'}).json()
Out[5]: {'origin': '121.193.143.249'}

세션의 프록시 속성을 직접 설정할 수 있으므로 모든 요청에 ​​프록시 매개변수를 가져오는 수고를 덜 수 있습니다.

0x03 HTTP_PROXY / HTTPS_PROXY 환경 변수

   
s = requests.session()
s.proxies = {'http': '121.193.143.249:80'}
print(s.get('http://httpbin.org/ip').json())

urllib2 및 Requests 라이브러리는 모두 HTTP_PROXY 및 HTTPS_PROXY 환경 변수를 인식하며 이러한 환경 변수가 감지되면 자동으로 프록시를 설정하고 사용합니다. . 이는 코드를 수정하지 않고도 환경 변수에 따라 프록시 서버의 IP 주소와 포트를 조정할 수 있기 때문에 HTTP 프록시로 디버깅할 때 매우 유용합니다. *nix의 대부분의 소프트웨어는 컬, wget, axel, aria2c 등과 같은 HTTP_PROXY 환경 변수 인식도 지원합니다.

$ http_proxy=121.193.143.249:80 python -c 'import requests; print(requests.get("http://httpbin.org/ip").json())'
{u'origin': u'121.193.143.249'}
 
$ http_proxy=121.193.143.249:80 curl httpbin.org/ip
{
  "origin": "121.193.143.249"
}

0x04 MITM-Proxy

MITM은 Man-in-the-Middle Attack에서 유래합니다. - 중간 공격, 일반적으로 클라이언트에 대한 클라이언트와 서버 사이의 네트워크 데이터를 가로채고 모니터링하고 변조합니다.

mitmproxy는 Python 언어로 개발된 오픈 소스 중간자 프록시 아티팩트이며 SSL, 투명 프록시, 역방향 프록시, 트래픽 기록 및 재생, 사용자 정의 스크립트를 지원합니다. 기능은 Windows의 Fiddler와 다소 비슷하지만 mitmproxy는 GUI 인터페이스가 없는 콘솔 프로그램이지만 사용하기가 꽤 편리합니다. mitmproxy를 사용하면 모든 프록시 HTTP 요청/응답 패킷을 쉽게 필터링하고 가로채고 수정할 수 있으며, 스크립트 API를 사용하여 HTTP 데이터를 자동으로 가로채고 수정하는 스크립트를 작성할 수도 있습니다.

   
In [245]: os.environ['http_proxy'] = '121.193.143.249:80'
In [246]: requests.get("http://httpbin.org/ip").json()
Out[246]: {u'origin': u'121.193.143.249'}
In [249]: os.environ['http_proxy'] = ''
In [250]: requests.get("http://httpbin.org/ip").json()
Out[250]: {u'origin': u'x.x.x.x'}

上面的脚本会在所有经过代理的Http响应包头里面加上一个名为BOOM的header。用mitmproxy -s 'test.py'命令启动mitmproxy，curl验证结果发现的确多了一个BOOM头。 

$ http_proxy=localhost:8080 curl -I 'httpbin.org/get'
HTTP/1.1 200 OK
Server: nginx
Date: Thu, 03 Nov 2016 09:02:04 GMT
Content-Type: application/json
Content-Length: 186
Connection: keep-alive
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
BOOM: boom!boom!boom!
...

显然mitmproxy脚本能做的事情远不止这些，结合Python强大的功能，可以衍生出很多应用途径。除此之外，mitmproxy还提供了强大的API，在这些API的基础上，完全可以自己定制一个实现了特殊功能的专属代理服务器。

经过性能测试，发现mitmproxy的效率并不是特别高。如果只是用于调试目的那还好，但如果要用到生产环境，有大量并发请求通过代理的时候，性能还是稍微差点。我用twisted实现了一个简单的proxy，用于给公司内部网站增加功能、改善用户体验，以后有机会再和大家分享。