プロキシサービス機能のPython実装例

プロキシ サービスの原理は非常に単純で、ブラウザと Web サーバーを例に挙げます。これは、ブラウザ A
がエージェント B にリクエストを送信し、エージェント B がそのリクエストを Web サービス C に送信し、その後 C の応答 ->B ->A にすぎません。
Web プロキシ サービスを作成するには、まず http プロトコルを理解する必要があります。もちろん、XX 情報の変更、
負荷分散などの強力な機能を実装する場合を除き、これ以上深く理解する必要はありません。 。 http リクエストは、リクエスト行、メッセージ ヘッダー、リクエスト本文の 3 つの部分で構成されます。
詳細については、オンラインで確認できます。以下は通常の GET リクエスト ヘッダーです (Cookie 部分のスクリーンショットは撮っていません。使用されているシステムは w7 です):



最初の行を確認できます。 GET はリクエスト メソッド、 / はパス、その後にプロトコル バージョンが続きます。2 行目以降はすべてキーと値のペアの形式です。
GET メソッドには本体がありません。投稿には本文があり、リクエスト メソッドのヘッダーも基本的に同じで、各行は rn で終わります。
基本的なリクエストメソッドは以下の通りです。

GET Request-URI で特定されるリソースの取得リクエスト
POST Request-URI で特定されるリソースの後に新しいデータを追加
HEAD 取得リクエストby Request-URI で識別されるリソースの応答メッセージ ヘッダー
PUT サーバーにリソースの保存を要求し、Request-URI をその識別子として使用します
DELETE サーバーに Request-URI で識別されるリソースの削除を要求します
TRACE サーバーにレシートを返送するよう要求します。 要求された要求情報は主にテストまたは診断に使用されます
CONNECT は将来の使用のために予約されています
OPTIONS サーバーのパフォーマンスをクエリするためのリクエスト、またはサーバーに関連するオプションと要件をクエリするためのリクエストリソース
ただし、プロキシを使用した後は、プロキシ サービスから取得されます。リクエストは次のとおりです。


最初の画像と比較してください。違いは何ですか... リソース1行目のパスが間違っています。ブラウザーでプロキシ リクエストを設定する場合、URL 全体がリソース パスとして使用されるため、ドメイン名を削除する必要があります。その後、プロキシ サーバーは、変更されたリクエストをターゲット
Web サーバーに送信します。もちろん、CONNECT メソッドは特別であり、特別な処理が必要なので、最初に他のメソッドについて説明します。
基本的な考え方:
1. クライアントのブラウザー要求が到着すると、クライアント ハンドル (または記述子) が取得されます。
2. クライアント記述子を使用して受信します。ブラウザーから送信されるリクエストで、最初の行を分割してメソッドを取得するには、http:// 部分を削除し、targetHost を使用します。
3. メソッド、request、および targetHost は、ステップ 2 を通じて取得できます。このステップは、メソッドごとに異なる方法で処理できます。
GET、POET、PUT、DELETE などは、以下の点を除いて基本的に同じです。 CONNECT 処理なので、処理 1 行目、例:

コードをコピー コードは次のとおりです:

GET http ://www.a.com/ HTTP/ 1.1
は
GET/HTTP/1.1

に置き換えられます。このとき、targetHost もデフォルトの部分です。リクエストはポート 80 です。このとき、ポートは 80 です。targetHost にポートがある場合 (www.a.com: 8081)、
にはブランチ オフィスのポートが必要で、ポートは 8081 です。現時点では。次に、targetHost とポートに従ってターゲット サーバー target に接続します。実装コードは次のとおりです。

コードをコピーします。 コードは次のとおりです。

def getTargetInfo(self,host): #targetHost を処理して、戻り値として URL とポートを取得します。
port=0
site=None
if ':' in host:
tmp=host.split(':')
site=tmp[0]
port=int (tmp[1])
else:
site=host
port=80
return site,port
def commonMethod(self,request): #CONNECT
以外のメソッドを処理するtmp=self.targetHost.split('/')
net=tmp[0]+'//'+tmp[2]
request=request.replace(net,'') #最初の行を置換不要な部分
targetAddr=self.getTargetInfo(tmp[2]) #上記関数を呼び出す
try:
(fam,_,_,_,addr)=socket.getaddrinfo(targetAddr[ 0], targetAddr[1])[0]
例外として e:
print e
return
self.target=socket.socket(fam)
self.target.connect( addr) #ターゲット Web サービスに接続します

4. このステップは簡単に処理でき、3 番目のステップで処理されたリクエストは self.target.send(request) を使用して Web サーバーに送信できます。
5. このステップでは、Web サーバーの応答をプロキシ サービスを通じてクライアントに直接転送できます。epoll を試すことができます。
基本的な手順は次のとおりです。メイン関数部分で使用するメソッド関数をマルチスレッドにするか、マルチプロセスにするかなど、改善することができます。
しかし、考え方はほぼ同じです。 。テストしたい場合は、Chrome に SwitchySharp プラグインをインストールし、プロキシ ポート
Firefox プラグインの自動プロキシを設定します。
接続処理はまだ解決中であるため (協力してくれるブロガーがいると良いでしょう)、現在このエージェントは https プロトコルをサポートしていません。
プロキシ サービスは http プロトコルに関するすべての情報を取得できます。http について知りたい場合は、プロキシ サーバーを使用するのが良い方法です。
コードは以下に添付されています

コードをコピーします コードは次のとおりです:

#-*- coding: UTF-8 -*-
import socket,select
import sys
import thread
from multiprocessing import Process
class Proxy:
    def __init__(self,soc):
        self.client,_=soc.accept()
        self.target=None
        self.request_url=None
        self.BUFSIZE=4096
        self.method=None
        self.targetHost=None
    def getClientRequest(self):
        request=self.client.recv(self.BUFSIZE)
        if not request:
            return None
        cn=request.find('\n')
        firstLine=request[:cn]
        print firstLine[:len(firstLine)-9]
        line=firstLine.split()
        self.method=line[0]
        self.targetHost=line[1]
        return request
    def commonMethod(self,request):
        tmp=self.targetHost.split('/')
        net=tmp[0]+'//'+tmp[2]
        request=request.replace(net,'')
        targetAddr=self.getTargetInfo(tmp[2])
        try:
            (fam,_,_,_,addr)=socket.getaddrinfo(targetAddr[0],targetAddr[1])[0]
        except Exception as e:
            print e
            return
        self.target=socket.socket(fam)
        self.target.connect(addr)
        self.target.send(request)
        self.nonblocking()
    def connectMethod(self,request): #对于CONNECT处理可以添加在这里
        pass
    def run(self):
        request=self.getClientRequest()
        if request:
            if self.method in ['GET','POST','PUT',"DELETE",'HAVE']:
                self.commonMethod(request)
            elif self.method=='CONNECT':
                self.connectMethod(request)
    def nonblocking(self):
        inputs=[self.client,self.target]
        while True:
            readable,writeable,errs=select.select(inputs,[],inputs,3)
            if errs:
                break
            for soc in readable:
                data=soc.recv(self.BUFSIZE)
                if data:
                    if soc is self.client:
                        self.target.send(data)
                    elif soc is self.target:
                        self.client.send(data)
                else:
                    break
        self.client.close()
        self.target.close()
def getTargetInfo(self,host):
port=0
site=None
if ':' in host:
tmp=host.split(' :')
site=tmp[0]
port=int(tmp[1])
else:
site=host
port=80
サイト、ポートを返します
if __name__=='__main__':
ホスト = '127.0.0.1'
ポート = 8083
バックログ = 5
サーバー =ソケット.socket(socket.AF_INET,socket.SOCK_STREAM)
server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
server.bind((host,port))
server.listen(5)
while True:
thread.start_new_thread( Proxy(server).run,())
# p=Process(target=Proxy(server).run, args=()) #多进程
# p.start()