この記事は、Web ページのトラフィックをブラッシングできる Python を使用して作成された小さなツールを共有します。詳細なコードが添付されていますので、必要な環境:
。
スタートimport urllib.request import urllib.error #创建get方法 def get(url): code=urllib.request.urlopen(url).code return code if __name__ == '__main__': #设置一些基本属性 url = "http://shua.jb51.net" user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36" headers = {'User-Agent':user_agent} req = urllib.request.Request(url, headers=headers) #记录次数 i = 1 while 1: code = get(url) print('访问:'+str(code)) i = i+1シンプルで粗雑ですが、pvとipだけが変更されていないため、検索エンジンに発見されやすいように改善しましょう
。
プロキシ機能を追加random_proxy = random.choice(proxies) proxy_support = urllib.request.ProxyHandler({"http":random_proxy}) opener = urllib.request.build_opener(proxy_support) urllib.request.install_opener(opener)mainメソッドを変更します:
if __name__ == '__main__': url = "http://shua.jb51.net" #添加代理列表,可以自行去百度获取 proxies = ["124.88.67.22:80","124.88.67.82:80","124.88.67.81:80","124.88.67.31:80","124.88.67.19:80","58.23.16.240:80"] user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36" headers = {'User-Agent':user_agent} req = urllib.request.Request(url, headers=headers) i = 1 while 1: #添加参数 code = get(url,proxies) print('第'+str(i)+'次代理访问:'+str(code)) i = i+1これはほぼ同じですが、ページが開けない場合やプロキシが失敗する場合はバグがあります。プログラムは自動的に終了します。 次に、例外処理関数を追加します 例外処理
def mail(txt): _user = "你的账号" _pwd = "你的密码" _to = "收件账号" msg = MIMEText(txt, 'plain', 'utf-8') #标题 msg["Subject"] = "代理失效!" msg["From"] = _user msg["To"] = _to try: #这里我用的qq邮箱 s = smtplib.SMTP_SSL("smtp.qq.com", 465) s.login(_user, _pwd) s.sendmail(_user, _to, msg.as_string()) s.quit() print("Success!") except smtplib.SMTPException as e: print("Falied,%s" % e)それからメインメソッドを変更します:
if __name__ == '__main__': url = "http://shua.jb51.net" proxies = ["124.88.67.22:80","124.88.67.82:80","124.88.67.81:80","124.88.67.31:80","124.88.67.19:80","58.23.16.240:80"] user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36" headers = {'User-Agent':user_agent} req = urllib.request.Request(url, headers=headers) i = 1 while 1: try: code = get(url,proxies) print('第'+str(i)+'次代理访问:'+str(code)) i = i+1 except urllib.error.HTTPError as e: print(e.code) #添加mail方法 mail(e.code) except urllib.error.URLError as err: print(err.reason) #添加mail方法 mail(err.reason)完了!
結論
コードはわずか 50 行で、プログラムは改善できます:
例: エージェントリストの自動取得、インターフェイスの追加、マルチスレッドの拡張など。
最後に共有します。あなたともう一人の小さな友達と一緒に、うまくいきます
import urllib2 import timeit import thread import time i = 0 mylock = thread.allocate_lock() def test(no,r): global i url = 'http://blog.csdn.net' for j in range(1,r): req=urllib2.Request(url) req.add_header("User-Agent","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)") file = urllib2.urlopen(req) print file.getcode(); mylock.acquire() i+=1 mylock.release() print i; thread.exit_thread() def fast(): thread.start_new_thread(test,(1,50)) thread.start_new_thread(test,(2,50)) fast() time.sleep(15)テストした結果、スレッドが 2 つ以上ある場合、サーバーで 503 エラーが発生するため、スレッドは 2 つがちょうどいいです
以上がWeb ページトラフィックツールを作成するための Python コード例の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。