搜索
首页后端开发Python教程用Python搭建一个简单的代理池

用Python搭建一个简单的代理池

little bottle
little bottle
Apr 08, 2019 am 09:30 AM
python



其实每次爬东西的时候，特怕IP被封，所以每次都要把时间延迟设置得长一点...这次用Python搭建一个简单的代理池。获取代理IP，然后验证其有效性。不过结果好像不是很理想，为什么西刺代理的高匿代理都能用？？？不是说免费代理不好使吗？真的是黑人问号脸...

1554686824422371.jpg


NO.1 代理获取

01 网页分析

通过点击西刺代理国内高匿代理，得到网页信息。

获取IP地址、端口、是否匿名、类型、速度。

QQ截图20190408091440.png

02  获取代理信息

这里记得一定要设置随机选取headers以及睡眠时间，因为我就没有设置，然后就被封了...

QQ截图20190408091510.png

import time
import requests
from bs4 import BeautifulSoup
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
for i in range(1, 36):
    time.sleep(2)
    print('第' + str(i) + '页')
    url = 'http://www.xicidaili.com/nn/' + str(i)
    response = requests.get(url=url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    all_trs = soup.find_all('tr')
    for tr in all_trs[1:]:
        all_tds = tr.find_all('td')
        ip = all_tds[1].get_text()
        port = all_tds[2].get_text()
        anonymous = all_tds[4].get_text()
        type = all_tds[5].get_text()
        for j in all_tds[6].find_all("div", attrs={"class": "bar"}):
            speed = j.get('title')
        with open('ip.csv', 'a+', encoding='utf-8-sig') as f:
            f.write(ip + ',' + port + ',' + anonymous + ',' + type + ',' + speed + '\n')

QQ截图20190408091526.png

随机获取用户代理的代码，上面是没加下面这个函数的(结果就是被封，不过第二天又能用啦)

def get_user_agent():
    '''
    随机获取一个用户代理
    '''
    user_agents=[
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
        "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
        "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
        "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
        "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
        "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
        "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
        "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
        "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
        "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
        "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
    ]
    # random.choice返回列表的随机项
    user_agent = random.choice(user_agents)
    return user_agent

# random.randint产生随机整数
time.sleep(2 + float(random.randint(1, 100)) / 20)

NO.2代理验证

通过验证发现大部分都能用，不知道真的假的。

网址用的之前识别验证码的那个网站，如云阁小说网。

200个只有2个无效，不科学~

import pandas as pd
import numpy as np
import requests
import time

df = pd.read_csv('ip.csv', header=None, names=["ip", "port", "anonymous", "proxy_type", "speed"])

proxy_types = ["{}".format(i) for i in np.array(df['proxy_type'])]
ips = ["{}".format(i) for i in np.array(df['ip'])]
ports = ["{}".format(i) for i in np.array(df['port'])]

proxy_url = ['{0}://{1}:{2}'.format(proxy_types[i], ips[i], ports[i]) for i in range(len(ips))]

proxy_type = ['{}'.format(i) for i in proxy_types]
for i in range(200):
    time.sleep(1)
    proxies = {
        proxy_type[i]: proxy_url[i]
    }
    try:
        response = requests.get('http://www.quanben9.com/', proxies=proxies)
    except Exception as e:
        print('invalid ip and port')
    else:
        code = response.status_code
        if code == 200:
            print('effective ip')
            with open('effective_ip.csv', 'a+', encoding='utf-8-sig') as f:
                f.write(proxy_type[i] + ',' + proxy_url[i] + '\n')
        else:
            print('invalid ip and port')

NO.3小结

IP协议：网际协议，作用是把各种数据包传送给对方(两个重要的条件，IP地址和MAC地址)。

IP地址：指明了节点被分配到的地址。

端口：端口是通过端口号来标记的，端口号只有整数，范围是从0到65535。一个IP地址的端口有65536个，「IP地址+端口号」区分不同的服务(Web、FTP、SMTP)。

HTTP：超文本传输协议，完成从客户端到服务器端等一系列运作流程。

HTTPS：添加了加密及认证机制的HTTP。

老实说，之前我对IP地址、端口、HTTP、HTTPS，是一点不了解的。

最近在看图解HTTP，算是对它们有所了解，但是还只是那么一点点，任重而道远。

不过罗马非一日之功，有进步就是好事！

【推荐课程：Python专栏课程】





以上是用Python搭建一个简单的代理池的详细内容。更多信息请关注PHP中文网其他相关文章！

声明
本文转载于：简书。如有侵权，请联系admin@php.cn删除
相关文章
Python：深入研究汇编和解释Python：深入研究汇编和解释May 12, 2025 am 12:14 AM

pythonisehybridmodelofcompilationand interpretation：1）thepythoninterspretercompilesourcececodeintoplatform- interpententbybytecode.2）thepytythonvirtualmachine（pvm）thenexecuteCutestestestesteSteSteSteSteSteSthisByTecode，BelancingEaseofuseWithPerformance。

Python是一种解释或编译语言，为什么重要？Python是一种解释或编译语言，为什么重要？May 12, 2025 am 12:09 AM

pythonisbothinterpretedAndCompiled.1）它的compiledTobyTecodeForportabilityAcrosplatforms.2）bytecodeisthenInterpreted，允许fordingfordforderynamictynamictymictymictymictyandrapiddefupment，尽管Ititmaybeslowerthananeflowerthanancompiledcompiledlanguages。

对于python中的循环时循环与循环：解释了关键差异对于python中的循环时循环与循环：解释了关键差异May 12, 2025 am 12:08 AM

在您的知识之际，而foroopsareideal insinAdvance中，而WhileLoopSareBetterForsituations则youneedtoloopuntilaconditionismet

循环时：实用指南循环时：实用指南May 12, 2025 am 12:07 AM

ForboopSareSusedwhenthentheneMberofiterationsiskNownInAdvance，而WhileLoopSareSareDestrationsDepportonAcondition.1）ForloopSareIdealForiteratingOverSequencesLikelistSorarrays.2）whileLeleLooleSuitableApeableableableableableableforscenarioscenarioswhereTheLeTheLeTheLeTeLoopContinusunuesuntilaspecificiccificcificCondond

Python：它是真正的解释吗？揭穿神话Python：它是真正的解释吗？揭穿神话May 12, 2025 am 12:05 AM

pythonisnotpuroly interpred; itosisehybridablectofbytecodecompilationandruntimeinterpretation.1）PythonCompiLessourceceCeceDintobyTecode，whitsthenexecececected bytybytybythepythepythepythonvirtirtualmachine（pvm）.2）

与同一元素的Python串联列表与同一元素的Python串联列表May 11, 2025 am 12:08 AM

concateNateListsinpythonwithTheSamelements，使用：1）operatototakeepduplicates，2）asettoremavelemavphicates，or3）listCompreanspearensionforcontroloverduplicates，每个methodhasdhasdifferentperferentperferentperforentperforentperforentperfortenceandordormplications。

解释与编译语言：Python的位置解释与编译语言：Python的位置May 11, 2025 am 12:07 AM

pythonisanterpretedlanguage，offeringosofuseandflexibilitybutfacingperformancelanceLimitationsInCricapplications.1）drightingedlanguageslikeLikeLikeLikeLikeLikeLikeLikeThonexecuteline-by-line，允许ImmediaMediaMediaMediaMediaMediateFeedBackAndBackAndRapidPrototypiD.2）compiledLanguagesLanguagesLagagesLikagesLikec/c thresst

循环时：您什么时候在Python中使用？循环时：您什么时候在Python中使用？May 11, 2025 am 12:05 AM

Useforloopswhenthenumberofiterationsisknowninadvance,andwhileloopswheniterationsdependonacondition.1)Forloopsareidealforsequenceslikelistsorranges.2)Whileloopssuitscenarioswheretheloopcontinuesuntilaspecificconditionismet,usefulforuserinputsoralgorit

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序，用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸！

显示更多

热门文章

<🎜>：种植花园 - 完整的突变指南
3 周前ByDDD
<🎜>：泡泡胶模拟器无穷大 - 如何获取和使用皇家钥匙
3 周前By尊渡假赌尊渡假赌尊渡假赌
如何修复KB5055612无法在Windows 10中安装？
3 周前ByDDD
北端：融合系统，解释
3 周前By尊渡假赌尊渡假赌尊渡假赌
Mandragora：巫婆树的耳语 - 如何解锁抓钩
3 周前By尊渡假赌尊渡假赌尊渡假赌
显示更多

热工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合，这些列表在安全评估过程中经常使用，都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表，帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上，他就可以访问到所需的每种类型的列表。

mPDF

mPDF

mPDF是一个PHP库，可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件，并处理不同的语言。与原始脚本如HTML2FPDF相比，它的速度较慢，并且在使用Unicode字体时生成的文件较大，但支持CSS样式等，并进行了大量增强。支持几乎所有语言，包括RTL（阿拉伯语和希伯来语）和CJK（中日韩）。支持嵌套的块级元素（如P、DIV），

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

显示更多

热门话题

Java教程
1665
14
CakePHP 教程
1424
52
Laravel 教程
1322
25
PHP教程
1270
29
C# 教程
1250
24
显示更多