파이썬을 사용하여 IP 주소를 크롤링하는 크롤러를 작성했습니다. 웹사이트가 안티 크롤러이므로 프록시를 작성했습니다.
스레드 풀을 사용하여 IP 주소 크롤링을 위해 10개의 스레드를 열었습니다
그러나 '목록' 개체에 직접 오류가 보고되었습니다. 'get' 속성이 없습니다
어떻게 해결해야 할지 모르겠어서 코드를 올려보겠습니다.
from bs4 import BeautifulSoup
import requests
import re
import time
from multiprocessing import Pool
import pymysql
import random
from threadpool import *
def randHeader():
으아악def randproxy():
으아악def 다운로드(url):
으아악def Proxy_url_list():
으아악if name == "__main__":
으아악파일 "C:/qichezhijia/proxyspider.py", 80번째 줄, 다운로드
으아악AttributeError: 'list' 개체에 'get' 속성이 없습니다.
Traceback(가장 최근 호출 마지막):
파일 "C:Pythonlibsite-packagesthreadpool.py", 158행, 실행 중
파일 "C:/qichezhijia/proxyspider.py", 80번째 줄, 다운로드
으아악AttributeError: 'list' 개체에 'get' 속성이 없습니다.
Traceback(가장 최근 호출 마지막):
파일 "C:Pythonlibsite-packagesthreadpool.py", 158행, 실행 중
파일 "C:/qichezhijia/proxyspider.py", 80번째 줄, 다운로드
으아악AttributeError: 'list' 개체에 'get' 속성이 없습니다.
Traceback(가장 최근 호출 마지막):
파일 "C:Pythonlibsite-packagesthreadpool.py", 158행, 실행 중
파일 "C:/qichezhijia/proxyspider.py", 80번째 줄, 다운로드
으아악AttributeError: 'list' 개체에 'get' 속성이 없습니다.
Traceback(가장 최근 호출 마지막):
파일 "C:Pythonlibsite-packagesthreadpool.py", 158행, 실행 중
파일 "C:/qichezhijia/proxyspider.py", 80번째 줄, 다운로드
으아악AttributeError: 'list' 개체에 'get' 속성이 없습니다
女神的闺蜜爱上我2017-06-12 09:26:16
makeRequests의 기능은 무엇인가요? 요청을 목록 유형에 할당했습니까? 그러면 요청.get(*)이 자연스럽게 잘못됩니다.
代言2017-06-12 09:26:16
MakeRequests는 Python의 map 함수와 유사합니다(함수, list()). 목록의 항목은 작업을 위해 이전 함수에 제공됩니다.
내부 요청은 요청 모듈의 메서드입니다. 이름이 같거나, url[0]의 내용이 잘못되었을 수 있습니다. 나중에 돌아가서 디버깅하세요...
