如题描述
因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在
平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法.
顺便问下,为什么vps提供商会封我...好郁闷.
高洛峰2017-04-18 10:23:17
저는 주로 요청 모듈의 get 및 다중 프로세스 구현을 사용하지만 아직 충분히 빠르지 않은 느낌이 있어서 제목에 설명된 아이디어를 생각해 냈습니다.
다양한 이유에 따라 GET 응답 본문을 삭제해도 반드시 더 빠르지는 않을 수 있습니다.
HEAD가 요구사항을 충족하면 HEAD를 사용하세요.
동일 서버에 대한 액세스를 두 배 이상 늘릴 수 있도록 requests.Session을 사용하는 것을 잊지 마세요.
PS: 문제가 발생했을 때 묻고 기다릴 필요 없이 마침내 이해하지 못하는 해결책을 얻을 수 있도록 HTTP를 주의 깊게 배우는 것이 좋습니다.
