Python が JD 携帯電話の写真のクロールを実装する方法の分析例
- 零到壹度オリジナル
- 2018-03-30 10:30:182032ブラウズ
この記事では主に Python を使用して JD 携帯電話の写真をクロールする方法を説明します。これは非常に参考になるので、皆さんのお役に立てれば幸いです。編集者をフォローして見てみましょう。皆さんのお役に立てれば幸いです。
実行環境Python3.6.4
<span style="font-size: 14px; font-family: 微软雅黑, "Microsoft YaHei";">#爬取京东手机图片import re #导入re模块import urllib.request #导入urllib.request模块def craw(url,page): #定义函数craw<br/> html1 = urllib.request.urlopen(url).read() #调用urllib.request模块里的urlopen函数打开url链接，并且读取，最后赋值给html1<br/> html1 = str(html1) #将html1网页内容变成字符串<br/> pat1 = '''<p id="plist".+? <p class="page clearfix">''' #利用pat1正则表达式进行第一次信息过滤<br/> result1 = re.compile(pat1).findall(html1) #查找所有符合条件的信息<br/> result1 = result1[0]<br/> pat2 = '''<img width="220" height="220" data-img="1".+?"//(.+?\.jpg)">'''#".+?"组合可以匹配除换行外的任意字符，第二个正则表达式进行第二次过滤<br/> imagelist = re.compile(pat2).findall(result1)<br/> x = 1<br/> for imageurl in imagelist:<br/> imagename = "D:/Python35/myweb/part6/img1/"+"第"+str(page)+"页图"+str(x)+".jpg"<br/> imageurl = "http://"+imageurl try:<br/> urllib.request.urlretrieve(imageurl,filename=imagename) except urllib.error.URLError as e: if hasattr(e,"code"):<br/> x+=1<br/> if hasattr(e,"reason"):<br/> x+=1<br/> x+=1for i in range(1,2):<br/> url = "http://list.jd.com/list.html?cat=9987,653,655&page="+str(i)<br/> craw(url,i)</span>
関連推奨事項:
以上がPython が JD 携帯電話の写真のクロールを実装する方法の分析例の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。