在python寫爬蟲的過程中(爬取wiki百科的詞條),使用迭代器輸出過程中出現了url["href"]想著應該屬於迭代器裡面一個用法,但卻沒有找到,求助這個用法的意思,謝謝
#coding:utf-8
import urllib
import urllib2
import re
from bs4 import BeautifulSoup
resp = urllib2.urlopen("https://en.wikipedia.org/wiki/Main_Page").read()
soup = BeautifulSoup(resp,"html.parser")
listurl = soup.findAll('a',href=re.compile("^/wiki/"))
for url in listurl:
print url.get_text(),"------>","https://en.wikipedia.org"+url["href"]
最後一行的url["href"],對爬取得資料產生了截斷的效果,沒加之前,輸出為:
print url
輸出:Disclaimers
加了之後,輸出為:
print url["href"]
輸出:/wiki/Wikipedia:General_disclaimer
求解,謝謝
某草草2017-05-18 11:01:46
只要實作了__getitem__方法的類別就可以使用中括號取值。
In [16]: class A():
...: def __getitem__(self,a):
...: return a
...:
In [17]: a = A()
In [18]: a['a'], a[1]
Out[18]: ('a', 1)