python - La page Web ne peut plus être explorée après la mise à jour des données
La page Web que j'ai explorée a mis à jour une information aujourd'hui, puis le robot l'a exécutée mais ne l'a pas explorée.
from pyspider.libs.base_handler import *
from pyspider.database.mysql.mysqldb import SQL
class Handler(BaseHandler):
crawl_config = {
}
@every(minutes=24 * 60)
def on_start(self):
self.crawl('http://www.yxztb.net/yxweb/zypd/012001/012001001/', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.doc('.tdmoreinfosub a').items():
self.crawl(each.attr.href, callback=self.detail_page)
@config(priority=2)
def detail_page(self, response):
return {
"address":"宜兴市",
"url":response.url,
"title":response.doc('font span').text(),
"date" :response.doc('#tdTitle > .webfont').text()[8:17],
}
def on_result(self, result):
print result
if not result or not result['title']:
return
sql = SQL()
sql.replace('zhaobiao',**result)
J'espère que les patrons pourront être plus précis et avoir plus d'échanges
