Pythonはscrapyを使用してjsの例を解析します

复制代码代码如下:

from Selenium import Selenium

class MySpider(CrawlSpider):
name = 'cnbeta'
allowed_domains = ['cnbeta.com']
start_urls = ['http://www.jb51.net']

rules = (
# 'category.php' に一致するリンクを抽出します (ただし、'subsection.php' には一致しません)
# それらのリンクをたどります (コールバックがないため、デフォルトでは follow=True を意味します)。
Rule(SgmlLinkExtractor(allow=('/articles/.*.htm', )),
callback='parse_page', follow=True),

# 「item.php」に一致するリンクを抽出し、スパイダーのメソッド parse_item
)

で解析します

def __init__(self):
CrawlSpider.__init__(self)
self.verificationErrors = []
self.selenium = selenium("localhost", 4444, "*firefox", "http: //www.jb51.net")
self.selenium.start()

def __del__(self):
self.selenium.stop()
print self.verificationErrors
CrawlSpider.__del__(self)

def parse_page(self, response):
self.log('こんにちは、これはアイテムページです! %s' % response.url)
sel = Selector(response)
from webproxy.items import WebproxyItem

sel = self.selenium
sel.open(response.url)
sel.wait_for_page_to_load("30000")
インポート時間

time.sleep(2.5)