Python - Scrapy の settings.py で USER_AGENT が有効になっているのに何も収集できないのはなぜですか?レベルを閉じると、Web ページを収集できます。
Baidu Tieba を収集しました
Python 2.7.11
スクレイピー1.3.3
user_agent が settings.py で有効になっている限り、次のどのメソッドが使用されても問題ありません。何も選ぶことができませんでした。
そして、この user_agent をオフにします。どれも普通に回収できます。これは変ですか？理由が分かりませんか？
USER_AGENT = 'xxxxxxxxxxxxxxxxxxxxxx'
または、ミドルウェア クラス RotateUserAgentMiddleware(UserAgentMiddleware):
を作成します。settings.pyで設定します
DOWNLOADER_MIDDLEWARES = {
リーリー}
user_agent が有効である限り、何も収集されません。走った後。次のコードを出力します:
リーリー リーリー次のいずれの方法が使用されても問題ありません。何も選ぶことができませんでした。
そして、この user_agent をオフにします。どれも普通に回収できます。これは変ですか？理由が分かりませんか？
