ホームページ  >  に質問  >  本文

python - 我写的Xpath 为什么爬取不到内容

-- coding:utf-8 --

import lxml,requests,sys
from bs4 import BeautifulSoup
from lxml import etree

reload(sys)
sys.setdefaultencoding("utf-8")

def main():

url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E6%9A%B4%E8%B5%B0%E6%BC%AB%E7%94%BB&pn=0'

req = requests.get(url).content

# soup = BeautifulSoup(req.content,'lxml')
# imgs = soup.find_all('img')

content = etree.HTML(req)
paths = content.xpath('//*[@id="imgid"]/ul/li[1]/a/img/text()')
# for img in imgs:
#
#     print img

# for img in imgs :

print paths

main()

阿神阿神2741日前769

全員に返信(1)返信します

  • 天蓬老师

    天蓬老师2017-04-18 10:32:15

    クローラーを作成するときは、Web ページのソース コードにデータがあるかどうかを xpath を使用して確認する必要があります。ない場合は、非同期で読み込まれていることを意味します

    1. ブラウザにこのリンクを入力してソースコードを表示し、Ctrl+F を押して imgid の場所を見つけます

    リーリー

    2. 発見

    以下の画像リストは見つかりませんでした。画像はjsによって読み込まれていると判断できます

    3. 見つける

    F12でネットワークを見てみると(更新しないと見れません)、非同期リクエストで読み込んだ画像情報が見つからなかったので、データはhtmlにあるはずだと推測しましたが、jsに置いて処理していました画像を読み込むとき

    上記と同様にソースコードを表示し、パラメータobjURLを検索して実際のURLを見つけます

    リーリー

    解決策

    残りはあなた次第です ~ 以下の実際の URL を解析する方法を見つけてください

    返事
    0
  • キャンセル返事