首頁  >  問答  >  主體

網頁爬蟲 - python 爬取網站 並解析非json內容

小弟剛學會獲得json的內容,但今天爬的網站返回的並不是json內容 並且會有一個隨機數的生成在每次請求鏈接的後面

#不知道會不會影響我要爬的內容

需要取得內容是下圖中間的內容


網站連結 http://www.szse.cn/main/discl...

我自己嘗試的程式碼:

import requests

dir = '/Users/S1Lence/Desktop/new_html/szse/许可类重组问询函'

headers = {'Host': 'www.szse.cn',
       'Referer': 'http://www.szse.cn/main/disclosure/jgxxgk/wxhj/',
       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36'
       }
payload= {'ACTIONID': '7',          
       'AJAX': 'AJAX-TRUE',
      'CATALOGID': 'main_wxhj',
      'TABKEY': 'tab1',
      'selecthjlb': '许可类重组问询函',
      'tab1PAGENO': '1',
      'tab1PAGECOUNT': '7',
      'tab1RECORDCOUNT': '63',
      'REPORT_ACTION': 'navigate'}
res = requests.post('http://www.szse.cn/szseWeb/FrontControllere', data=payload)
print(res.text)

輸出的內容不是我想要的 求解該怎麼爬

学习ing学习ing2669 天前1064

全部回覆(2)我來回復

  • 黄舟

    黄舟2017-06-28 09:28:28

    把他的header資料拷過來用。 。

    回覆
    0
  • 漂亮男人

    漂亮男人2017-06-28 09:28:28

    你post的url位址寫錯了,應該是

    http://www.szse.cn/szseWeb/FrontController.szse

    回覆
    0
  • 取消回覆