python - 如何不刷新网页而监控网页变化？

Question

我在用python监控一个网页 这个网页不定时的会更新 我要寻找需要匹配的关键词比如‘ABC’ 大概的程序框架如下
基本方法就是 用 selenium 获取源码 然后beautifulsoup解析 然后再去结果里面match 每2秒循环一次

while true:
    html = browser.page_source
    soup = BeautifulSoup(html)
    abc=soup.find_all(text=re.compile("(ABC)"))    
    if not abc:
         .....
    else:
         .....   
    browser.refresh()
    time.sleep(2.0 - ((time.time() - starttime) % 2.0))

现在问题就是这个程序很依赖网速，browser.refresh() 刷新一次有可能就会用1秒钟
有没有什么办法 不需要刷新网页 就能知道网页有变化
或者有没有其他办法能让我这个程序 不被网速拖累

Answer 1

Http Last-Modified

---

　　1) 什麼是」Last-Modified”?
　　在瀏覽器第一次請求某一個URL時，伺服器端的回傳狀態會是200，內容是你要求的資源，同時有一個Last-Modified的屬性標記此文件在服務期間端最後被修改的時間，格式類似這樣：
　　Last-Modified: Fri, 12 May 2006 18:53:33 GMT 　　客戶端第二次請求此URL時，根據HTTP
協定的規定，瀏覽器會傳送If-Modified-Since 標頭，詢問該時間之後檔案是否有被修改過：
　　If-Modified-Since: Fri, 12 May 2006 18:53:33 GMT
　　如果伺服器端的資源沒有變化，則自動端的資源返回HTTP 304 （Not
Changed.）狀態碼，內容為空，這樣就節省了傳輸資料量。當伺服器端程式碼發生改變或重新啟動伺服器時，則重新發出資源，返回和第一次請求時類似。從而確保不向客戶端重複發出資源，也保證當伺服器有變更時，客戶端能夠得到最新的資源。

---

headers 'If-Modified-Since'

Status Code:304 Not Modified

狀態碼 304 表示頁未改動

>>> import requests as req
>>> url='http://www.guancha.cn/'
>>> rsp=req.head(url,headers={'If-Modified-Since':'Sun, 05 Feb 2017 05:39:11 GMT'})
>>> rsp
<Response [304]>
>>> rsp.headers
{'Server': 'NWS_TCloud_S1', 'Content-Type': 'text/html', 'Date': 'Sun, 05 Feb 2017 05:45:20 GMT', 'Cache-Control': 'max-age=60', 'Expires': 'Sun, 05 Feb 2017 05:46:20 GMT', 'Content-Length': '0', 'Connection': 'keep-alive'}

---

時間改為 昨天（4號）

伺服器回傳狀態碼200

並且有 'Last-Modified': 'Sun, 05 Feb 2017 06:00:03 GMT'

表示 最後修改的時間。

>>> hds={'If-Modified-Since':'Sat, 04 Feb 2017 05:39:11 GMT'} # 时间改为 昨天（4号）
>>> rsp=req.head(url,headers=hds)
>>> rsp
<Response [200]>
>>> rsp.headers
{'Last-Modified': 'Sun, 05 Feb 2017 06:00:03 GMT', 'Date': 'Sun, 05 Feb 2017 06:04:59 GMT', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'X-Daa-Tunnel': 'hop_count=2', 'X-Cache-Lookup': 'Hit From Disktank3 Gz, Hit From Inner Cluster, Hit From Upstream', 'Server': 'nws_ocmid_hy', 'Content-Type': 'text/html', 'Expires': 'Sun, 05 Feb 2017 06:05:59 GMT', 'Cache-Control': 'max-age=60', 'Content-Length': '62608'}
>>> 

Answer 2

不管怎麼樣 都是要去訪問來源站取資料 ，不抓資料又怎麼知道是否有變化。

Answer 3

這種更新可能是用ajax來更新的，個人覺得可以看看網站的js程式碼，找到請求網址和參數，可以的話直接去請求？