首頁 >後端開發 >Python教學 >python用什麼軟體寫爬蟲

python用什麼軟體寫爬蟲

(*-*)浩
(*-*)浩原創
2019-07-05 10:04:266800瀏覽

如果你正在學習編程,那麼「爬蟲」絕對是你不可忽視的。那麼,學習python爬蟲之前需要哪些工具呢?

python用什麼軟體寫爬蟲

程式碼編輯運行環境:(推薦學習:Python影片教學

個人推薦PyCharm社群版,當然,Python自備的IDLE也行,Notepad 亦可,只要自己使用得習慣。

F12 開發者工具

看原始程式碼:快速定位元素分析xpath:1、此處建議Google系瀏覽器,可以在原始碼介面直接右鍵看

抓包工具

推薦httpfox,火狐瀏覽器下的插件,比起谷歌火狐是自帶的F12工具都要好,可以方便查看網站收包發包的資訊

 XPATH CHECKER (火狐插件)

非常好的xpath測試工具,不過也有幾個小缺點,:

#xpath checker生成的是絕對路徑,遇到一些動態生成的圖標(常見的有列表翻頁按鈕等),飄忽不定的絕對路徑很有可能造成錯誤,所以這裡建議在真正分析的時候,只是作為參考記得把如下圖xpath框裡的「x:」去掉,看起來像是早期版本xpath的語法,目前已經和一些模組不相容(例如scrapy),還是刪去避免報錯。

正規表示測試工具

線上正規表示式測試 ,拿來多練練手,也輔助分析!裡面有很多現成的正規表示式可以用,也可以參考!

更多Python相關技術文章,請造訪Python教學欄位學習!

以上是python用什麼軟體寫爬蟲的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn