python 爬蟲 解析效率如何提升?
現在採用的是在windows 環境下 採用多執行緒的方式進行爬取,
使用beautifulsoup lxml進行解析.
N個爬取執行緒->解析佇列->1個解析執行緒->儲存佇列->1個儲存執行緒
整個執行程式的效率卡在計算密集的解析執行緒中，如果只是增加解析執行緒數量的話，反而增加執行緒切換開銷速度變慢。
請問下 有什麼辦法可以較為明顯的提升解析效率？
根據兩位大腿的說明 準備採用
非同步爬取->解析佇列->N個解析進程->儲存佇列->儲存執行緒
準備開工
