Pholcus クローラー v0.8.0、HTML スタイルの動的 rules_html/css_WEB-ITnose をサポート

最近、Pholcus がバージョン v0.8.0 にアップグレードされました。最大のハイライトは、静的コンパイルを必要とするルールをついに突破し、HTML スタイルをサポートする動的ルールを追加したことです。将来的には、ルールのコミュニケーションと共有がより便利になり、エコシステムがますます完成することになります。

具体的な更新内容は次のとおりです:

1. HTML スタイルの動的ルールの暫定サポート

2.簡単な変更 データベース構成およびその他の情報

3. ソフトウェアの依存関係ファイル ディレクトリを再計画します

§─pholcus ソフトウェア

│

§─pholcus 依存関係ファイル ディレクトリ

│ ├─pholcus.ini 設定ファイル

│ │

│ §─proxy.lib プロキシ IP リスト ライブラリ

│ │

│ §─spider.lib 動的ルール ディレクトリ

│ │ └─xxx.pholcus.html 動的ルール ファイル

│ │

│ §─phantomjs プログラムファイル

│ │

│ §─logs ログディレクトリ

│ │

│ ├─history 履歴ディレクトリ

│ │

└─└─cache 一時キャッシュディレクトリ

4. プロキシ IP 機能の強化

5. ステータス管理機能の強化

6. Spider構造体ボディ追加タイマー

7. リクエスト構造体のシリアル化および逆シリアル化の信頼性を強化

8. Web インターフェイスのすべての外部リソース ファイルはソフトウェアにパッケージ化されます

9 、ダウンローダー Surfer をバージョン 0.9 に更新し、パフォーマンスが向上しました