Scrapy チュートリアルをインストールする

Scrapy は Python をベースにした Web クローラー フレームワークで、インターネットから情報をクロールでき、データを取得するのに適した方法です。ということで、インストールして見てみたいと思いました。

公式 Web サイトのインストール紹介ページに移動します

インストール方法は 3 つあり、1 つは pip から、1 つはソースコードのコンパイルから、1 つは conda からです

事前の知識によれば、pip はすでに Python に統合されていますパッケージ管理ツールは最もシンプルで明確ですが、公式 Web サイトの紹介インターフェイスの文は無視されます

オペレーティング システムによっては、一部の Scrapy 依存関係のコンパイルの問題を解決する必要がある場合があることに注意してください

その結果、多くのエラーが発生しますコンパイル段階で報告された問題を解決してください。

それで諦めてソースコードからコンパイルしたら、pipと同じようにコンパイルエラーが多発しました。

仕方がないのでcondaを見に行き、60MBほどあったminicondaをダウンロードしました。注意深く研究した結果、本当に素晴らしい結果が得られました。

おそらく Python は、パッケージをダウンロードした後にコンパイルする必要があることにも気づいており、コンパイルは自身の OS の環境設定に依存する必要があり、それが原因でエラーが発生することがよくあります。

miniconda は Python がインストールされている統合環境です。miniconda をダウンロードしてインストールすることと同じです。つまり、基本的な Python コア プログラムをダウンロードし、conda コマンドを使用して機能拡張用に conda によってコンパイルされたパッケージをダウンロードできます。つまり、scrapy パッケージと、それが依存する lxml、twist、およびその他のコンパイル済みパッケージがコンパイルされています。次に、それをダウンロードして直接使用します。

以上がScrapy チュートリアルをインストールするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。