搜尋
首頁後端開發Python教學Python爬蟲之Anaconda環境下創建Scrapy爬蟲框架

在Anaconda環境下如何創建Scrapy 爬蟲框架?這篇文章將為大家介紹關於Anaconda環境下創建Scrapy爬蟲框架專案的步驟,值得一看。

Python爬蟲教學 -31-建立Scrapy 爬蟲框架專案

先說一下,這篇文章是在Anaconda 環境下,所以如果沒有安裝Anaconda 請先到官網下載安裝

Anaconda 下載地址:https://www.anaconda.com/download/

Scrapy 爬蟲框架項目的創建

0.打開【cmd】

1.進入你要使用的Anaconda 環境

這裡我們就把專案建立好了,分析一下自動產生的檔案的作用

1.環境名稱可以在【Pycharm】的【Settings】下【Project:】下找到

Python爬蟲之Anaconda環境下創建Scrapy爬蟲框架

2.使用指令:activate 環境名,例如:

activate learn

3.進入想要存放scrapy 專案的目錄下【注意】

##4.新專案:scrapy startproject xxx專案名,例如:

scrapy startproject new_project

#5.操作截圖:

Python爬蟲之Anaconda環境下創建Scrapy爬蟲框架

6.在檔案總管開啟該目錄,就會發現產生了好幾個檔案

Python爬蟲之Anaconda環境下創建Scrapy爬蟲框架

7.使用Pycharm 開啟專案所在目錄就可以了

Scrapy 爬蟲框架專案的開發

0.使用Pycharm 開啟專案,截圖:


Python爬蟲之Anaconda環境下創建Scrapy爬蟲框架

#專案的開發的大致流程:


網址spider/xxspider.py 負責分解,提取下載的資料

#1. 明確需要爬取的目標/產品:寫item. py

2.在spider 目錄下載建立python 檔案製作爬蟲:


3.儲存內容:pipelines.py

Pipeline.py 檔案


當spider 物件關閉的時候呼叫

spider 物件對開啟的時候呼叫

進行一些必要的參數初始化

spider 提取出來的item 作為參數傳入,同時傳入的還有spider

此方法必須實作

必須傳回一個Item 對象,被丟棄的item 不會被之後的pipeline

對應pipelines 檔案

爬蟲提取出資料存入item 後,item 中保存的資料需要進一步處理,例如清洗,去蟲,儲存等

Pipeline 需要處理process_item 函數

process_item


_ init _:建構子


open_spider(spider):


close_spider(spider):


Spider 目錄

對應的是資料夾spider 下的檔案

#_ init _:初始化爬蟲名稱,start _urls 清單

start_requests:產生Requests 物件交給Scrapy 下載並回傳response

parse:根據傳回的response 解析出對應的item,item 自動進入pipeline:如果需要,解析url,url自動交給requests 模組,一直循環下去

start_requests:此方法盡可能被呼叫一次,讀取start _urls 內容並啟動循環程序

name:設定爬蟲名稱

start_urls:設定開始第一批爬取的url

allow_domains:spider 允許去爬的網域清單

start_request(self):只被呼叫一次

parse:偵測編碼

##log:日誌記錄

相關推薦:

python爬蟲框架scrapy實例詳解

Scrapy爬蟲入門教學四Spider(爬蟲)

#使用Python的Scrapy框架編寫web爬蟲的簡單範例

以上是Python爬蟲之Anaconda環境下創建Scrapy爬蟲框架的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
如何解決Linux終端中查看Python版本時遇到的權限問題?如何解決Linux終端中查看Python版本時遇到的權限問題?Apr 01, 2025 pm 05:09 PM

Linux終端中查看Python版本時遇到權限問題的解決方法當你在Linux終端中嘗試查看Python的版本時,輸入python...

我如何使用美麗的湯來解析HTML?我如何使用美麗的湯來解析HTML?Mar 10, 2025 pm 06:54 PM

本文解釋瞭如何使用美麗的湯庫來解析html。 它詳細介紹了常見方法,例如find(),find_all(),select()和get_text(),以用於數據提取,處理不同的HTML結構和錯誤以及替代方案(SEL)

如何使用TensorFlow或Pytorch進行深度學習?如何使用TensorFlow或Pytorch進行深度學習?Mar 10, 2025 pm 06:52 PM

本文比較了Tensorflow和Pytorch的深度學習。 它詳細介紹了所涉及的步驟:數據準備,模型構建,培訓,評估和部署。 框架之間的關鍵差異,特別是關於計算刻度的

如何使用Python創建命令行接口(CLI)?如何使用Python創建命令行接口(CLI)?Mar 10, 2025 pm 06:48 PM

本文指導Python開發人員構建命令行界面(CLIS)。 它使用Typer,Click和ArgParse等庫詳細介紹,強調輸入/輸出處理,並促進用戶友好的設計模式,以提高CLI可用性。

在Python中如何高效地將一個DataFrame的整列複製到另一個結構不同的DataFrame中?在Python中如何高效地將一個DataFrame的整列複製到另一個結構不同的DataFrame中?Apr 01, 2025 pm 11:15 PM

在使用Python的pandas庫時,如何在兩個結構不同的DataFrame之間進行整列複製是一個常見的問題。假設我們有兩個Dat...

哪些流行的Python庫及其用途?哪些流行的Python庫及其用途?Mar 21, 2025 pm 06:46 PM

本文討論了諸如Numpy,Pandas,Matplotlib,Scikit-Learn,Tensorflow,Tensorflow,Django,Blask和請求等流行的Python庫,並詳細介紹了它們在科學計算,數據分析,可視化,機器學習,網絡開發和H中的用途

解釋Python中虛擬環境的目的。解釋Python中虛擬環境的目的。Mar 19, 2025 pm 02:27 PM

文章討論了虛擬環境在Python中的作用,重點是管理項目依賴性並避免衝突。它詳細介紹了他們在改善項目管理和減少依賴問題方面的創建,激活和利益。

什麼是正則表達式?什麼是正則表達式?Mar 20, 2025 pm 06:25 PM

正則表達式是在編程中進行模式匹配和文本操作的強大工具,從而提高了各種應用程序的文本處理效率。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中