無頭Chrome:自動化Web測試和抓取的強大工具
核心要點
- 從Chrome 59版本(Windows用戶為60版本)開始,無頭Chrome允許您以編程方式模擬用戶與網站的交互,並捕獲結果用於測試。它使用Chromium和Blink引擎,模擬Chrome中的用戶體驗。
- 在Node.js中運行無頭Chrome需要
chrome-remote-interface
模塊(用於簡化命令和通知的抽象)和chrome-launcher
模塊(用於跨多個平台從Node.js中啟動Chrome)。 - 初始化會話並定義測試域後,您可以導航網站、複製用戶旅程並捕獲結果。您還可以使用
captureScreenshot
函數在導航網站時捕獲頁面截圖。 - 雖然無頭Chrome並未完全集成到Selenium等工具中,但由於其渲染JavaScript的能力,它是以完全自動化方式重現用戶體驗的最佳方式,非常適合大規模的自動化Web抓取任務。
在我們的工作中,經常需要反复複製用戶旅程,以確保在更改網站時頁面提供一致的體驗。實現這一目標的關鍵是允許我們編寫這些測試腳本的庫,以便我們可以對它們運行斷言並維護結果文檔。這就是無頭瀏覽器的作用:命令行工具,使您可以以編程方式模擬用戶與網站的交互,並捕獲結果用於測試。
多年來,許多人一直在使用PhantomJS、CasperJS和其他工具來完成這項工作。但是,正如愛情一樣,我們的心可能會轉移到其他地方。從Chrome 59版本(Windows用戶為60版本)開始,Chrome自帶了它自己的無頭瀏覽器。雖然它目前不支持Selenium,但它使用Chromium和Blink引擎,也就是說,它模擬了在Chrome中的實際用戶體驗。
本文的代碼可以在我們的GitHub倉庫中找到。
從命令行運行無頭Chrome
從命令行運行無頭Chrome相對容易。在Mac上,您可以為Chrome設置別名,並使用--headless
命令行參數運行:
alias chrome="/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome" chrome --headless --disable-gpu --remote-debugging-port=9090 https://www.sitepoint.com/
在Linux上,它甚至更容易:
google-chrome --headless --disable-gpu --remote-debugging-port=9090 https://www.sitepoint.com/
-
--headless
:無需UI或顯示服務器依賴項運行 -
--disable-gpu
:禁用GPU硬件加速。目前暫時需要此參數。 -
--remote-debugging-port
:在指定的端口上啟用通過HTTP進行的遠程調試。
您還可以與請求的頁面交互,例如,要將document.body.innerHTML
打印到標準輸出,您可以執行以下操作:
google-chrome --headless --disable-gpu --dump-dom http://endless.horse/
如果您好奇還有什麼可能性,可以在這裡找到完整的參數列表。
在Node.js中運行無頭Chrome
然而,本文的重點不是命令行,而是如何在Node.js中運行無頭Chrome。為此,我們需要以下模塊:
-
chrome-remote-interface
:JavaScript API提供命令和通知的簡單抽象。 -
chrome-launcher
:允許我們在多個平台上的Node.js中啟動Chrome。
然後我們可以設置我們的環境。這假設您的機器上已安裝Node.js和npm。如果不是這種情況,請查看我們的教程。
alias chrome="/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome" chrome --headless --disable-gpu --remote-debugging-port=9090 https://www.sitepoint.com/
之後,我們要使用headless-chrome實例化一個會話。讓我們從在項目文件夾中創建一個index.js
文件開始:
google-chrome --headless --disable-gpu --remote-debugging-port=9090 https://www.sitepoint.com/
首先,我們正在引入依賴項,然後創建一個自調用函數,該函數將實例化Chrome會話。請注意,在撰寫本文時需要--disable-gpu
標誌,但在您閱讀本文時可能不需要,因為它只是一個解決方法(正如Google推薦的那樣)。我們將使用async/await
來確保我們的應用程序在執行後續步驟之前等待無頭瀏覽器啟動。
接下來,我們需要公開測試所需的域:
google-chrome --headless --disable-gpu --dump-dom http://endless.horse/
這裡最重要的Page對象——我們將使用它來訪問呈現到UI的內容。這將也是我們指定導航位置、交互元素以及運行腳本的位置。
探索Page
初始化會話並定義域後,我們可以開始導航網站。我們要選擇一個起點,因此我們使用上面啟用的Page域進行導航:
mkdir headless cd headless npm init -y npm install chrome-remote-interface --save npm install chrome-launcher --save
這將加載頁面。然後,我們可以使用loadEventFired
方法定義要運行應用程序的步驟,以執行代碼來複製我們的用戶旅程。在這個例子中,我們只是獲取第一段的內容:
const chromeLauncher = require('chrome-launcher'); const CDP = require('chrome-remote-interface'); (async function() { async function launchChrome() { return await chromeLauncher.launch({ chromeFlags: [ '--disable-gpu', '--headless' ] }); } const chrome = await launchChrome(); const protocol = await CDP({ port: chrome.port }); // 所有后续代码片段都位于此处 })();
如果您使用node index.js
運行腳本,您應該會看到類似於以下輸出的結果:
更進一步——抓取截圖
這很好,但我們可以同樣輕鬆地將任何代碼替換為script1
值,以使用查詢選擇器點擊鏈接、填寫表單字段和運行一系列交互。每個步驟都可以存儲在JSON配置文件中,並加載到您的Node.js腳本中以順序執行。可以使用Mocha等測試平台驗證這些腳本的結果,允許您交叉引用捕獲的值是否滿足UI/UX要求。
作為測試腳本的補充,您可能希望在導航網站時捕獲頁面的截圖。幸運的是,提供的域具有一個captureScreenshot
函數,它可以準確地做到這一點。
const { DOM, Page, Emulation, Runtime } = protocol; await Promise.all([Page.enable(), Runtime.enable(), DOM.enable()]);
fromSurface
標誌是另一個在撰寫本文時需要進行跨平台支持的標誌,在未來的迭代中可能不需要。
使用node index.js
運行腳本,您應該會看到類似於以下輸出的結果:
結論
如果您正在編寫自動化腳本,您現在應該開始使用Chrome的無頭瀏覽器。雖然它仍然沒有完全集成到Selenium等工具中,但模擬Chrome渲染引擎的好處不容低估。這是以完全自動化方式重現用戶體驗的最佳方式。
我將為您提供一些進一步閱讀的資料:
- API文檔:https://www.php.cn/link/fc56459a18776e2a100854c16a1fd78b
- 無頭Chrome入門:https://www.php.cn/link/ada77e9fac537039c9adb2787b9af7da
請在下面的評論中告訴我您使用無頭Chrome的經驗。
(此處省略了FAQs部分,因為與原文重複,且篇幅過長。可以根據需要選擇性保留或重新組織FAQs內容。)
以上是快速提示:從node.js開始使用無頭鉻的詳細內容。更多資訊請關注PHP中文網其他相關文章!

Python更適合初學者,學習曲線平緩,語法簡潔;JavaScript適合前端開發,學習曲線較陡,語法靈活。 1.Python語法直觀,適用於數據科學和後端開發。 2.JavaScript靈活,廣泛用於前端和服務器端編程。

Python和JavaScript在社區、庫和資源方面的對比各有優劣。 1)Python社區友好,適合初學者,但前端開發資源不如JavaScript豐富。 2)Python在數據科學和機器學習庫方面強大,JavaScript則在前端開發庫和框架上更勝一籌。 3)兩者的學習資源都豐富,但Python適合從官方文檔開始,JavaScript則以MDNWebDocs為佳。選擇應基於項目需求和個人興趣。

從C/C 轉向JavaScript需要適應動態類型、垃圾回收和異步編程等特點。 1)C/C 是靜態類型語言,需手動管理內存,而JavaScript是動態類型,垃圾回收自動處理。 2)C/C 需編譯成機器碼,JavaScript則為解釋型語言。 3)JavaScript引入閉包、原型鍊和Promise等概念,增強了靈活性和異步編程能力。

不同JavaScript引擎在解析和執行JavaScript代碼時,效果會有所不同,因為每個引擎的實現原理和優化策略各有差異。 1.詞法分析:將源碼轉換為詞法單元。 2.語法分析:生成抽象語法樹。 3.優化和編譯:通過JIT編譯器生成機器碼。 4.執行:運行機器碼。 V8引擎通過即時編譯和隱藏類優化,SpiderMonkey使用類型推斷系統,導致在相同代碼上的性能表現不同。

JavaScript在現實世界中的應用包括服務器端編程、移動應用開發和物聯網控制:1.通過Node.js實現服務器端編程,適用於高並發請求處理。 2.通過ReactNative進行移動應用開發,支持跨平台部署。 3.通過Johnny-Five庫用於物聯網設備控制,適用於硬件交互。

我使用您的日常技術工具構建了功能性的多租戶SaaS應用程序(一個Edtech應用程序),您可以做同樣的事情。 首先,什麼是多租戶SaaS應用程序? 多租戶SaaS應用程序可讓您從唱歌中為多個客戶提供服務

本文展示了與許可證確保的後端的前端集成,並使用Next.js構建功能性Edtech SaaS應用程序。 前端獲取用戶權限以控制UI的可見性並確保API要求遵守角色庫

JavaScript是現代Web開發的核心語言,因其多樣性和靈活性而廣泛應用。 1)前端開發:通過DOM操作和現代框架(如React、Vue.js、Angular)構建動態網頁和單頁面應用。 2)服務器端開發:Node.js利用非阻塞I/O模型處理高並發和實時應用。 3)移動和桌面應用開發:通過ReactNative和Electron實現跨平台開發,提高開發效率。


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

SublimeText3漢化版
中文版,非常好用

ZendStudio 13.5.1 Mac
強大的PHP整合開發環境

禪工作室 13.0.1
強大的PHP整合開發環境

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

Atom編輯器mac版下載
最受歡迎的的開源編輯器