首頁 >科技週邊 >IT業界 >如何使用Anaconda在vultr上部署Apache氣流

如何使用Anaconda在vultr上部署Apache氣流

Jennifer Aniston
Jennifer Aniston原創
2025-02-08 11:11:08725瀏覽

>本文指導您通過在Conda環境中部署安全的氣流應用程序,利用NGINX作為反向代理,讓我們加密SSL證書。 AirFlow是一種強大的工作流管理工具,已在Vultr服務器上部署,以供可伸縮性和可靠性。

>

How to Deploy Apache Airflow on Vultr Using Anaconda

氣流簡化了使用定向的無環圖(DAG)對複雜工作流的定義,調度和監視。它的開源性質可確保社區的支持和持續改進。

(這是Vultr的讚助文章,Vultr是一個領先的雲計算平台,在全球範圍內提供可擴展解決方案。)

>在vultr上部署服務器:

    >訪問vultr客戶門戶並創建一個帳戶。
  1. >導航到“產品”,然後選擇“計算”。
  2. >選擇“部署服務器”,選擇“ Cloud Compute”作為服務器類型。
  3. >指定您的首選位置,然後從市場應用程序中選擇“ Anaconda”。
  4. How to Deploy Apache Airflow on Vultr Using Anaconda 選擇一個計劃和任何其他功能。

  5. 單擊“現在部署。”

  6. How to Deploy Apache Airflow on Vultr Using Anaconda 設置一個vultr託管的postgresql數據庫:

  7. 接下來,為AirFlow的元數據和芹菜結果分別創建一個由Vultr管理的PostgreSQL數據庫以及其中的兩個新數據庫(“ AirFlow-PGSQL”和“ AIRFLOWE-CELERY”)。 這些步驟涉及導航到“數據庫”,添加PostgreSQL數據庫,然後在“用戶和數據庫”下添加兩個新數據庫。屏幕截圖說明了每個步驟。 (此處將包括類似於原件的屏幕截圖,引用原始圖像URL。

conda環境設置和氣流安裝:>

驗證您的conda版本(

)。

創建一個conda環境(
    )。
  1. conda --ver

    激活環境(
  2. )。
  3. conda create -n airflow python=3.8

    > install redis(
  4. ),啟用它(
  5. ),然後檢查其狀態(

    )。 conda activate airflow

  6. apt install -y redis-server> installsudo systemctl enable redis-serversudo systemctl status redis-server)。

    How to Deploy Apache Airflow on Vultr Using Anaconda

    安裝必要的依賴項(
  7. )。
  8. >安裝氣流(pip install "apache-airflow[celery]==2.8.1" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.1/constraints-3.8.txt")。

>將氣流連接到vultr數據庫:>

使用數據庫憑據(引用AirFlow-PGSQL數據庫)設置環境變量。 (此處將包括與原始類似的屏幕截圖,引用原始圖像URL。
    >初始化氣流元數據數據庫(
  1. )。 AIRFLOW__DATABASE__SQL_ALCHEMY_CONN>
  2. configure
  3. ,將執行程序設置為airflow db init(使用AirFlow-PGSQL),Worker和trigger Log端口(8794和8795),
  4. ),以及airflow.cfg >(使用氣流庫)。 (此處將包括與原始類似的屏幕截圖,引用原始圖像URL。 CeleryExecutor創建氣流用戶(sql_alchemy_conn)。 (請記住用實際值替換佔位符)。 broker_url redis://localhost:6379/0 result_backend
  5. >驅動氣流服務:
  6. airflow users create ...
  7. >為氣流Web服務器,調度程序和芹菜工作人員創建並啟用SystemD服務文件,以確保它們在後台持續運行。 這涉及使用適當的
路徑和用戶/組設置創建

>文件(例如,),然後使用啟用並啟動它們。 (此處將包括類似於原件的屏幕截圖,引用原始圖像URL。

nginx反向代理配置:.service airflow-webserver.service ExecStart>將NGINX設置為改善安全性和可擴展性的反向代理。這包括安裝NGINX,創建一個虛擬主機配置文件(systemctl),以向AirFlow Weberver(端口8080)的代理請求以及啟用配置。 請記住要配置防火牆規則以允許HTTP(端口80)和HTTPS(端口443)流量。 (此處將包括與原始類似的屏幕截圖,引用原始圖像URL。

>讓我們加密SSL證書:>

>最後,使用certbot從Let's Gyerpt獲得併安裝SSL證書。這可以通過HTTPS確保您的氣流應用程序。 該過程涉及安裝CERTBOT,獲得證書(

)和測試自動續訂。 (此處將包括與原始類似的屏幕截圖,引用原始圖像URL。 airflow.conf

結論:

該全面的指南詳細介紹了使用conda,nginx和讓我們加密的vultr上部署強大而安全的氣流應用程序。 結果是準備生產,可擴展且安全的工作流管理系統。 >

以上是如何使用Anaconda在vultr上部署Apache氣流的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn