Anacondaを使用して、Apache AirflowをVultrに展開する方法-IT業界-php.cn

ホームページ

テクノロジー周辺機器

IT業界

Anacondaを使用して、Apache AirflowをVultrに展開する方法

Jennifer Aniston

Feb 08, 2025 am 11:11 AM

この記事では、Conda環境内に安全なエアフローアプリケーションを展開し、Nginxをリバースプロキシとして活用し、SSL証明書の暗号化を行います。強力なワークフロー管理ツールであるAirflowは、スケーラビリティと信頼性のためにVultr Serverに展開されています。

How to Deploy Apache Airflow on Vultr Using Anaconda Airflowは、指向した非環式グラフ（DAG）を使用して、複雑なワークフローの定義、スケジューリング、および監視を簡素化します。そのオープンソースの性質により、コミュニティのサポートと継続的な改善が保証されます

（これは、世界中のスケーラブルなソリューションを提供する主要なクラウドコンピューティングプラットフォームであるVultrによるスポンサー記事です。）

vultrにサーバーを展開する：

Vultr Customer Portalにアクセスしてアカウントを作成します。

「製品」に移動し、「計算」を選択します
希望する場所を指定し、マーケットプレイスアプリケーションから「アナコンダ」を選択してください。
プランと追加機能を選択します。

[今すぐ展開]をクリックします。
Vultr Managed PostgreSQLデータベースのセットアップ：

次に、Airflowのメタデータとセロリの結果のために、それぞれVultrが管理したPostgreSQLデータベースとその内部の2つの新しいデータベース（「Airflow-PGSQL」と「Airflow-Celerery」）を作成します。手順には、「データベース」に移動し、PostgreSQLデータベースを追加し、「ユーザーとデータベース」の下に2つの新しいデータベースを追加することが含まれます。スクリーンショットは各ステップを示しています。（オリジナルに似たスクリーンショットは、元の画像URLを参照して、こちらに含まれます。）

Condaバージョンを確認します（）。

conda環境（）を作成します

環境をアクティブにします（
）。conda --ver
redis（
）をインストールし、それを有効にして（conda create -n airflow python=3.8）、そのステータス（
）を確認します。
conda activate airflow
（
）。apt install -y redis-server sudo systemctl enable redis-server sudo systemctl status redis-server
必要な依存関係をインストールする（
）。
Airflow（） pip install "apache-airflow[celery]==2.8.1" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.1/constraints-3.8.txt"

空気の流れをバルトデータベースに接続する：

データベース資格情報を使用して

AIRFLOW__DATABASE__SQL_ALCHEMY_CONNAirflow Metadataデータベース（）を初期化します、executorを
に設定し、airflow db init（Airflow-PGSQLを使用して）を更新し、ワーカーとトリガーのログポート（8794および8795）、
）、および（気流を使用して）。（オリジナルに似たスクリーンショットは、オリジナルの画像URLを参照して、ここに含まれます。）airflow.cfg CeleryExecutorAirflowユーザーを作成します（sql_alchemy_conn）。（プレースホルダーを実際の値に置き換えることを忘れないでください） broker_url redis://localhost:6379/0result_backendデーモー化気流サービス：
airflow users create ...Airflow Webサーバー、スケジューラ、およびセロリワーカーのSystemDサービスファイルを作成および有効にして、バックグラウンドで永続的に実行されるようにします。これには、適切なパスとユーザー/グループ設定を使用して

）を作成し、

を使用してそれらを有効にして起動することが含まれます。（オリジナルに似たスクリーンショットは、元の画像URLを参照して、こちらに含まれます。）

nginxリバースプロキシ構成：

.service airflow-webserver.serviceセキュリティとスケーラビリティを改善するための逆プロキシとしてnginxを設定します。これには、nginxのインストール、仮想ホスト構成ファイル（ExecStart）の作成（systemctl）がAirflow WebServer（ポート8080）へのプロキシリクエストへのリクエスト、および構成の有効化が含まれます。 HTTP（ポート80）およびHTTPS（ポート443）トラフィックを許可するように、ファイアウォールルールを構成することを忘れないでください。（オリジナルに似たスクリーンショットは、オリジナルの画像URLを参照して、ここに含まれます。）

SSL証明書を暗号化しましょう 最後に、CERTBOTを使用してLet's暗号化からSSL証明書を取得してインストールします。これにより、HTTPSで気流アプリケーションが保護されます。このプロセスには、CERTBOTのインストール、証明書の取得（

）、およびAuto-Renewalのテストが含まれます。（オリジナルに似たスクリーンショットは、オリジナルの画像URLを参照して、ここに含まれます。）

airflow.conf

結論：

この包括的なガイドの詳細は、Conda、Nginx、およびLet's Encyptを使用して、Vultrに堅牢で安全なエアフローアプリケーションを展開します。その結果、制作可能で、スケーラブルで安全なワークフロー管理システムができました。

以上がAnacondaを使用して、Apache AirflowをVultrに展開する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明

この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

カスタム電気通信ソフトウェアの利点May 11, 2025 am 08:28 AM

カスタマイズされた通信ソフトウェア開発は、間違いなくかなりの投資です。ただし、長期的には、このようなプロジェクトは、市場で既製のソリューションのように生産性を向上させる可能性があるため、より費用対効果が高い可能性があることに気付くかもしれません。カスタマイズされた通信システムを構築することの最も重要な利点を理解してください。必要な正確な機能を取得しますあなたが購入できる既製の通信ソフトウェアには2つの潜在的な問題があります。生産性を大幅に向上させることができる有用な機能が欠けているものもあります。いくつかの外部統合でそれらを強化することができることもありますが、それは常にそれらを素晴らしいものにするのに十分ではありません。他のソフトウェアには機能が多すぎて、使用できないほど複雑すぎます。おそらくこれらのいくつかを使用しないでしょう（決して！）。通常、多くの機能が価格に追加されます。あなたのニーズに基づいています

CNCFは、ARM64およびx86のプラットフォームパリティブレークスルーをトリガーしますMay 11, 2025 am 08:27 AM

ARM64アーキテクチャのオープンソースソフトウェアのCI/CDパズルとソリューション ARM64アーキテクチャにオープンソースソフトウェアを展開するには、強力なCI/CD環境が必要です。ただし、ARM64のサポートレベルと従来のX86プロセッサアーキテクチャには違いがありますが、これはしばしば不利な点にあります。複数のアーキテクチャのインフラストラクチャコンポーネント開発者は、職場環境に一定の期待を持っています。一貫性：プラットフォーム間で使用されるツールとメソッドは一貫しており、人気の少ないプラットフォームの採用により開発プロセスを変更する必要性を回避します。パフォーマンス：プラットフォームとサポートメカニズムは、複数のプラットフォームをサポートする際に展開シナリオが不十分な速度によって影響を受けることを保証するための優れたパフォーマンスを備えています。テストカバレッジ：効率、コンプライアンス、および

2025年に購読する上位21の開発者ニュースレターApr 24, 2025 am 08:28 AM

これらのトップ開発者ニュースレターを使用して、最新のハイテクトレンドについてお知らせください！このキュレーションされたリストは、AI愛好家からベテランのバックエンドやフロントエンド開発者まで、すべての人に何かを提供します。お気に入りを選択し、Relを検索する時間を節約してください

AWS ECSとLambdaを備えたサーバーレス画像処理パイプラインApr 18, 2025 am 08:28 AM

このチュートリアルは、AWSサービスを使用してサーバーレスイメージ処理パイプラインを構築することをガイドします。 APIゲートウェイ、Lambda関数、S3バケット、およびDynamoDBと対話するECS Fargateクラスターに展開されたnext.jsフロントエンドを作成します。 th

CNCF ARM64パイロット：インパクトと洞察Apr 15, 2025 am 08:27 AM

このパイロットプログラム、CNCF（クラウドネイティブコンピューティングファンデーション）、アンペアコンピューティング、Equinix Metal、およびActuatedのコラボレーションであるCNCF GithubプロジェクトのARM64 CI/CDが合理化されます。このイニシアチブは、セキュリティの懸念とパフォーマンスリムに対処します

See all articles