Anaconda를 사용하여 Vultr에 Apache Airflow를 배포하는 방법

이 기사는 Conda 환경 내에서 안전한 공기 흐름 애플리케이션을 배포하여 Nginx를 역 프록시로 활용하고 SSL 인증서를 암호화하자. 강력한 워크 플로 관리 도구 인 Airflow는 확장 성과 신뢰성을 위해 VUMTR 서버에 배포됩니다.

공기 흐름은 DAGS (Directed Acyclic Graphs)를 사용하여 복잡한 워크 플로의 정의, 일정 및 모니터링을 단순화합니다. 오픈 소스 특성은 커뮤니티 지원과 지속적인 개선을 보장합니다

(이것은 전 세계적으로 확장 가능한 솔루션을 제공하는 주요 클라우드 컴퓨팅 플랫폼 인 Vultr의 스폰서 기사입니다.) Vultr에서 서버 배포 :

vultr 고객 포털에 액세스하고 계정을 만듭니다

"제품 "으로 이동하여"Compute "를 선택하십시오

"배포 서버", "클라우드 컴퓨팅"을 서버 유형으로 선택합니다.

선호하는 위치를 지정하고 마켓 플레이스 응용 프로그램에서 "Anaconda"를 선택하십시오.

1. 계획 및 추가 기능을 선택하십시오
   "지금 배포"를 클릭하십시오

2. Vultr Managed PostgreSQL 데이터베이스 설정 :
다음으로, 공기 흐름의 메타 데이터 및 셀러리 결과에 대해 각각 Vultr-Managed PostgreSQL 데이터베이스와 두 개의 새로운 데이터베이스 ( "Airflow-PGSQL"및 "Airflow-Celery")를 작성하십시오. 단계에는 "데이터베이스"로 탐색하고 PostgreSQL 데이터베이스를 추가 한 다음 "사용자 및 데이터베이스"아래에 두 개의 새 데이터베이스를 추가하는 것입니다. 스크린 샷은 각 단계를 보여줍니다. (원본과 유사한 스크린 샷은 여기에 포함되어 원본 이미지 URL을 참조합니다.) 콘다 환경 설정 및 공기 흐름 설치 :

3. 콘다 버전을 확인하십시오 ()
4. 콘다 환경을 만듭니다 ()
   환경을 활성화합니다 ()

   Redis (

   )를 설치하고 활성화하고 (
)를 확인하고 그 상태를 확인하십시오 ().
6. install

   ()

   필요한 종속성을 설치하십시오 ()

7. 공기 흐름을 설치하십시오 ()

   pip install "apache-airflow[celery]==2.8.1" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.1/constraints-3.8.txt"

   공기 흐름 연결 VUMTR 데이터베이스에 연결 :

데이터베이스 자격 증명 (공기 흐름 -PGSQL 데이터베이스 참조)을 사용하여 환경 변수를 설정하십시오. (원본과 유사한 스크린 샷은 여기에 포함되어 원본 이미지 URL을 참조합니다.) 공기 흐름 메타 데이터 데이터베이스를 초기화 () 구성 를 구성하고, executor를 로 설정하고, (공기 흐름 -pgsql 사용), 작업자 및 트리거 로그 포트 (8794 및 8795), ) 및

(공기 흐름 셀러리 사용). (원본과 유사한 스크린 샷은 여기에 포함되어 원본 이미지 URL을 참조합니다.) 공기 흐름 사용자를 만듭니다 ( AIRFLOW__DATABASE__SQL_ALCHEMY_CONN 공기 흐름 서비스 데모니 화 : 공기 흐름 웹 서버, 스케줄러 및 셀러리 작업자의 SystemD 서비스 파일을 만들고 활성화하여 백그라운드에서 지속적으로 실행되도록합니다. 여기에는 적절한 경로 및 사용자/그룹 설정으로 파일 (예 : )을 생성 한 다음 를 사용하여 활성화하고 시작하는 것이 포함됩니다. (원본과 유사한 스크린 샷은 여기에 포함되어 원본 이미지 URL을 참조합니다.) nginx 리버스 프록시 구성 : 보안 및 확장 성을 향상시키기 위해 Nginx를 역전 프록시로 설정하십시오. 여기에는 nginx 설치, 공기 흐름 웹 서버 (Port 8080)에 대한 프록시 요청에 대한 가상 호스트 구성 파일 () 생성 및 구성을 활성화하는 것이 포함됩니다. HTTP (포트 80) 및 HTTP (포트 443) 트래픽을 허용하도록 방화벽 규칙을 구성해야합니다. (원본과 유사한 스크린 샷은 여기에 포함되어 원본 이미지 URL을 참조합니다.)
1. SSL 인증서를 암호화하자 : airflow db init 마지막으로, CertBot을 사용하여 Let 's Encrypt에서 SSL 인증서를 얻고 설치하십시오. 이것은 HTTPS로 공기 흐름 애플리케이션을 확보합니다. 프로세스에는 CertBot 설치, 인증서 () 및 자동 갱신 테스트가 포함됩니다. (원본과 유사한 스크린 샷은 여기에 포함되어 원본 이미지 URL을 참조합니다.)
결론 :
2. 이 포괄적 인 가이드 세부 사항은 Conda, Nginx 및 Expypt를 사용하여 Vultr에 강력하고 안전한 공기 흐름 애플리케이션을 배포하는 것입니다. 결과는 생산 준비가되고 확장 가능하며 안전한 워크 플로 관리 시스템입니다. airflow.cfg

위 내용은 Anaconda를 사용하여 Vultr에 Apache Airflow를 배포하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!