Postgres가있는 Mage AI를 설정합니다

프로세스를 간소화하고 실시간 정보를 생성하기 위해 효율적인 데이터 파이프 라인을 작성하는 데이터 전문가로 자신을 상상해보십시오. 도전적인 것 같네요? Mage AI가 온라인으로 운영하는 대출 기관이 경쟁 우위를 확보 할 수 있도록하는 곳입니다. 그림 : 따라서 깊은 설정 및 일정한 코딩이 필요한 많은 다른 확장과 달리 Mage AI는 명확하고 불필요한 단계별 설정을 가지고 있으며 항목을 드래그 앤 드롭하지 않고도 명확한 인터페이스를 사용할 수 있습니다. 또한 Mage AI로 첫 번째 데이터 파이프 라인을 만들 수 있도록 PostgreSQL로 MAGE AI를 가져 오는 방법도 공유하겠습니다. 데이터 처리를 더욱 개선하는 데 도움이되는 단계를 소개 할 수 있습니다.

학습 결과

• PostgreSQL과 원활한 통합을 위해 MAGE AI를 구성하는 방법을 이해하십시오.
• PGADMIN4를 사용하여 원시 데이터를 PostgreSQL에 업로드하고 Schemas를 만드는 법을 배웁니다.
• MAGE AI에서 데이터 파이프 라인을 구축하고 관리하는 프로세스를 마스터하십시오.
• 자동 트리거를 설정하고 데이터 파이프 라인에 대한 스케줄링을 설정하는 방법을 살펴보십시오.
• 실시간 처리 및 모니터링과 같은 Mage AI의 고급 기능에 대한 통찰력을 얻으십시오.

이 기사는 Data Science Blogathon 의 일부로 출판되었습니다 .

목차

• 학습 결과
• Mage AI는 무엇입니까?
• 데이터 파이프 라인을 구축하고 관리하기 위해 Postgres가있는 Mage AI 설정
  • 1 단계 : Postgres 데이터베이스 준비
  • 2 단계 : Postgres 구성 세부 사항 수집
  • 3 단계 : 대 코드에서 Docker를 사용하여 MAGE AI 설치
  • STEP4 : Postgres와 연결하도록 Mage AI 구성
  • STEP5 : 첫 번째 데이터 파이프 라인 생성
  • STEP6 : 트리거 및 스케줄링 파이프 라인 생성
• Mage AI의 추가 기능
• 결론
• 자주 묻는 질문

Mage AI는 무엇입니까?

MAGE AI는 성장하는 데이터 워크 플로우를 오픈 소스 도구로 통합하는 것을 단순화합니다. 깨끗한 디자인 및 앱과 같은 인터페이스를 통해 데이터 엔지니어와 분석가는 원 클릭 옵션을 사용하여 데이터 파이프 라인을 쉽게 만들 수있어 코딩이 필요하지 않습니다. 빅 데이터 가져 오기, 분석 및 조작하는 것은 드래그 앤 드롭, 데이터 변환, 데이터 소스 호환성과 같은 기능과 함께 제공되는 MAGE AI를 사용하면 훨씬 쉽습니다. 전자는 사용자가 기본 인프라를 설정하는 것에 대해 걱정하는 대신 분석 측면에서 시간을 보내도록 할 수 있습니다. Mage AI는 또한 기술 및 비 기술적 인 사용자 모두에게 적합한 사용자 정의 변환을 정의 할 수있는 Python 스크립팅을 지원합니다.

PostgreSQL과 함께 MAGE AI를 사용하는 이점

PostgreSQL과 함께 Mage AI를 사용하는 이점을 살펴 보겠습니다.

• 간소화 된 데이터 관리 : MAGE AI는 드래그 앤 드롭 인터페이스로 데이터 파이프 라인 생성을 단순화하므로 수동 코딩없이 PostgreSQL에서 데이터를 쉽게로드, 변환 및 내보낼 수 있습니다.
• 향상된 자동화 : 트리거 및 예약 된 파이프 라인을 설정하여 ETL 프로세스와 같은 반복 데이터 작업을 자동화하여 지속적인 수동 개입의 필요성을 줄입니다.
• SEAMLESS 통합 : MAGE AI는 PostgreSQL과 원활하게 통합되어 사용자가 대규모 데이터 세트를 효율적으로 관리하고 동일한 워크 플로 내에서 복잡한 데이터 작업을 수행 할 수 있습니다.
• 사용자 정의 가능한 변환 : MAGE AI의 Python 스크립팅을 활용하여 PostgreSQL 데이터에서 사용자 정의 데이터 변환을 수행하여 고급 데이터 처리를위한 유연성이 가능합니다.
• 확장 가능하고 신뢰할 수있는 : MAGE AI는 파이프 라인을 효율적으로 관리하여 소규모 및 대형 데이터 세트의 원활한 처리를 보장하는 반면 PostgreSQL의 확장 성은 성능 병목 현상없이 비즈니스 성장을 지원합니다.
• 사용자 친화적 : 직관적 인 인터페이스를 통해 다양한 수준의 기술 전문 지식을 가진 사용자가 액세스 할 수 있으므로 더 빠르게 학습하고 데이터 솔루션을 더 빠르게 배포 할 수 있습니다.

데이터 파이프 라인을 구축하고 관리하기 위해 Postgres가있는 Mage AI 설정

Postgres로 Mage AI를 설정하면 강력한 데이터 파이프 라인을 원활하게 구축하고 관리하고, 워크 플로우를 자동화하며, 복잡한 데이터 작업을 단순화하여 효율적인 통찰력을 제공 할 수 있습니다. Postgres로 마법사 AI를 설정하는 데 필요한 단계를 살펴 보겠습니다.

1 단계 : Postgres 데이터베이스 준비

MAGE AI로 다이빙하기 전에 PGADMIN4를 사용하여 원시 데이터 파일을 Postgres에 업로드하고 각 파일에 대한 올바른 스키마를 만듭니다. 시작하는 방법은 다음과 같습니다.

PGADMIN4를 통해 원시 파일을 Postgres에 업로드하십시오

• PGADMIN4를 열고 Postgres 서버에 연결하십시오.
• 새 데이터베이스를 작성하거나 기존 데이터베이스를 사용하십시오.
• 각 원시 데이터 파일에 대해 올바른 스키마를 추가해야합니다.
• 이 스키마 내의 해당 테이블로 데이터 파일을 업로드/내보내십시오.

 팬더를 PD로 가져옵니다
chardet을 가져옵니다

# 이진 모드에서 파일을 열고 샘플을 읽습니다.
file으로 Open ( "ExpenseMaster.csv", 'rb')을 사용하여 :
    샘플 = file.read (10000) # 샘플로 처음 10,000 바이트 읽기

# 인코딩을 감지합니다
감지 = chardet.detect (샘플)
인쇄 (감지 [ '인코딩'])

# 감지 된 인코딩을 사용하여 CSV를 읽습니다
노력하다:
    df = pd.read_csv ( "Expensemaster.csv", encoding = 감지 [ '인코딩'])
UnicodedEcodeerror를 제외하고 :
    # 읽기가 실패하면 UTF-8과 같은 공통 인코딩으로 시도하십시오.
    df = pd.read_csv ( "Expensemaster.csv", encoding = "utf-8")

# 데이터 유형을 추론합니다
dtype_mapping = {
    '개체': '텍스트',
    'int64': 'bigint',
    'float64': 'Double Precision',
    'datetime64 [ns]': 'timestamp',
    'bool': '부울'
}

column_definitions = ','.join

# 생성 테이블 SQL을 생성합니다
table_name = 'Expensemaster'
create_table_sql = f'create table {table_name} ({collect_definitions}); '
print (create_table_sql)

새로 생성 된 테이블을 얻으려면 "테이블 '을 새로 고치십시오.

Postgres 서비스를 시작하십시오

Postgres 서비스가 실행 중인지 확인하십시오. PGADMIN4 또는 PSQL 터미널을 사용하여 확인할 수 있습니다.

2 단계 : Postgres 구성 세부 사항 수집

Postgres로 Mage AI를 구성하려면 특정 세부 정보가 필요합니다. 필요한 것과 찾는 방법은 다음과 같습니다.

• Postgres_dbname : Postgres 데이터베이스의 이름입니다.
• Postgres_Schema : 데이터 파일이 업로드되는 스키마.
• Postgres_user : Postgres 데이터베이스의 사용자 이름.
• Postgres_password : Postgres 데이터베이스의 비밀번호.
• Postgres_host : Postgres 서버의 호스트 IP 주소.
• Postgres_port : Postgres의 경우 일반적으로 5432.

3 단계 : 대 코드에서 Docker를 사용하여 MAGE AI 설치

Mage AI를 설치하려면 Visual Studio Code (VS Code)에서 Docker Extension을 사용합니다. Docker Desktop과 VS 코드의 Docker Extension이 설치되어 있는지 확인하십시오.

Docker Desktop을 설치하십시오

여기에서 Docker Desktop을 다운로드하여 설치하고 초기화하십시오.

VS 코드의 Docker Extension을 설치하십시오.

• 대 코드를 열고 창 측면의 활동 막대의 확장자 아이콘을 클릭하거나 Ctrl Shift X를 눌러 확장자보기로 이동하십시오.
• "Docker"를 검색하고 Microsoft의 Docker Extension을 설치하십시오.

마법사 AI Docker 이미지를 당깁니다

• 대 코드에서 터미널을 열고 프로젝트 폴더로 이동하십시오.
• 다음 명령을 실행하여 최신 Mage AI Docker 이미지를 가져 오십시오.

 Docker Pull Mageai/Mageai : 최신

마법사 AI Docker 이미지를 실행하십시오

• Mage AI 이미지가 가져 오면 Code의 Docker 탭으로 이동하십시오.
• 마법사 AI 이미지를 찾고 실행하십시오. 이것은 새 컨테이너를 만듭니다.
• 새로 생성 된 컨테이너를 마우스 오른쪽 버튼으로 클릭하고 "브라우저에서 열기"를 선택하십시오.
• MAGE AI 인터페이스는 이제 기본 웹 브라우저에로드해야합니다.

STEP4 : Postgres와 연결하도록 Mage AI 구성

io_config.yaml에서 데이터베이스 연결을 구성하십시오.

• 파이프 라인의 모든 파일 섹션으로 이동하십시오.
• io_config.yaml 파일을 찾아서 엽니 다.
• Postgres 연결 세부 정보를 다음과 같이 추가하십시오

MAGE AI가 Postgres 데이터베이스에 액세스하도록 허용하십시오

• IP 주소의 데이터베이스에 대한 액세스 권한을 부여하려면 pg_hba.conf 파일을 수정해야합니다.
• c : \ program files \ postgresql \ 16 \ data에서 pg_hba.conf 파일을 찾으십시오.
• 파일을 열고 그림 4와 같이 # IPv4 로컬 연결 섹션 아래에 행을 추가하십시오.

STEP5 : 첫 번째 데이터 파이프 라인 생성

MAGE AI가 Postgres와 연결하도록 구성되었으므로 첫 번째 데이터 파이프 라인을 만들 수 있습니다. 각 데이터 세트의 데이터 로더 블록을 설정하고 드래그 앤 드롭 기능을 사용하여 플로우 차트에 연결하여 시작합니다.

데이터 로더 블록을 만듭니다

• 각 데이터 세트마다 별도의 데이터 로더 블록을 만듭니다.
• MAGE AI 인터페이스에서는 Postgres에서로드 해야하는 각 데이터 세트의 캔버스로 데이터 로더 블록을 드래그 앤 드롭합니다.
• 각 데이터 로더 블록을 적절한 연결 세부 정보와 쿼리로 구성하여 Postgres에서 데이터를 가져 오십시오.

데이터 로더 블록을 변압기 블록에 연결하십시오

드래그 앤 드롭 기능을 사용하여 플로우 차트의 데이터 로더 블록을 다음 변압기 코드 블록에 연결하십시오. 이 시각적 표현은 데이터 흐름을 이해하고 모든 단계가 올바르게 연결되도록하는 데 도움이됩니다.

데이터 수출기 블록 생성

• MAGE AI 인터페이스에서 데이터 로더 및 변환 블록을 구성한 후 캔버스에 데이터 수출기 블록을 추가하십시오.
• Python의 데이터 대상으로 "Postgres"를 선택하십시오.
• Postgres 데이터베이스에 필요한 연결 세부 정보를 제공하십시오. 변환 된 데이터를 PostgreSQL 데이터베이스로 다시 내보내기 위해 코드를 작성하십시오.

STEP6 : 트리거 및 스케줄링 파이프 라인 생성

Mage AI는 파이프 라인을 실행하고 정기적으로 실행할 수 있도록 트리거를 만들 수있는 기능을 제공합니다. 이를 통해 데이터가 수동 개입없이 항상 최신 정보를 제공합니다.

트리거 생성

• Mage AI에서는 특정 이벤트 또는 조건에 따라 파이프 라인을 실행할 수있는 트리거를 설정할 수 있습니다. 예를 들어, 새 데이터가 Postgres 데이터베이스에 추가 될 때마다 파이프 라인을 실행하도록 트리거 할 수 있습니다.
• 트리거를 만들려면 파이프 라인 설정으로 이동하여 필요에 따라 트리거 조건을 구성하십시오.

파이프 라인 예약

• MAGE AI는 정기적 인 간격으로 일정 파이프 라인을 지원합니다. 마법사 AI 대시 보드의 스케줄링 설정을 통해 수행 할 수 있습니다.
• 주파수 (매일, 주간 등) 및 파이프 라인이 실행되는 시간을 지정할 수 있습니다.

Mage AI의 추가 기능

Mage AI는 데이터 파이프 라인을 자동화하고 향상시키는 몇 가지 강력한 기능을 제공합니다.

• 여러 데이터 소스와의 통합 : MAGE AI는 또한 다양한 종류의 데이터 입력을 수용하여 데이터베이스, 클라우드 스토리지 및 API를 통해 다양하고 광범위한 데이터 흐름을 구성 할 수 있습니다.
• 고급 변환 기능 : Python을 기반으로 Mage AI는 다양한 데이터 변환 알고리즘의 실현 프로세스를 용이하게하는 데코레이터의 도움으로 사용자 정의 변환을 구현할 수있는 기회를 제공합니다.
• 확장 성 : MAGE AI는 빅 데이터에 대한 처리량을 최적화하여 증가 할 때 증가하는 양의 데이터를 처리 할 수 ​​있습니다.
• 모니터링 및 경고 : MAGE AI는 강력한 모니터링 및 경고 기능을 제공하며 파이프 라인의 워크 플로우를 모니터링하고 실패에 대한 알림을받을 수 있습니다.
• 사용자 친화적 인 인터페이스 : 데이터 파이프 라인의 그래픽 레이아웃은 데이터를 조작하고 변환하기 위해 복잡한 코딩에 대해 걱정할 필요가 없음을 의미합니다.

그들은 Mage AI를 데이터 워크 플로우를 데이터 인프라로 자동화하는 도구로 만들어 많은 시간을 소비 할 필요가 없습니다.

결론

오늘날 정보는 귀중한 자산이며 조직에 데이터 관리가 필수적입니다. 이 기사는 PostgreSQL로 MAGE AI를 구성하는 것에 대한 명확한 지침을 제공하여 여러 프로세스를 간소화 할뿐만 아니라 생산성을 크게 향상시키는 강력한 데이터 파이프 라인을 구축 할 수 있도록 도와줍니다. Software Associate를 사용하면 PostgreSQL과 같은 강력한 데이터베이스와 함께 MAGE AI의 활용을 통해 사용자가 가능한 가장 짧은 시간 내에 올바른 결정을 처리, 분석 및 수행 할 수 있습니다. 조직이 데이터 중심의 방법론 및 프레임 워크에 대한 노력을 강화함에 따라 MAGE AI와 같은 기술은 데이터 관리를위한 지배적 인 모델입니다.

Github 의이 기사 뒤에있는 코드를 살펴보십시오!

자주 묻는 질문

Q1. Mage AI는 무엇입니까?

A. MAGE AI는 데이터 워크 플로를 구축하고 관리하는 프로세스를 단순화하도록 설계된 오픈 소스 도구입니다. 데이터 전문가가 광범위한 코딩 지식없이 파이프 라인을 만드는 데 도움이되는 사용자 친화적 인 인터페이스 및 자동화 기능을 제공합니다.

Q2. Mage AI와 함께 PostgreSQL을 사용하는 이유는 무엇입니까?

A. PostgreSQL은 견고성과 확장 성으로 유명한 강력한 오픈 소스 관계형 데이터베이스 관리 시스템입니다. MAGE AI와 쌍을 이룰 때 사용자는 대형 데이터 세트를 효율적으로 저장, 검색 및 조작 할 수 있으므로 데이터 파이프 라인에 이상적인 선택이됩니다.

Q3. Mage AI를 사용하려면 프로그래밍 기술이 필요합니까?

A. 프로그래밍 개념에 대한 친숙 함은 도움이 될 수 있지만 MAGE AI는 다양한 수준의 기술 전문 지식을 가진 사용자가 사용자 친화적이고 액세스 할 수 있도록 설계되었습니다. 직관적 인 인터페이스를 통해 많은 작업을 수행 할 수 있습니다.

Q4. 다른 데이터 소스를 MAGE AI와 통합 할 수 있습니까?

A. 예, MAGE AI는 다양한 데이터 소스와의 통합을 지원하므로 사용자는 여러 플랫폼에서 데이터를 가져 오는 포괄적 인 데이터 파이프 라인을 구축하여 전체 데이터 생태계를 향상시킬 수 있습니다.

Q5. Mage AI는 무료로 사용할 수 있습니까?

A. Mage AI는 오픈 소스 도구입니다. 즉, 무료로 사용할 수 있습니다. 그러나 사용자는 인프라 선택에 따라 호스팅, 스토리지 및 기타 관련 서비스와 관련된 비용이 발생할 수 있습니다.

이 기사에 표시된 미디어는 분석 Vidhya가 소유하지 않으며 저자의 재량에 따라 사용됩니다.

위 내용은 Postgres가있는 Mage AI를 설정합니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!