設置法師AI與Postgres

想像一下自己是一個數據專業人士，負責創建有效的數據管道來簡化流程並生成實時信息。聽起來很具有挑戰性，對嗎？這就是法師AI的來源，以確保在線運營的貸方獲得競爭優勢。圖片：因此，與許多需要深入設置和恆定編碼的其他擴展名不同，法師AI具有清晰且無需逐步的逐步設置，歡迎您使用其清晰的界面而無需拖放項目。我還將與您分享如何使用PostgreSQL導入Mage AI，以便您可以使用Mage AI創建第一個數據管道。請允許我向您介紹有助於使您的數據處理更好的步驟！

學習成果

• 了解如何配置Mage AI，以與PostgreSQL無縫集成。
• 學習將原始數據上傳到PostgreSQL並使用PGADMIN4創建模式。
• 掌握法師AI中構建和管理數據管道的過程。
• 探索如何設置自動觸發器並進行數據管道計劃。
• 了解法師AI的高級功能，例如實時處理和監視。

本文作為數據科學博客馬拉鬆的一部分發表。

目錄

• 學習成果
• 什麼是法師AI？
• 設置帶有Postgres的法師AI來構建和管理您的數據管道
  • 步驟1：準備Postgres數據庫
  • 步驟2：收集Postgres配置詳細信息
  • 步驟3：在VS代碼中使用Docker安裝法師AI
  • 步驟4：配置法師AI與Postgres連接
  • 步驟5：創建第一個數據管道
  • 步驟6：創建觸發器和調度管道
• 法師AI的其他功能
• 結論
• 常見問題

什麼是法師AI？

法師AI簡化了成長的數據工作流程作為開源工具的集成。借助其乾淨的設計和類似應用程序的接口，數據工程師和分析師可以使用一鍵式選項輕鬆地創建數據管道，從而消除了編碼的需求。 Mage AI的導入，分析和操縱大數據要容易得多，該功能具有拖放，數據轉換，數據源兼容性等功能。前者使用戶能夠將時間花在分析方面，而不必擔心要設置的基礎架構。法師AI還支持Python腳本，其中可以定義自定義轉換，從而使其適合技術用戶和非技術用戶。

將法師AI與PostgreSQL一起使用的好處

讓我們研究與PostgreSQL一起使用法師AI的好處。

• 簡化數據管理：法師AI使用其拖放接口簡化了數據管道創建，從而易於加載，轉換和導出來自PostgreSQL的數據，而無需手動編碼。
• 增強的自動化：通過設置觸發器和計劃的管道來自動化重複的數據任務，例如ETL過程，從而減少了對持續的手動干預的需求。
• 無縫集成：法師AI與PostgreSQL平穩集成，使用戶能夠有效地管理大型數據集並在同一工作流程內執行複雜的數據操作。
• 可自定義的轉換：利用法師AI中的Python腳本來執行PostgreSQL數據的自定義數據轉換，從而可以靈活地進行高級數據處理。
• 可擴展和可靠：法師AI有效地管理管道，確保對小型和大型數據集的平穩處理，而PostgreSQL的可伸縮性支持業務增長而無需績效瓶頸。
• 用戶友好：直觀界面使具有不同技術專業知識水平的用戶可以訪問它，從而可以更快地學習並更快地部署數據解決方案。

設置帶有Postgres的法師AI來構建和管理您的數據管道

用Postgres設置法師AI使您可以無縫構建和管理功能強大的數據管道，自動化工作流以及簡化複雜的數據任務以獲得有效的見解。讓我們研究設置帶有Postgres的法師AI所需的步驟。

步驟1：準備Postgres數據庫

在進入Mage AI之前，請使用PGADMIN4將原始數據文件上傳到Postgres，然後為每個文件創建正確的架構。這是開始的方法：

通過pgadmin4上傳RAW文件到Postgres44

• 打開PGADMIN4並連接到您的Postgres服務器。
• 創建一個新的數據庫或使用現有數據庫。
• 確保為每個原始數據文件添加正確的架構。
• 將數據文件上傳/導出到本架構中的適當表中。

導入大熊貓作為pd
進口瓦片

＃以二進制模式打開文件並閱讀示例
打開（“ expensemaster.csv”，'rb'）作為文件：
    示例= file.read（10000）＃讀取第一個10,000字節作為示例

＃檢測編碼
檢測到= chardet.detect（樣品）
打印（檢測到['編碼']）

＃使用檢測到的編碼讀取CSV
嘗試：
    df = pd.read_csv（“ expensemaster.csv”，encoding = dented ['encoding']）
除了Unicodedecodeerror：
    ＃如果閱讀失敗，請嘗試使用UTF-8等常見編碼
    df = pd.read_csv（“ expensemaster.csv”，encoding =“ utf-8”）

＃推斷數據類型
dtype_mapping = {
    '對象'：'text'，
    'int64'：'bigint'，
    'float64'：'雙精度'，
    'datetime64 [ns]'：'timestamp'，
    “布爾”：'布爾'
}

column_definitions ='，'.join（[f'“ {col}” {dtype_mapping [str（df [col] .dtype）}'} col for df.columns中的col]）））

＃生成創建表SQL
table_name ='Expensemaster'
create_table_sql = f'create table {table_name}（{column_definitions}）;'
打印（create_table_sql）

單擊“表”上的“刷新”以獲取新創建的表。

啟動Postgres服務

確保Postgres服務正在運行。您可以在PGADMIN4或使用PSQL終端檢查此問題。

步驟2：收集Postgres配置詳細信息

您需要特定的詳細信息來配置使用Postgres的法師AI。這是您需要的以及如何找到它：

• postgres_dbname ：Postgres數據庫的名稱。
• postgres_schema ：上傳數據文件的架構。
• Postgres_user ：Postgres數據庫的用戶名。
• Postgres_password ：Postgres數據庫的密碼。
• postgres_host ：Postgres服務器的主機IP地址。
• Postgres_port ：通常為Postgres的5432。

步驟3：在VS代碼中使用Docker安裝法師AI

要安裝法師AI，我們將在Visual Studio代碼（VS代碼）中使用Docker擴展名。確保您安裝了VS代碼的Docker桌面和Docker擴展程序。

安裝Docker桌面

從此處下載並安裝Docker桌面並初始化。

安裝VS代碼的Docker擴展名：

• 打開VS代碼，然後單擊窗口側面的活動欄或按下CTRL Shift X的活動欄中的擴展圖標，轉到“擴展”視圖。
• 搜索“ Docker”，並通過Microsoft安裝Docker擴展程序。

拉法師AI Docker Image

• 打開VS代碼的終端並導航到您的項目文件夾。
• 運行以下命令來拉出最新的法師AI Docker映像：

 Docker Pull Mageai/Mageai：最新

運行法師AI Docker Image

• 拉出法師AI映像後，請轉到VS代碼中的Docker選項卡。
• 找到法師AI圖像並運行它。這將創建一個新容器。
• 右鍵單擊新創建的容器，然後選擇“在瀏覽器中打開”。
• MAGE AI接口現在應加載到默認的Web瀏覽器中。

步驟4：配置法師AI與Postgres連接

在io_config.yaml中配置數據庫連接：

• 導航到管道的所有文件部分。
• 找到並打開io_config.yaml文件。
• 如下添加您的Postgres連接詳細信息

允許Mage AI訪問Postgres數據庫

• 要授予IP地址上數據庫的訪問，您需要修改PG_HBA.conf文件。
• 在C：\ Program Files \ Postgresql \ 16 \ Data上找到pg_hba.conf文件。
• 打開文件並在＃ipv4本地連接部分下添加行，如圖4所示。

步驟5：創建第一個數據管道

現在，法師AI已配置為與Postgres連接，我們可以創建第一個數據管道。首先，我們為每個數據集設置數據加載器塊，並使用拖放功能將它們連接到流程圖中。

創建數據加載器塊

• 對於每個數據集，創建一個單獨的數據加載程序塊。
• 在法師AI接口中，將數據加載程序塊拖放到每個數據集的畫布上，您需要從Postgres加載。
• 使用適當的連接詳細信息配置每個數據加載器塊，並查詢從Postgres獲取數據。

將數據加載器塊連接到變壓器塊

使用拖放功能將流程圖中的數據加載程序塊連接到下一個變壓器代碼塊。此視覺表示有助於理解數據流並確保正確連接所有步驟。

創建數據出口商塊

• 在法師AI接口中，配置數據加載程序和轉換塊後，將數據出口商塊添加到畫布中。
• 選擇“ Postgres”作為Python下數據的目的地。
• 向Postgres數據庫提供必要的連接詳細信息。編寫代碼將轉換後的數據導出到PostgreSQL數據庫。

步驟6：創建觸發器和調度管道

Mage AI提供了創建觸發器以運行管道並安排定期執行的觸發器的能力。這樣可以確保您的數據始終是最新的，而無需手動干預。

創建觸發器

• 在法師AI中，您可以根據特定事件或條件設置觸發器來運行管道。例如，每當將新數據添加到Postgres數據庫中時，您都可以觸發管道以運行。
• 要創建觸發器，請導航到管道設置並根據需要配置觸發條件。

安排管道

• 法師AI支持安排管道定期運行。這可以通過法師AI儀表板中的調度設置來完成。
• 您可以指定頻率（每日，每周等）以及管道運行的時間。

法師AI的其他功能

Mage AI提供了幾個強大功能來自動化和增強您的數據管道：

• 與多個數據源集成： Mage AI還接受多種數據輸入：數據庫，雲存儲和API，使您能夠構建各種而廣泛的數據流。
• 高級轉換功能：基於Python，Mage AI為您提供了一個機會，可以在裝飾器的幫助下實施自定義轉換，從而有助於實現各種數據轉換算法的過程。
• 可伸縮性：法師AI優化您的大數據吞吐量，使其能夠隨著數據的增長而處理越來越多的數據。
• 監視和警報：法師AI提供了強大的監視和警報功能，並允許人們監視管道的工作流程以及接收失敗的通知。
• 用戶友好的接口：數據管道的圖形佈局意味著用戶不必擔心複雜的編碼即可操縱和轉換其數據。

他們使法師AI成為將數據工作流動自動化為數據基礎架構的工具，以便您不需要花費太多時間。

結論

如今，信息是一項寶貴的資產，使數據管理對組織至關重要。本文提供了有關使用PostgreSQL配置法師AI的明確指南，可幫助您構建強大的數據管道，不僅簡化了多個過程，而且可以顯著提高生產率。借助軟件助理，Mage AI以及諸如PostgreSQL之類的強大數據庫的利用使用戶能夠在最短的時間內處理，分析和做出正確的決策。隨著組織在數據驅動的方法和框架方面加大了努力，諸如AI之類的技術已成為管理數據的主要模型。

在Github上探索本文背後的代碼！

常見問題

Q1。什麼是法師AI？

A. Mage AI是一種開源工具，旨在簡化構建和管理數據工作流程的過程。它提供了一個用戶友好的界面和自動化功能，可幫助數據專業人員創建管道，而無需大量的編碼知識。

Q2。為什麼要將PostgreSQL與法師AI一起使用？

A. PostgreSQL是一種功能強大的開源關係數據庫管理系統，以其穩健性和可擴展性而聞名。與Mage AI配對時，它允許用戶有效地存儲，檢索和操縱大型數據集，從而成為數據管道的理想選擇。

Q3。我需要使用法師AI的編程技能嗎？

答：雖然對編程概念的熟悉程度可能會有所幫助，但Mage AI旨在對具有不同技術專長水平的用戶進行用戶友好且可訪問。許多任務可以通過其直觀界面來完成。

Q4。我可以將其他數據源與法師AI集成嗎？

答：是的，法師AI支持與各種數據源集成，使用戶可以構建全面的數據管道，從而從多個平台中吸引數據，從而增強了整體數據生態系統。

Q5。法師AI可以免費使用嗎？

A.法師AI是一種開源工具，這意味著它可以免費使用。但是，用戶可能會根據其基礎架構選擇而產生與託管，存儲和其他相關服務相關的成本。

本文所示的媒體不由Analytics Vidhya擁有，並由作者酌情使用。

以上是設置法師AI與Postgres的詳細內容。更多資訊請關注PHP中文網其他相關文章！