设置法师AI与Postgres

想象一下自己是一个数据专业人士，负责创建有效的数据管道来简化流程并生成实时信息。听起来很具有挑战性，对吗？这就是法师AI的来源，以确保在线运营的贷方获得竞争优势。图片：因此，与许多需要深入设置和恒定编码的其他扩展名不同，法师AI具有清晰且无需逐步的逐步设置，欢迎您使用其清晰的界面而无需拖放项目。我还将与您分享如何使用PostgreSQL导入Mage AI，以便您可以使用Mage AI创建第一个数据管道。请允许我向您介绍有助于使您的数据处理更好的步骤！

学习成果

• 了解如何配置Mage AI，以与PostgreSQL无缝集成。
• 学习将原始数据上传到PostgreSQL并使用PGADMIN4创建模式。
• 掌握法师AI中构建和管理数据管道的过程。
• 探索如何设置自动触发器并进行数据管道计划。
• 了解法师AI的高级功能，例如实时处理和监视。

本文作为数据科学博客马拉松的一部分发表。

目录

• 学习成果
• 什么是法师AI？
• 设置带有Postgres的法师AI来构建和管理您的数据管道
  • 步骤1：准备Postgres数据库
  • 步骤2：收集Postgres配置详细信息
  • 步骤3：在VS代码中使用Docker安装法师AI
  • 步骤4：配置法师AI与Postgres连接
  • 步骤5：创建第一个数据管道
  • 步骤6：创建触发器和调度管道
• 法师AI的其他功能
• 结论
• 常见问题

什么是法师AI？

法师AI简化了成长的数据工作流程作为开源工具的集成。借助其干净的设计和类似应用程序的接口，数据工程师和分析师可以使用一键式选项轻松地创建数据管道，从而消除了编码的需求。 Mage AI的导入，分析和操纵大数据要容易得多，该功能具有拖放，数据转换，数据源兼容性等功能。前者使用户能够将时间花在分析方面，而不必担心要设置的基础架构。法师AI还支持Python脚本，其中可以定义自定义转换，从而使其适合技术用户和非技术用户。

将法师AI与PostgreSQL一起使用的好处

让我们研究与PostgreSQL一起使用法师AI的好处。

• 简化数据管理：法师AI使用其拖放接口简化了数据管道创建，从而易于加载，转换和导出来自PostgreSQL的数据，而无需手动编码。
• 增强的自动化：通过设置触发器和计划的管道来自动化重复的数据任务，例如ETL过程，从而减少了对持续的手动干预的需求。
• 无缝集成：法师AI与PostgreSQL平稳集成，使用户能够有效地管理大型数据集并在同一工作流程内执行复杂的数据操作。
• 可自定义的转换：利用法师AI中的Python脚本来执行PostgreSQL数据的自定义数据转换，从而可以灵活地进行高级数据处理。
• 可扩展和可靠：法师AI有效地管理管道，确保对小型和大型数据集的平稳处理，而PostgreSQL的可伸缩性支持业务增长而无需绩效瓶颈。
• 用户友好：直观界面使具有不同技术专业知识水平的用户可以访问它，从而可以更快地学习并更快地部署数据解决方案。

设置带有Postgres的法师AI来构建和管理您的数据管道

用Postgres设置法师AI使您可以无缝构建和管理功能强大的数据管道，自动化工作流以及简化复杂的数据任务以获得有效的见解。让我们研究设置带有Postgres的法师AI所需的步骤。

步骤1：准备Postgres数据库

在进入Mage AI之前，请使用PGADMIN4将原始数据文件上传到Postgres，然后为每个文件创建正确的架构。这是开始的方法：

通过pgadmin4上传RAW文件到Postgres44

• 打开PGADMIN4并连接到您的Postgres服务器。
• 创建一个新的数据库或使用现有数据库。
• 确保为每个原始数据文件添加正确的架构。
• 将数据文件上传/导出到本架构中的适当表中。

导入大熊猫作为pd
进口瓦片

＃以二进制模式打开文件并阅读示例
打开（“ expensemaster.csv”，'rb'）作为文件：
    示例= file.read（10000）＃读取第一个10,000字节作为示例

＃检测编码
检测到= chardet.detect（样品）
打印（检测到['编码']）

＃使用检测到的编码读取CSV
尝试：
    df = pd.read_csv（“ expensemaster.csv”，encoding = dented ['encoding']）
除了Unicodedecodeerror：
    ＃如果阅读失败，请尝试使用UTF-8等常见编码
    df = pd.read_csv（“ expensemaster.csv”，encoding =“ utf-8”）

＃推断数据类型
dtype_mapping = {
    '对象'：'text'，
    'int64'：'bigint'，
    'float64'：'双精度'，
    'datetime64 [ns]'：'timestamp'，
    “布尔”：'布尔'
}

column_definitions ='，'.join（[f'“ {col}” {dtype_mapping [str（df [col] .dtype）}'} col for df.columns中的col]）））

＃生成创建表SQL
table_name ='Expensemaster'
create_table_sql = f'create table {table_name}（{column_definitions}）;'
打印（create_table_sql）

单击“表”上的“刷新”以获取新创建的表。

启动Postgres服务

确保Postgres服务正在运行。您可以在PGADMIN4或使用PSQL终端检查此问题。

步骤2：收集Postgres配置详细信息

您需要特定的详细信息来配置使用Postgres的法师AI。这是您需要的以及如何找到它：

• postgres_dbname ：Postgres数据库的名称。
• postgres_schema ：上传数据文件的架构。
• Postgres_user ：Postgres数据库的用户名。
• Postgres_password ：Postgres数据库的密码。
• postgres_host ：Postgres服务器的主机IP地址。
• Postgres_port ：通常为Postgres的5432。

步骤3：在VS代码中使用Docker安装法师AI

要安装法师AI，我们将在Visual Studio代码（VS代码）中使用Docker扩展名。确保您安装了VS代码的Docker桌面和Docker扩展程序。

安装Docker桌面

从此处下载并安装Docker桌面并初始化。

安装VS代码的Docker扩展名：

• 打开VS代码，然后单击窗口侧面的活动栏或按下CTRL Shift X的活动栏中的扩展图标，转到“扩展”视图。
• 搜索“ Docker”，并通过Microsoft安装Docker扩展程序。

拉法师AI Docker Image

• 打开VS代码的终端并导航到您的项目文件夹。
• 运行以下命令来拉出最新的法师AI Docker映像：

 Docker Pull Mageai/Mageai：最新

运行法师AI Docker Image

• 拉出法师AI映像后，请转到VS代码中的Docker选项卡。
• 找到法师AI图像并运行它。这将创建一个新容器。
• 右键单击新创建的容器，然后选择“在浏览器中打开”。
• MAGE AI接口现在应加载到默认的Web浏览器中。

步骤4：配置法师AI与Postgres连接

在io_config.yaml中配置数据库连接：

• 导航到管道的所有文件部分。
• 找到并打开io_config.yaml文件。
• 如下添加您的Postgres连接详细信息

允许Mage AI访问Postgres数据库

• 要授予IP地址上数据库的访问，您需要修改PG_HBA.conf文件。
• 在C：\ Program Files \ Postgresql \ 16 \ Data上找到pg_hba.conf文件。
• 打开文件并在＃ipv4本地连接部分下添加行，如图4所示。

步骤5：创建第一个数据管道

现在，法师AI已配置为与Postgres连接，我们可以创建第一个数据管道。首先，我们为每个数据集设置数据加载器块，并使用拖放功能将它们连接到流程图中。

创建数据加载器块

• 对于每个数据集，创建一个单独的数据加载程序块。
• 在法师AI接口中，将数据加载程序块拖放到每个数据集的画布上，您需要从Postgres加载。
• 使用适当的连接详细信息配置每个数据加载器块，并查询从Postgres获取数据。

将数据加载器块连接到变压器块

使用拖放功能将流程图中的数据加载程序块连接到下一个变压器代码块。此视觉表示有助于理解数据流并确保正确连接所有步骤。

创建数据出口商块

• 在法师AI接口中，配置数据加载程序和转换块后，将数据出口商块添加到画布中。
• 选择“ Postgres”作为Python下数据的目的地。
• 向Postgres数据库提供必要的连接详细信息。编写代码将转换后的数据导出到PostgreSQL数据库。

步骤6：创建触发器和调度管道

Mage AI提供了创建触发器以运行管道并安排定期执行的触发器的能力。这样可以确保您的数据始终是最新的，而无需手动干预。

创建触发器

• 在法师AI中，您可以根据特定事件或条件设置触发器来运行管道。例如，每当将新数据添加到Postgres数据库中时，您都可以触发管道以运行。
• 要创建触发器，请导航到管道设置并根据需要配置触发条件。

安排管道

• 法师AI支持安排管道定期运行。这可以通过法师AI仪表板中的调度设置来完成。
• 您可以指定频率（每日，每周等）以及管道运行的时间。

法师AI的其他功能

Mage AI提供了几个强大功能来自动化和增强您的数据管道：

• 与多个数据源集成： Mage AI还接受多种数据输入：数据库，云存储和API，使您能够构建各种而广泛的数据流。
• 高级转换功能：基于Python，Mage AI为您提供了一个机会，可以在装饰器的帮助下实施自定义转换，从而有助于实现各种数据转换算法的过程。
• 可伸缩性：法师AI优化您的大数据吞吐量，使其能够随着数据的增长而处理越来越多的数据。
• 监视和警报：法师AI提供了强大的监视和警报功能，并允许人们监视管道的工作流程以及接收失败的通知。
• 用户友好的接口：数据管道的图形布局意味着用户不必担心复杂的编码即可操纵和转换其数据。

他们使法师AI成为将数据工作流动自动化为数据基础架构的工具，以便您不需要花费太多时间。

结论

如今，信息是一项宝贵的资产，使数据管理对组织至关重要。本文提供了有关使用PostgreSQL配置法师AI的明确指南，可帮助您构建强大的数据管道，不仅简化了多个过程，而且可以显着提高生产率。借助软件助理，Mage AI以及诸如PostgreSQL之类的强大数据库的利用使用户能够在最短的时间内处理，分析和做出正确的决策。随着组织在数据驱动的方法和框架方面加大了努力，诸如AI之类的技术已成为管理数据的主要模型。

在Github上探索本文背后的代码！

常见问题

Q1。什么是法师AI？

A. Mage AI是一种开源工具，旨在简化构建和管理数据工作流程的过程。它提供了一个用户友好的界面和自动化功能，可帮助数据专业人员创建管道，而无需大量的编码知识。

Q2。为什么要将PostgreSQL与法师AI一起使用？

A. PostgreSQL是一种功能强大的开源关系数据库管理系统，以其稳健性和可扩展性而闻名。与Mage AI配对时，它允许用户有效地存储，检索和操纵大型数据集，从而成为数据管道的理想选择。

Q3。我需要使用法师AI的编程技能吗？

答：虽然对编程概念的熟悉程度可能会有所帮助，但Mage AI旨在对具有不同技术专长水平的用户进行用户友好且可访问。许多任务可以通过其直观界面来完成。

Q4。我可以将其他数据源与法师AI集成吗？

答：是的，法师AI支持与各种数据源集成，使用户可以构建全面的数据管道，从而从多个平台中吸引数据，从而增强了整体数据生态系统。

Q5。法师AI可以免费使用吗？

A.法师AI是一种开源工具，这意味着它可以免费使用。但是，用户可能会根据其基础架构选择而产生与托管，存储和其他相关服务相关的成本。

本文所示的媒体不由Analytics Vidhya拥有，并由作者酌情使用。

以上是设置法师AI与Postgres的详细内容。更多信息请关注PHP中文网其他相关文章！