Setup Magage AI mit Postgres einrichten

Stellen Sie sich vor, Sie haben sich als Datenprofi vor, die mit der Erstellung einer effizienten Datenpipeline beauftragt sind, Prozesse zu optimieren und Echtzeitinformationen zu generieren. Klingt herausfordernd, oder? Hier kommt Mage AI ins Spiel, um sicherzustellen, dass die Kreditgeber, die online arbeiten, einen Wettbewerbsvorteil erreichen. Stellen Sie sich dies vor: Im Gegensatz zu vielen anderen Erweiterungen, die eine tiefe Setup und eine konstante Codierung erfordern, verfügt die Mage AI über ein klares und unbeständiges Schritt-für-Schritt-Setup. Ich werde Ihnen auch mitteilen, wie Sie Mage AI mit PostgreSQL importieren, damit Sie Ihre erste Datenpipeline mit Mage AI erstellen können. Erlauben Sie mir, Ihnen die Schritte vorzustellen, die dazu beitragen, dass Ihre Datenverarbeitung noch besser wird!

Lernergebnisse

• Verstehen Sie, wie Sie Mage AI für die nahtlose Integration in PostgreSQL konfigurieren.
• Erfahren Sie, dass Rohdaten nach postgresql hochladen und Schemas mit PGADMIN4 erstellen.
• Beherrschen Sie den Prozess des Erstellens und Verwaltens von Datenpipelines in Magier AI.
• Entdecken Sie, wie automatisierte Trigger und Planung für Datenpipelines eingerichtet werden.
• Gewinnen Sie Einblicke in die erweiterten Funktionen von Mage AI wie Echtzeitverarbeitung und -überwachung.

Dieser Artikel wurde als Teil des Data Science -Blogathons veröffentlicht.

Inhaltsverzeichnis

• Lernergebnisse
• Was ist Magier AI?
• Setzen Sie die Mage AI mit Postgres ein, um Ihre Datenpipeline zu erstellen und zu verwalten
  • STEP1: Vorbereitung Ihrer Postgres -Datenbank
  • Schritt 2: Sammeln Sie Postgres -Konfigurationsdetails
  • Schritt 3: Installieren von Magage AI mit Docker in VS Code
  • Schritt 4: Konfigurieren von Mage AI, um eine Verbindung mit Postgres herzustellen
  • Schritt 5: Erstellen Ihrer ersten Datenpipeline
  • STEP6: Erstellen von Triggern und Planung von Pipelines
• Zusätzliche Merkmale von Magier AI
• Abschluss
• Häufig gestellte Fragen

Was ist Magier AI?

Mage AI vereinfacht die Integration wachsender Datenworkflows als Open-Source-Tool. Mit ihrer sauberen Design und der App-ähnlichen Schnittstelle können Dateningenieure und Analysten Datenpipelines mit One-Click-Optionen problemlos erstellen, wodurch die Notwendigkeit einer Codierung beseitigt wird. Das Importieren, Analysieren und Manipulieren von Big Data ist bei der Mage AI, die unter anderem mit Merkmalen wie Drag & Drop, Datenumwandlung und Datenquellenkompatibilität ausgestattet ist. Ersteres ermöglicht es den Benutzern, ihre Zeit auf der Analytics -Seite zu verbringen, anstatt sich Sorgen über die zugrunde liegenden Infrastrukturen zu machen. Mage AI unterstützt auch Python Scripting, bei dem man benutzerdefinierte Transformationen definieren kann, die es sowohl für einen technischen als auch für einen nicht technischen Benutzer geeignet machen.

Vorteile der Verwendung von Magier AI mit PostgreSQL

Sehen wir uns die Vorteile der Verwendung von Magier AI mit PostgreSQL an.

• Stromlinienverwaltung : Mage AI vereinfacht die Erstellung von Datenpipeline mit seiner Drag & Drop-Schnittstelle und erleichtert es einfach, Daten ohne manuelle Codierung von PostgreSQL zu laden, zu transformieren und zu exportieren.
• Verbesserte Automatisierung : Automatisieren wiederkehrende Datenaufgaben wie ETL -Prozesse, indem sie Auslöser und geplante Pipelines einrichten und die Notwendigkeit konstanter manueller Eingriffe verringern.
• Nahlose Integration : Mage AI integriert reibungslos in PostgreSQL, sodass Benutzer große Datensätze effizient verwalten und komplexe Datenvorgänge innerhalb desselben Workflows durchführen können.
• Anpassbare Transformationen : Nutzen Sie das Python -Skript in der Mage AI, um benutzerdefinierte Datentransformationen in PostgreSQL -Daten durchzuführen, sodass Flexibilität für die erweiterte Datenverarbeitung ermöglicht werden kann.
• Skalierbar und zuverlässig : Mage AI verwaltet effizient Pipelines und sorgt für eine reibungslose Handhabung kleiner und großer Datensätze, während die Skalierbarkeit von PostgreSQL das Geschäftswachstum ohne Leistungs Engpässe unterstützt.
• Benutzerfreundlich : Die intuitive Benutzeroberfläche macht es Benutzern mit unterschiedlichem technischem Fachwissen zugänglich, wodurch ein schnelleres Lernen und eine schnellere Bereitstellung von Datenlösungen ermöglicht werden kann.

Setzen Sie die Mage AI mit Postgres ein, um Ihre Datenpipeline zu erstellen und zu verwalten

Durch das Einrichten von Mage AI mit Postgres können Sie leistungsstarke Datenpipelines nahtlos erstellen und verwalten, Workflows automatisieren und komplexe Datenaufgaben für effiziente Erkenntnisse vereinfachen. Schauen wir uns die Schritte an, die erforderlich sind, um die Mage AI mit Postgres einzurichten.

STEP1: Vorbereitung Ihrer Postgres -Datenbank

Laden Sie vor dem Tauchen in die Mage AI Ihre Rohdatendateien in Postgres mit PGADMIN4 hoch und erstellen Sie das richtige Schema für jede Datei. Hier erfahren Sie, wie man anfängt:

Laden Sie Rohdateien über PGADMIN4 in Posten von Dateien hoch

• Öffnen Sie PGADMIN4 und stellen Sie eine Verbindung zu Ihrem Postgres -Server her.
• Erstellen Sie eine neue Datenbank oder verwenden Sie eine vorhandene.
• Stellen Sie sicher, dass Sie das richtige Schema für jede Rohdatendatei hinzufügen.
• Laden/exportieren Sie Ihre Datendateien in die entsprechenden Tabellen in diesem Schema.

 Pandas als PD importieren
Chardet importieren

# Öffnen Sie die Datei im Binärmodus und lesen Sie ein Beispiel
mit Open ("expensemaster.csv", 'rb') als Datei:
    sample = file.read (10000) # Lesen Sie die ersten 10.000 Bytes als Beispiel

# Codierung erkennen
erkannt = chardet.detekte (Probe)
print (erkannt ['codieren'])

# Verwenden Sie die erkannte Codierung, um den CSV zu lesen
versuchen:
    df = pd.read_csv ("expensemaster.csv", coding = detektiert ['coding']))
Außer UnicodEdeCodeError:
    # Wenn das Lesen fehlschlägt, versuchen Sie es mit einer gemeinsamen Codierung wie UTF-8
    df = pd.read_csv ("expensemaster.csv", coding = "utf-8")

# Datentypen schließen
DTYPE_MAPPING = {
    'Objekt': 'Text',
    'int64': 'Bigint',,
    'float64': 'doppelte Präzision',
    'DateTime64 [NS]': 'Timestamp',,
    'bool': 'boolean' '
}

column_definitions = ',' .join ([f '"{col}" {dtype_mapping [str (df [col] .dType)]}' für Col in df.columns])

# Generieren Sie die Tabelle Creating SQL
TABLE_NAME = 'expensemaster'
create_table_sql = f'create table {table_name} ({column_definitions}); '
print (create_table_sql)

Klicken Sie auf die „Tabellen“ aktualisieren, um die neu erstellte Tabelle zu erhalten.

Starten Sie den Postgres -Service

Stellen Sie sicher, dass der Postgres -Dienst ausgeführt wird. Sie können dies in Pgadmin4 oder mithilfe des PSQL -Terminals überprüfen.

Schritt 2: Sammeln Sie Postgres -Konfigurationsdetails

Sie benötigen spezifische Details, um Mage AI mit Postgres zu konfigurieren. Folgendes brauchen Sie und wie Sie es finden:

• Postgres_dbname : Der Name Ihrer Postgres -Datenbank.
• Postgres_schema : Das Schema, in dem Ihre Datendateien hochgeladen werden.
• Postgres_user : Der Benutzername für Ihre Postgres -Datenbank.
• Postgres_password : Das Kennwort für Ihre Postgres -Datenbank.
• Postgres_host : Die Host -IP -Adresse Ihres Postgres -Servers.
• Postgres_port : normalerweise 5432 für postgres.

Schritt 3: Installieren von Magage AI mit Docker in VS Code

Um Mage AI zu installieren, verwenden wir die Docker -Erweiterung im Visual Studio Code (VS -Code). Stellen Sie sicher, dass Sie Docker Desktop und die Docker -Erweiterung für den VS -Code installiert haben.

Installieren Sie Docker Desktop

Laden Sie den Docker -Desktop von hier herunter und installieren Sie ihn initialisieren.

Installieren Sie die Docker -Erweiterung für den VS -Code:

• Öffnen Sie VS -Code und wenden Sie sich zur Erweiterungsansicht, indem Sie auf das Symbol für Erweiterungen in der Aktivitätsleiste an der Seite des Fensters oder durch Drücken von STRG Shift X klicken.
• Suchen Sie nach "Docker" und installieren Sie die Docker -Erweiterung durch Microsoft.

Ziehen Sie das Magier -Ai -Docker -Bild

• Öffnen Sie ein Terminal in VS -Code und navigieren Sie zu Ihrem Projektordner.
• Führen Sie den folgenden Befehl aus, um das neueste Mage AI Docker -Bild zu ziehen:

 Docker Pull MALEAI/MALEAI: Neueste

Führen Sie das Magier -Ai -Docker -Bild aus

• Sobald das Mage AI -Bild gezogen ist, gehen Sie in VS Code zur Registerkarte Docker.
• Finden Sie das Mage AI -Bild und führen Sie es aus. Dies erstellt einen neuen Container.
• Klicken Sie mit der rechten Maustaste auf den neu erstellten Container und wählen Sie "im Browser öffnen".
• Die Mage AI -Schnittstelle sollte nun in Ihren Standard -Webbrowser geladen werden.

Schritt 4: Konfigurieren von Mage AI, um eine Verbindung mit Postgres herzustellen

Konfigurieren Sie die Datenbankverbindung in io_config.yaml:

• Navigieren Sie zum Abschnitt Alle Dateien Ihrer Pipeline.
• Suchen und öffnen Sie die Datei io_config.yaml.
• Fügen Sie Ihre Postgres -Verbindungsdetails wie folgt hinzu

Lassen Sie die Mage AI auf die Postgres -Datenbank zugreifen

• Um Zugriff auf die Datenbank in Ihrer IP -Adresse zu gewähren, müssen Sie die Datei pg_hba.conf ändern.
• Suchen Sie die Datei pg_hba.conf unter C: \ Programme \ postgreSQL \ 16 \ Data.
• Öffnen Sie die Datei und fügen Sie die Zeile unter dem Abschnitt # IPv4 -Anschlüsse hinzu, wie in Abb. 4 gezeigt.

Schritt 5: Erstellen Ihrer ersten Datenpipeline

Jetzt, da die Mage AI so konfiguriert ist, dass sie mit Postgres eine Verbindung herstellen, können wir unsere erste Datenpipeline erstellen. Wir werden damit beginnen, Datenladeblöcke für jeden Datensatz einzustellen und die Drag & Drop-Funktion zu verwenden, um sie in einem Flowdiagramm zu verbinden.

Erstellen Sie Datenladerblöcke

• Erstellen Sie für jeden Datensatz einen separaten Datenladerblock.
• Ziehen Sie in der Schnittstelle der Mage AI einen Datenloader -Block für jeden Datensatz auf die Leinwand ein und lassen Sie sie aus postgres laden.
• Konfigurieren Sie jeden Datenladerblock mit den entsprechenden Verbindungsdetails und Abfragen, um die Daten von Postgres abzurufen.

Schließen Sie die Datenloaderblöcke mit dem Transformatorblock an

Verwenden Sie die Drag-and-Drop-Funktion, um die Datenladerblöcke im Flowdiagramm mit dem nächsten Transformator-Code-Block zu verbinden. Diese visuelle Darstellung hilft beim Verständnis des Datenflusss und der korrekten Verbindung, dass alle Schritte korrekt verbunden sind.

Erstellen von Datenexporterblöcken

• Fügen Sie nach Konfiguration Ihrer Datenlader- und Transformationsblöcke einen Datenexporterblock zu der Leinwand hinzu.
• Wählen Sie "Postgres" als Ziel für die Daten unter Python.
• Geben Sie die erforderlichen Verbindungsdetails Ihrer Postgres -Datenbank an. Schreiben Sie den Code, um die transformierten Daten in die PostgreSQL -Datenbank zurück zu exportieren.

STEP6: Erstellen von Triggern und Planung von Pipelines

Mage AI bietet die Möglichkeit, Auslöser für das Ausführen Ihrer Pipeline zu erstellen und sie für die regelmäßige Ausführung zu planen. Dies stellt sicher, dass Ihre Daten ohne manuelle Intervention immer aktuell sind.

Erstellen eines Auslösers

• In der Mage AI können Sie Trigger einrichten, um Ihre Pipeline basierend auf bestimmten Ereignissen oder Bedingungen auszuführen. Sie können beispielsweise eine Pipeline auslösen, die ausgeführt werden kann, wenn Ihre Postgres -Datenbank neue Daten hinzugefügt werden.
• Um einen Auslöser zu erstellen, navigieren Sie zu den Pipeline -Einstellungen und konfigurieren Sie die Triggerbedingungen nach Bedarf.

Planen der Pipeline

• Mage AI unterstützt die Planung von Pipelines in regelmäßigen Abständen. Dies kann durch die Planungseinstellungen im Magier -AI -Dashboard erfolgen.
• Sie können die Frequenz (täglich, wöchentlich usw.) und die Zeit für die Pipeline angeben.

Zusätzliche Merkmale von Magier AI

Mage AI bietet mehrere leistungsstarke Funktionen zur Automatisierung und Verbesserung Ihrer Datenpipelines:

• Integration mit mehreren Datenquellen: Mage AI akzeptiert auch zahlreiche Arten von Dateneingaben: Datenbanken, Cloud -Speicher und APIs, mit denen Sie verschiedene und umfangreiche Datenströme erstellen können.
• Fortgeschrittene Transformationsfunktionen: Basierend auf Python bietet Mage AI die Möglichkeit, mithilfe von Dekoratoren benutzerdefinierte Transformation zu implementieren, was den Prozess der Realisierung verschiedener Datentransformationsalgorithmen erleichtert.
• Skalierbarkeit: Magier AI optimiert Ihren Durchsatz für Big Data und ermöglicht es ihm, zunehmende Mengen an Daten zu bewältigen, wenn sie wachsen.
• Überwachung und Warnungen: Mage AI bietet eine starke Überwachungs- und Alarmierungsfunktion und ermöglicht es, den Workflow der Pipeline zu überwachen und Benachrichtigungen über Fehler zu erhalten.
• Benutzerfreundliche Schnittstelle: Das grafische Layout der Datenpipelines bedeutet, dass Benutzer sich keine Sorgen über komplizierte Codierung machen müssen, um ihre Daten zu manipulieren und zu transformieren.

Sie machen Mage AI zu einem Tool, um die Datenworkflows als Dateninfrastruktur zu automatisieren, sodass Sie nicht viel Zeit damit verbringen müssen.

Abschluss

Heutzutage sind Informationen ein wertvolles Gut, das das Datenmanagement für Organisationen wesentlich macht. Dieser Artikel enthält klare Leitlinien zur Konfiguration von Mage AI mit PostgreSQL und hilft Ihnen dabei, eine robuste Datenpipeline zu erstellen, die nicht nur mehrere Prozesse optimiert, sondern auch die Produktivität erheblich erhöht. Mit dem Software -Associate ermöglichen die Nutzung von Mage AI neben robusten Datenbanken wie PostgreSQL den Benutzern die richtigen Entscheidungen in kürzester Zeit, um die richtigen Entscheidungen zu verarbeiten, zu analysieren und zu treffen. Da Organisationen die Anstrengungen in datengesteuerten Methoden und Rahmenbedingungen gesteigert haben, sind Technologien wie Mage AI die dominierenden Modelle für die Verwaltung von Daten.

Erkunden Sie den Code hinter diesem Artikel auf Github!

Häufig gestellte Fragen

Q1. Was ist Magier AI?

A. Mage AI ist ein Open-Source-Tool, mit dem der Prozess des Erstellens und Verwaltens von Datenworkflows vereinfacht wird. Es bietet eine benutzerfreundliche Schnitt- und Automatisierungsfunktionen, mit denen Datenfachleute Pipelines ohne umfangreiche Codierungskenntnisse erstellen können.

Q2. Warum Postgresql mit Magier AI verwenden?

A. PostgreSQL ist ein leistungsstarkes, open-Source Relational Database Management-System, das für seine Robustheit und Skalierbarkeit bekannt ist. In Kombination mit Mage AI können Benutzer große Datensätze effizient speichern, abrufen und manipulieren, wodurch es zu einer idealen Wahl für Datenpipelines wird.

Q3. Benötige ich Programmierfähigkeiten, um Magier AI zu verwenden?

A. Eine gewisse Vertrautheit mit Programmierkonzepten kann hilfreich sein, aber die Mage AI ist so konzipiert, dass sie benutzerfreundlich und für Benutzer mit unterschiedlichem technischen Fachkenntnis zugänglich sind. Viele Aufgaben können über seine intuitive Schnittstelle erledigt werden.

Q4. Kann ich andere Datenquellen in die Magier AI integrieren?

A. Ja, Mage AI unterstützt die Integration mit verschiedenen Datenquellen, sodass Benutzer umfassende Datenpipelines erstellen können, die Daten von mehreren Plattformen anziehen und das Gesamtdaten -Ökosystem verbessern.

Q5. Ist Magier AI frei zu bedienen?

A. Magier AI ist ein Open-Source-Tool, was bedeutet, dass es kostenlos verwendet werden kann. Benutzer können jedoch je nach Auswahl der Infrastruktur Kosten im Zusammenhang mit Hosting, Speicherung und anderen verwandten Diensten entstehen.

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Das obige ist der detaillierte Inhalt vonSetup Magage AI mit Postgres einrichten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!