Persediaan Mage Ai dengan Postgres

Bayangkan diri anda sebagai profesional data yang ditugaskan untuk mewujudkan saluran paip data yang cekap untuk menyelaraskan proses dan menghasilkan maklumat masa nyata. Bunyi mencabar, bukan? Itulah di mana Mage AI masuk untuk memastikan bahawa pemberi pinjaman yang beroperasi dalam talian mendapat kelebihan daya saing. Gambar ini: Oleh itu, tidak seperti banyak sambungan lain yang memerlukan persediaan yang mendalam dan pengekodan berterusan, Mage AI mempunyai persediaan langkah demi langkah yang jelas dan tidak menentu dan anda dialu-alukan untuk menggunakan antara muka yang jelas tanpa perlu menyeret dan menjatuhkan item. Saya juga akan berkongsi dengan anda bagaimana untuk mengimport Mage AI dengan PostgreSQL supaya anda boleh membuat saluran paip data pertama anda dengan Mage AI. Izinkan saya memperkenalkan langkah -langkah yang akan membantu menjadikan pemprosesan data anda lebih baik!

Hasil pembelajaran

• Memahami cara mengkonfigurasi Mage AI untuk integrasi lancar dengan PostgreSQL.
• Belajar untuk memuat naik data mentah ke PostgreSQL dan buat skema menggunakan PGADMIN4.
• Menguasai proses membina dan menguruskan saluran paip data dalam Mage AI.
• Terokai cara menyediakan pencetus automatik dan penjadualan untuk saluran paip data.
• Dapatkan pandangan tentang ciri-ciri canggih Mage AI seperti pemprosesan dan pemantauan masa nyata.

Artikel ini diterbitkan sebagai sebahagian daripada Blogathon Sains Data.

Jadual Kandungan

• Hasil pembelajaran
• Apa itu Mage AI?
• Persediaan Mage AI dengan Postgres untuk membina dan menguruskan saluran paip data anda
  • Langkah1: Menyediakan pangkalan data Postgres anda
  • Langkah2: Mengumpulkan butiran konfigurasi postgres
  • Langkah3: Memasang Mage AI Menggunakan Docker dalam Kod VS
  • Langkah4: Mengkonfigurasi Mage AI untuk berhubung dengan Postgres
  • Langkah5: Membuat saluran paip data pertama anda
  • Langkah 6: Membuat Picelines Pencetus dan Penjadualan
• Ciri -ciri tambahan Mage AI
• Kesimpulan
• Soalan yang sering ditanya

Apa itu Mage AI?

Mage AI memudahkan integrasi aliran kerja data yang semakin meningkat sebagai alat sumber terbuka. Dengan reka bentuk yang bersih dan antara muka seperti aplikasi, jurutera data dan penganalisis dengan mudah boleh membuat saluran paip data menggunakan pilihan satu klik, menghapuskan keperluan untuk pengekodan. Mengimport, menganalisis dan memanipulasi data besar adalah lebih mudah dengan Mage AI yang dilengkapi dengan ciri -ciri seperti seret dan drop, transformasi data, keserasian sumber data antara lain. Yang pertama membolehkan pengguna menghabiskan masa mereka di sisi analisis dan bukannya bimbang tentang infrastruktur yang mendasari untuk ditubuhkan. Mage AI juga menyokong skrip Python di mana seseorang boleh menentukan transformasi tersuai yang menjadikannya sesuai untuk kedua -duanya, pengguna teknikal dan bukan teknikal.

Faedah menggunakan Mage AI dengan PostgreSQL

Marilah kita melihat manfaat menggunakan Mage AI dengan PostgreSQL.

• Pengurusan Data yang Dilancarkan : Mage AI memudahkan penciptaan saluran paip data dengan antara muka drag-and-dropnya, menjadikannya mudah untuk memuat, mengubah, dan mengeksport data dari PostgreSQL tanpa pengekodan manual.
• Automasi yang dipertingkatkan : Automatikkan tugas data berulang, seperti proses ETL, dengan menubuhkan pencetus dan saluran paip yang dijadualkan, mengurangkan keperluan untuk campur tangan manual yang berterusan.
• Integrasi Lancar : MAGE AI mengintegrasikan dengan lancar dengan PostgreSQL, membolehkan pengguna menguruskan dataset yang besar dengan cekap dan melakukan operasi data yang kompleks dalam aliran kerja yang sama.
• Transformasi yang disesuaikan : Leverage Python Scripting dalam MAGE AI untuk melakukan transformasi data tersuai pada data PostgreSQL, yang membolehkan fleksibiliti untuk pemprosesan data lanjutan.
• Skala dan boleh dipercayai : MAGE AI dengan cekap menguruskan saluran paip, memastikan pengendalian lancar kedua -dua dataset kecil dan besar, manakala skalabiliti PostgreSQL menyokong pertumbuhan perniagaan tanpa kemunculan prestasi.
• Mesra Pengguna : Antara muka intuitif menjadikannya mudah diakses oleh pengguna dengan tahap kepakaran teknikal yang berbeza-beza, membolehkan pembelajaran yang lebih cepat dan penggunaan penyelesaian data yang lebih cepat.

Persediaan Mage AI dengan Postgres untuk membina dan menguruskan saluran paip data anda

Menyediakan Mage AI dengan Postgres membolehkan anda membina dan menguruskan saluran paip data yang kuat, mengautomasikan aliran kerja dan memudahkan tugas data yang kompleks untuk wawasan yang cekap. Marilah kita melihat langkah -langkah yang diperlukan untuk menubuhkan Mage AI dengan Postgres.

Langkah1: Menyediakan pangkalan data Postgres anda

Sebelum menyelam ke Mage AI, muat naik fail data mentah anda ke postgres menggunakan pgadmin4, dan buat skema yang betul untuk setiap fail. Inilah cara memulakan:

Muat naik fail mentah ke postgres melalui pgadmin4

• Buka PGADMIN4 dan sambungkan ke pelayan Postgres anda.
• Buat pangkalan data baru atau gunakan yang sedia ada.
• Pastikan anda menambah skema yang betul untuk setiap fail data mentah.
• Muat naik/mengeksport fail data anda ke jadual yang sesuai dalam skema ini.

 Import Pandas sebagai PD
import chardet

# Buka fail dalam mod binari dan baca sampel
dengan terbuka ("expenseSMaster.csv", 'rb') sebagai fail:
    Contoh = file.read (10000) # Baca 10,000 bait pertama sebagai contoh

# Mengesan pengekodan
dikesan = chardet.detect (sampel)
Cetak (dikesan ['pengekodan']))

# Gunakan pengekodan yang dikesan untuk membaca CSV
Cuba:
    df = pd.read_csv ("expenseMaster.csv", encoding = dikesan ['encoding'])
Kecuali unicodedecodeError:
    # Sekiranya membaca gagal, cuba dengan pengekodan biasa seperti UTF-8
    df = pd.read_csv ("expenseMaster.csv", encoding = "utf-8")

# Menyimpulkan jenis data
dtype_mapping = {
    'objek': 'teks',
    'Int64': 'Bigint',
    'float64': 'ketepatan berganda',
    'DateTime64 [ns]': 'timestamp',
    'Bool': 'Boolean'
}

column_definitions = ',' .join ([f '"{col}" {dtype_mapping [str (df [col] .dtype)]}' untuk col dalam df.columns])

# Menjana sql meja buat
table_name = 'Expensemaster'
create_table_sql = f'create Table {Table_name} ({column_definitions}); '
Cetak (create_table_sql)

Klik Refresh pada "Jadual 'untuk mendapatkan jadual yang baru dibuat.

Mulakan Perkhidmatan Postgres

Pastikan perkhidmatan Postgres sedang berjalan. Anda boleh menyemaknya di PGADMIN4 atau dengan menggunakan terminal PSQL.

Langkah2: Mengumpulkan butiran konfigurasi postgres

Anda memerlukan butiran khusus untuk mengkonfigurasi Mage AI dengan Postgres. Inilah yang anda perlukan dan bagaimana mencarinya:

• POSTGRES_DBNAME : Nama pangkalan data Postgres anda.
• POSTGRES_SCHEMA : Skema di mana fail data anda dimuat naik.
• Postgres_user : Nama pengguna untuk pangkalan data Postgres anda.
• Postgres_password : Kata laluan untuk pangkalan data Postgres anda.
• POSTGRES_HOST : Alamat IP tuan rumah pelayan Postgres anda.
• POSTGRES_PORT : Biasanya 5432 untuk postgres.

Langkah3: Memasang Mage AI Menggunakan Docker dalam Kod VS

Untuk memasang Mage AI, kami akan menggunakan sambungan Docker dalam Kod Visual Studio (VS Code). Pastikan anda mempunyai desktop Docker dan sambungan Docker untuk kod VS yang dipasang.

Pasang desktop Docker

Muat turun dan pasang Doktop Docker dari sini dan mulakannya.

Pasang pelanjutan Docker untuk kod VS:

• Buka kod vs dan pergi ke Paparan Sambungan dengan mengklik pada ikon Sambungan di bar aktiviti di sisi tetingkap atau dengan menekan CTRL Shift X.
• Cari "Docker" dan pasang Sambungan Docker oleh Microsoft.

Tarik gambar Mage Ai Docker

• Buka terminal dalam kod VS dan navigasi ke folder projek anda.
• Jalankan arahan berikut untuk menarik imej Mage AI Docker terkini:

 Docker Pull Mageai/Mageai: Terkini

Jalankan gambar Mage Ai Docker

• Setelah imej AI Mage ditarik, pergi ke tab Docker dalam kod VS.
• Cari imej AI Mage dan jalankannya. Ini akan mewujudkan bekas baru.
• Klik kanan pada bekas yang baru dibuat dan pilih "Buka dalam Pelayar."
• Antara muka AI Mage kini perlu dimuatkan dalam penyemak imbas web lalai anda.

Langkah4: Mengkonfigurasi Mage AI untuk berhubung dengan Postgres

Konfigurasikan sambungan pangkalan data dalam io_config.yaml:

• Navigasi ke bahagian semua fail saluran paip anda.
• Cari dan buka fail io_config.yaml.
• Tambahkan butiran sambungan Postgres anda seperti berikut

Benarkan Mage AI mengakses pangkalan data Postgres

• Untuk memberikan akses kepada pangkalan data pada alamat IP anda, anda perlu mengubah suai fail pg_hba.conf.
• Cari fail pg_hba.conf di C: \ Program Files \ PostgreSql \ 16 \ Data.
• Buka fail dan tambahkan baris di bawah bahagian sambungan tempatan # IPv4 seperti yang ditunjukkan dalam Rajah 4.

Langkah5: Membuat saluran paip data pertama anda

Sekarang bahawa Mage AI dikonfigurasikan untuk berhubung dengan Postgres, kami boleh membuat saluran paip data pertama kami. Kami akan mulakan dengan menyediakan blok pemuat data untuk setiap dataset dan menggunakan ciri drag-and-drop untuk menyambungkannya dalam carta aliran.

Buat blok pemuat data

• Untuk setiap dataset, buat blok pemuat data berasingan.
• Dalam antara muka AI Mage, seret dan jatuhkan blok pemuat data ke kanvas untuk setiap dataset yang anda perlukan untuk memuatkan dari postgres.
• Konfigurasikan setiap blok pemuat data dengan butiran sambungan dan pertanyaan yang sesuai untuk mengambil data dari Postgres.

Sambungkan Blok Loader Data ke Blok Transformer

Gunakan ciri drag-and-drop untuk menyambungkan blok pemuat data dalam carta aliran ke blok kod pengubah seterusnya. Perwakilan visual ini membantu dalam memahami aliran data dan memastikan semua langkah disambungkan dengan betul.

Membuat blok pengeksport data

• Dalam antara muka AI Mage, selepas mengkonfigurasi blok pemuat data anda dan blok transformasi, tambahkan blok pengeksport data ke kanvas.
• Pilih "Postgres" sebagai destinasi untuk data di bawah Python.
• Sediakan butiran sambungan yang diperlukan ke pangkalan data Postgres anda. Tulis kod untuk mengeksport data yang diubah kembali ke pangkalan data PostgreSQL.

Langkah 6: Membuat Picelines Pencetus dan Penjadualan

Mage AI menawarkan keupayaan untuk mencipta pencetus untuk menjalankan saluran paip anda dan menjadualkannya untuk pelaksanaan biasa. Ini memastikan data anda sentiasa terkini tanpa campur tangan manual.

Mewujudkan pencetus

• Dalam Mage AI, anda boleh menyediakan pencetus untuk menjalankan saluran paip anda berdasarkan peristiwa atau keadaan tertentu. Sebagai contoh, anda boleh mencetuskan saluran paip untuk dijalankan setiap kali data baru ditambah ke pangkalan data Postgres anda.
• Untuk membuat pencetus, navigasi ke tetapan saluran paip dan konfigurasikan keadaan pencetus seperti yang diperlukan.

Penjadualan saluran paip

• Mage AI menyokong penjadualan saluran paip untuk dijalankan secara berkala. Ini boleh dilakukan melalui tetapan penjadualan di papan pemuka AI Mage.
• Anda boleh menentukan kekerapan (harian, mingguan, dan lain -lain) dan masa untuk saluran paip dijalankan.

Ciri -ciri tambahan Mage AI

Mage AI menyediakan beberapa ciri yang kuat untuk mengautomasikan dan meningkatkan saluran paip data anda:

• Integrasi dengan pelbagai sumber data: Mage AI juga menerima pelbagai jenis input data: pangkalan data, penyimpanan awan, dan API yang membolehkan anda membina aliran data yang pelbagai dan luas.
• Keupayaan Transformasi Lanjutan: Berdasarkan Python, Mage AI memberi anda peluang untuk melaksanakan transformasi tersuai dengan bantuan penghias yang memudahkan proses realisasi pelbagai algoritma transformasi data.
• Skalabiliti: Mage AI mengoptimumkan throughput anda untuk data besar, membolehkannya mengendalikan peningkatan jumlah data ketika mereka berkembang.
• Pemantauan dan Makluman: MAGE AI menyediakan pemantauan yang kuat dan memaklumkan fungsi dan membolehkan seseorang memantau aliran kerja saluran paip serta menerima pemberitahuan kegagalan.
• Antara muka mesra pengguna: Susun atur grafik saluran paip data bermakna pengguna tidak perlu bimbang tentang pengekodan rumit untuk memanipulasi dan mengubah data mereka.

Mereka membuat alat Mage AI untuk mengautomasikan aliran kerja data sebagai infrastruktur data supaya anda tidak perlu menghabiskan banyak masa untuknya.

Kesimpulan

Hari ini, maklumat adalah aset yang berharga, menjadikan pengurusan data penting untuk organisasi. Artikel ini memberikan panduan yang jelas mengenai mengkonfigurasi Mage AI dengan PostgreSQL, membantu anda membina saluran paip data yang mantap yang bukan sahaja menyelaraskan pelbagai proses tetapi juga meningkatkan produktiviti. Dengan bersekutu perisian, penggunaan MAGE AI bersama dengan pangkalan data yang mantap seperti PostgreSQL membolehkan pengguna mengendalikan, menganalisis dan membuat keputusan yang tepat dalam masa yang singkat. Oleh kerana organisasi telah meningkatkan usaha dalam metodologi dan rangka kerja yang didorong oleh data, teknologi seperti Mage AI bersedia menjadi model dominan untuk menguruskan data.

Terokai kod di belakang artikel ini di GitHub!

Soalan yang sering ditanya

Q1. Apa itu Mage AI?

A. Mage AI adalah alat sumber terbuka yang direka untuk memudahkan proses membina dan menguruskan aliran kerja data. Ia menyediakan ciri antara muka dan automasi yang mesra pengguna yang membantu profesional data membuat saluran paip tanpa pengetahuan pengekodan yang luas.

S2. Mengapa menggunakan PostgreSQL dengan Mage AI?

A. PostgreSQL adalah sistem pengurusan pangkalan data relasi sumber terbuka yang terkenal dengan keteguhan dan skalabilitasnya. Apabila dipasangkan dengan Mage AI, ia membolehkan pengguna untuk menyimpan, mengambil, dan memanipulasi dataset yang besar, menjadikannya pilihan yang ideal untuk saluran paip data.

Q3. Adakah saya memerlukan kemahiran pengaturcaraan untuk menggunakan Mage AI?

A. Walaupun kebiasaan dengan konsep pengaturcaraan dapat membantu, Mage AI direka untuk menjadi mesra pengguna dan dapat diakses oleh pengguna dengan pelbagai kepakaran teknikal. Banyak tugas dapat dicapai melalui antara muka intuitifnya.

Q4. Bolehkah saya mengintegrasikan sumber data lain dengan Mage AI?

A. Ya, Mage AI menyokong integrasi dengan pelbagai sumber data, yang membolehkan pengguna membina saluran paip data yang komprehensif yang menarik data dari pelbagai platform, meningkatkan ekosistem data keseluruhan.

S5. Adakah Mage AI bebas untuk digunakan?

A. Mage AI adalah alat sumber terbuka, yang bermaksud ia bebas digunakan. Walau bagaimanapun, pengguna mungkin menanggung kos yang berkaitan dengan hosting, penyimpanan, dan perkhidmatan lain yang berkaitan, bergantung kepada pilihan infrastruktur mereka.

Media yang ditunjukkan dalam artikel ini tidak dimiliki oleh Analytics Vidhya dan digunakan atas budi bicara penulis.

Atas ialah kandungan terperinci Persediaan Mage Ai dengan Postgres. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!