Dari Sifar ke Gabungan: Membina Komponen Medan Penamaan Semula JSON dalam Go

Pengenalan kepada Instill-ai

Mengusahakan projek hujung belakang saluran paip Instill adalah seperti menyelesaikan jigsaw ? teka-teki—kecuali beberapa kepingan terus bertukar nama! misi saya? Untuk mencipta komponen yang boleh menamakan semula medan JSON tanpa membuat konflik. Sertai saya sambil saya berkongsi perjalanan saya melalui pembelajaran Go, mempelajari dokumen Instill yang teratur dan mencipta penyelesaian yang kini digabungkan dan sedia untuk dilancarkan! ?

---

Cabaran

Terapkan cara yang diperlukan untuk menamakan semula medan dalam struktur data JSON secara dinamik. Pusingan? Kami terpaksa mengendalikan kes di mana medan yang dinamakan semula mungkin bertembung dengan medan sedia ada. Tanpa sistem penyelesaian konflik, huru-hara akan bermaharajalela!

tanam-ai / saluran paip-belakang

⇋ Pelayan REST/gRPC untuk perkhidmatan Instill VDP API

hujung belakang saluran paip

pipeline-backend mengurus semua sumber saluran paip dalam Data Serbaguna Pipeline (VDP) untuk menyelaraskan data daripada komponen mula, melalui komponen AI/Data/Aplikasi dan hingga akhir komponen.

Konsep

Saluran Paip

Dalam ? Tanamkan VDP, saluran paip ialah DAG (Directed Acyclic Graph) yang terdiri daripada berbilang komponen.

flowchart LR
s[Trigger] --> c1[OpenAI Component]
c1 --> c2[Stability AI Component]
c1 --> c3[MySQL Component]
c1 --> e[Response]
c2 --> e

Memuatkan

Komponen

Satu Komponen berfungsi sebagai blok bangunan penting dalam Saluran Paip.

Lihat dokumentasi pakej komponen untuk maklumat lanjut butiran.

Resipi

Satu resipi saluran paip menentukan cara komponen dikonfigurasikan dan cara ia saling berkaitan.

Resipi ditakrifkan dalam bahasa YAML:

flowchart LR
s[Trigger] --> c1[OpenAI Component]
c1 --> c2[Stability AI Component]
c1 --> c3[MySQL Component]
c1 --> e[Response]
c2 --> e

…

Lihat di GitHub

Sejujurnya, saya mula ragu-ragu sama ada saya boleh menyelesaikan isu ini, tetapi Anni melepaskan mesej sempurna yang membuatkan saya terus bertahan.

Setelah saya berasa selesa, ChunHao, yang telah membuat skema JSON untuk tugasan ini, memberi saya lampu hijau? untuk memulakan pengekodan. Maka, perjalanan bermula!

---

Langkah 2️⃣: Merekabentuk Penyelesaian

Keperluan utama ialah:

1. Penamaan Semula Dinamik: Medan hendaklah dinamakan semula tanpa mengganggu struktur JSON.
2. Pengesanan Konflik: Kami perlu melihat sebarang konflik antara medan asal dan yang dinamakan semula.
3. Penyelesaian Konflik: Penyelesaian yang lancar, seperti menambahkan akhiran, akan menghalang pertembungan nama.

---

Langkah 3️⃣: Membina Komponen

Berbekalkan kopi☕ dan keberanian?, saya turun ke pengekodan. Berikut ialah imbasan logik teras:

Medan Pemetaan

Mula-mula, saya mencipta sistem pemetaan untuk menjejak nama medan lama dan baharu. Ini adalah kunci untuk mengesan konflik.

flowchart LR
s[Trigger] --> c1[OpenAI Component]
c1 --> c2[Stability AI Component]
c1 --> c3[MySQL Component]
c1 --> e[Response]
c2 --> e

Setiap kali konflik dikesan, fungsi itu menambah "_conflict" pada nama baharu. Ini adalah helah mudah yang memastikan medan JSON kami kekal unik dan, yang paling penting, mesra antara satu sama lain! ✌️

Menamakan semula Medan

Setelah pemetaan medan disediakan, langkah seterusnya ialah menerapkannya pada data JSON kami.

variable
  <span># pipeline input fields</span>
output:
  <span># pipeline output fields</span>
component:
  <component-id>:
    type: <component-definition-id>
    task: <task-id>
    input:
      <span># values for the input fields</span>
    condition: <condition> <span># conditional statement to execute or bypass the</span>

Berikut ialah logik yang menggunakan nama yang dipetakan pada data JSON kami. Hasilnya? Data kami dinamakan semula dengan kemas, konflik diselesaikan dan struktur utuh. ?

Selepas mencipta komponen menggugurkan draf PR & mendapat ulasan:

---

Langkah 4️⃣: Pengujian dan Penambahbaikan

Setelah membiasakan diri dengan kaedah ujian Instill dan mempelajari cara mencipta kes ujian yang berkesan, saya meneruskan lagi.

Masa ujian! ? Saya menulis ujian yang meliputi segala-galanya daripada nama semula mudah kepada kes tepi yang kompleks dengan medan JSON bersarang. Setiap pusingan ujian membawa kepada pemurnian lanjut.

func mapFields(fields map[string]string) map[string]string {
    newFieldMap := make(map[string]string)
    for oldName, newName := range fields {
        // Check for conflict
        if _, exists := newFieldMap[newName]; exists {
            newName += "_conflict" // Add suffix for conflicts
        }
        newFieldMap[oldName] = newName
    }
    return newFieldMap
}

Di sinilah saya ingin berkongsi refleksi peribadi: Ujian adalah bahagian paling sukar dalam projek ini ?‍?. Ada kalanya saya terfikir, "Adakah ujian ini melakukan apa yang sepatutnya?"

Pada masa itu, saya menghadapi isu lintik—

Dia menunjukkan masalah dan juga memberikan penyelesaiannya. Apa yang saya perlu lakukan ialah melaksanakannya, tetapi ia adalah peringatan bahawa butiran terkecil pun penting dalam memastikan kod berfungsi dengan lancar.

Setelah saya melepasi halangan awal tersebut, ujian menjadi jaring keselamatan saya. Ia memberi saya keyakinan untuk mengetahui bahawa kod saya akan berfungsi merentas senario yang berbeza ?️‍♂️. Ia juga menunjukkan kepada saya bahawa ujian bukan hanya satu langkah untuk diperiksa—ia adalah satu cara untuk memastikan kod saya boleh dipercayai dan berdaya tahan.

---

Langkah 5️⃣: Semakan CI dan Pelarasan Akhir

Selepas menyelesaikan ujian saya, saya menolak kod saya, bersedia untuk proses semakan. Walau bagaimanapun, semakan CI (Integrasi Berterusan) kami tidak lulus. Komen Anni memberi saya peringatan lembut untuk menyemak semula kes ujian saya:

“Hei @AkashJana18, bolehkah anda menyemak kes ujian anda? Semakan CI kami menunjukkan ia tidak lulus di sini. Sila uji secara tempatan terlebih dahulu sebelum menolaknya kepada PR. Setiap kali anda menolak komitmen anda, kami akan mencetuskan semakan supaya anda boleh melihat sebarang isu sebelum jurutera kami menyemak kod anda. Terima kasih!”

Ketika itulah saya menyedari bahawa saya perlu menjalankan ujian secara tempatan sebelum menyerahkan. ChunHao turut menambah:

"Sila jalankan dan luluskannya sebelum anda meminta semakan. Jalankan $ go test ./pkg/component/operator/json/v0/... untuk menyemaknya secara setempat."

Saya dengan pantas menjalankan ujian secara tempatan, mengenal pasti isu dan membetulkannya.

Sekejap perayaan ?

Proses ini membuatkan saya lebih menghargai kepentingan ujian tempatan, kerana ia memastikan semuanya kukuh sebelum menyerahkan untuk semakan.

Sebelum bergabung, ChunHao membuat semakan akhir, membuat beberapa tweak, Resipi Ujian QAed dan mengemas kini dokumentasi untuk mencerminkan perubahan baharu. Terima kasih yang tidak terhingga kepada Anni atas sokongan berterusannya sepanjang proses itu—ia membuat perubahan yang besar. ?

---

? Refleksi Proses Kerjasama ??‍??

Salah satu pelajaran terbesar yang saya pelajari ialah bagaimana kerjasama dan bimbingan boleh membuat atau memecahkan projek. Moderator Instill, Anni dan ChunHao, memberikan saya bimbingan yang saya perlukan apabila saya tersesat dalam sintaks Go atau bergelut dengan pendekatan yang betul. Bekerjasama, kami menukar masalah yang kompleks menjadi penyelesaian yang bersih dan berfungsi.

Sejujurnya, ada saat-saat yang saya rasakan saya telah menggigit lebih daripada yang saya boleh kunyah. Tetapi dorongan berterusan daripada Anni, digabungkan dengan arahan yang jelas daripada ChunHao, membuatkan saya terus berada di landasan yang betul.

---

⏭️ Langkah Seterusnya dan Penambahbaikan Masa Depan

Langkah lain boleh meluaskan pendekatan ini ke bahagian lain saluran paip yang memerlukan pengendalian nama medan dinamik—kerana siapa yang tidak menyukai sedikit automasi⚙️?

---

?️ Alat & Sumber ?

1. Dokumentasi Go: Untuk menyelami sintaks Go dan memahami konsep teras.
2. Terapkan Dokumen: Lombong emas sumber tersusun untuk memahami saluran paip Instill.
3. Rangka Kerja Pengujian Go: Pakej ujian terbina dalam dalam Go untuk menulis ujian unit, memastikan semuanya berfungsi seperti yang diharapkan dan menyepadukan dengan alatan CI.
4. Golangci-lint: Agregator linters Go untuk mengenal pasti isu dan menguatkuasakan kualiti kod semasa pembangunan dan semakan CI.

---

???️ Pembelajaran Saya

Dengan dokumentasi mantap Instill, bimbingan daripada ChunHao dan sokongan moral Anni, projek ini menjadi pengalaman pembelajaran yang hebat. Saya beralih daripada tidak mengetahui apa-apa tentang Go kepada melaksanakan ciri berfungsi sepenuhnya sedia untuk pengeluaran (dan saya mempunyai PR gabungan untuk membuktikannya ?).

Bukti:

Atas ialah kandungan terperinci Dari Sifar ke Gabungan: Membina Komponen Medan Penamaan Semula JSON dalam Go. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!