Normalisasi spreadsheet tanpa usaha dengan LLM

Butiran artikel ini mengautomasikan pembersihan data untuk dataset tabular, yang memberi tumpuan kepada mengubah spreadsheet berantakan ke dalam format yang boleh dibaca mesin. Anda boleh menguji ini menggunakan perkhidmatan CleanMyexcel.io percuma, bebas pendaftaran.

Mengapa Data Tape Penting

Pertimbangkan spreadsheet Excel yang mengandungi data anugerah filem (diperoleh daripada data pembersihan untuk sains data yang berkesan ). Matlamat analisis data adalah untuk memperoleh pandangan yang boleh diambil tindakan, yang memerlukan data yang boleh dipercayai (bersih) dan kemas (normal). Contoh ini, sementara kecil, menyoroti cabaran pembersihan data manual apabila diperkuat ke dataset yang lebih besar. Secara langsung mentafsirkan strukturnya adalah sukar untuk mesin, menekankan pentingnya data kemas untuk pemprosesan dan analisis yang cekap.

Contoh data yang diubahsuai:

Versi kemas ini memudahkan interaksi data yang lebih mudah dan pengekstrakan wawasan menggunakan pelbagai alat. Cabarannya terletak pada menukarkan spreadsheet yang boleh dibaca manusia ke dalam versi rapi mesra mesin.

Prinsip data kemas

Berdasarkan "data kemas" Hadley Wickham (Journal of Statistical Software, 2014), data kemas mematuhi prinsip -prinsip ini:

• Setiap pembolehubah adalah lajur.
• Setiap pemerhatian adalah satu baris.
• Setiap jenis unit pemerhatian adalah jadual.

Masalah data yang tidak kemas termasuk:

• Tajuk lajur sebagai nilai (contohnya, tahun sebagai tajuk lajur dan bukannya lajur "tahun").
• Pelbagai pembolehubah dalam satu lajur (misalnya, "usia_gender").
• Pembolehubah dalam kedua -dua baris dan lajur.
• Pelbagai unit pemerhatian dalam satu jadual.
• Satu unit berpecah merentasi pelbagai jadual.

Cara kemas data: aliran kerja

Mengubah data berantakan ke dalam data kemas tidak mudah automatik kerana sifat unik setiap dataset. Walaupun sistem berasaskan peraturan sering tidak mencukupi, model pembelajaran mesin, terutamanya model bahasa yang besar (LLM), menawarkan kelebihan. Aliran kerja ini menggunakan LLM dan kod:

1. Spreadsheet Encoder: Menyelaraskan maklumat spreadsheet ke dalam teks, mengekalkan hanya data penting untuk pemprosesan LLM yang cekap.
2. Analisis Struktur Jadual: LLM menganalisis struktur spreadsheet, mengenal pasti jadual, tajuk, sempadan, dan isu -isu yang berpotensi seperti sel yang digabungkan.
3. Anggaran Skema Jadual: LLM secara beransur -ansur mengenal pasti lajur, lajur yang berkaitan dengan kumpulan, dan mencadangkan skema akhir.
4. Penjanaan Kod: LLM menjana kod untuk mengubah spreadsheet ke dalam bingkai data yang kemas, menggabungkan pemeriksaan kod berulang dan pengesahan bingkai data.
5. Bingkai Data ke Excel: Bingkai data kemas ditukar menjadi fail Excel.

Mengapa aliran kerja, bukan ejen?

Pada masa ini, aliran kerja lebih mantap dan boleh dipelihara daripada ejen autonomi sepenuhnya, walaupun pendekatan berasaskan ejen mungkin menawarkan kelebihan masa depan.

Artikel masa depan

Artikel masa depan akan meliputi:

• Pengekodan spreadsheet terperinci.
• Kesahan data dan pemeriksaan keunikan.
• Mengendalikan nilai yang hilang.
• Menilai semula data dan kualiti data.

Terima kasih kepada Marc Hobballah kerana mengkaji artikel ini. Semua imej, melainkan dinyatakan sebaliknya, adalah oleh penulis.

Atas ialah kandungan terperinci Normalisasi spreadsheet tanpa usaha dengan LLM. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!