LLM輕鬆的電子表格歸一化

本文詳細介紹了為表格數據集自動化數據清潔，重點是將混亂的電子表格轉換為整潔的機器可讀格式。您可以使用免費的無註冊CleanMyExcel.io服務對此進行測試。

為什麼整潔數據很重要

考慮一個包含電影獎勵數據的Excel電子表格（來自清潔數據以獲得有效數據科學）。數據分析的目的是獲得可行的見解，需要可靠（清潔）和整潔（正態化）數據。這個示例雖然很小，但突出了當縮放到較大數據集時手動數據清潔的挑戰。對於機器而言，很難直接解釋其結構，這強調了整潔數據對於有效的處理和分析的重要性。

重塑數據示例：

這個整潔的版本可以使用各種工具來促進更輕鬆的數據交互和洞察提取。挑戰在於將人類可讀的電子表格轉換為機器友好的整潔版本。

整潔的數據原則

基於哈德利·威克姆（Hadley Wickham）的“整潔數據”（統計軟件雜誌，2014年），整理數據遵守這些原則：

• 每個變量都是列。
• 每個觀察結果都是一排。
• 每種類型的觀察單元都是一個表。

常見的混亂數據問題包括：

• 列標題為值（例如，作為列標題而不是“年”列）。
• 一列中的多個變量（例如，“ age_gender”）。
• 行和列中的變量。
• 一個表中的多個觀察單元。
• 一個單元在多個表上分開。

如何整理數據：工作流程

由於每個數據集的獨特性質，將混亂的數據轉換為整潔的數據不容易自動化。儘管基於規則的系統通常不足，但機器學習模型，尤其是大型語言模型（LLMS）提供了優勢。此工作流使用LLM和代碼：

1. 電子表格編碼器：將電子表格信息序列化到文本中，僅保留有效LLM處理的基本數據。
2. 表結構分析： LLM分析電子表格結構，識別表，標頭，邊界以及諸如合併細胞之類的潛在問題。
3. 表模式估計： LLM迭代識別列，組相關的列，並提出了最終模式。
4. 代碼生成： LLM生成代碼將電子表格轉換為整潔的數據框架，並結合了迭代代碼檢查和數據框架驗證。
5. Excel的數據框架：整理數據框架被轉換為Excel文件。

為什麼不是工作流程，而不是代理？

目前，儘管基於代理的方法可能會帶來未來的優勢，但工作流程比完全自主的代理更強大和可維護。

未來文章

未來的文章將涵蓋：

• 詳細的電子表格編碼。
• 數據有效性和唯一性檢查。
• 處理缺失值。
• 評估數據重塑和質量。

感謝Marc Hobballah回顧了這篇文章。除非另有說明，否則所有圖像均由作者。

以上是LLM輕鬆的電子表格歸一化的詳細內容。更多資訊請關注PHP中文網其他相關文章！