LLM轻松的电子表格归一化

本文详细介绍了为表格数据集自动化数据清洁，重点是将混乱的电子表格转换为整洁的机器可读格式。您可以使用免费的无注册CleanMyExcel.io服务对此进行测试。

为什么整洁数据很重要

考虑一个包含电影奖励数据的Excel电子表格（来自清洁数据以获得有效数据科学）。数据分析的目的是获得可行的见解，需要可靠（清洁）和整洁（正态化）数据。这个示例虽然很小，但突出了当缩放到较大数据集时手动数据清洁的挑战。对于机器而言，很难直接解释其结构，这强调了整洁数据对于有效的处理和分析的重要性。

重塑数据示例：

这个整洁的版本可以使用各种工具来促进更轻松的数据交互和洞察提取。挑战在于将人类可读的电子表格转换为机器友好的整洁版本。

整洁的数据原则

基于哈德利·威克姆（Hadley Wickham）的“整洁数据”（统计软件杂志，2014年），整理数据遵守这些原则：

• 每个变量都是列。
• 每个观察结果都是一排。
• 每种类型的观察单元都是一个表。

常见的混乱数据问题包括：

• 列标题为值（例如，作为列标题而不是“年”列）。
• 一列中的多个变量（例如，“ age_gender”）。
• 行和列中的变量。
• 一个表中的多个观察单元。
• 一个单元在多个表上分开。

如何整理数据：工作流程

由于每个数据集的独特性质，将混乱的数据转换为整洁的数据不容易自动化。尽管基于规则的系统通常不足，但机器学习模型，尤其是大型语言模型（LLMS）提供了优势。此工作流使用LLM和代码：

1. 电子表格编码器：将电子表格信息序列化到文本中，仅保留有效LLM处理的基本数据。
2. 表结构分析： LLM分析电子表格结构，识别表，标头，边界以及诸如合并细胞之类的潜在问题。
3. 表模式估计： LLM迭代识别列，组相关的列，并提出了最终模式。
4. 代码生成： LLM生成代码将电子表格转换为整洁的数据框架，并结合了迭代代码检查和数据框架验证。
5. Excel的数据框架：整理数据框架被转换为Excel文件。

为什么不是工作流程，而不是代理？

目前，尽管基于代理的方法可能会带来未来的优势，但工作流程比完全自主的代理更强大和可维护。

未来文章

未来的文章将涵盖：

• 详细的电子表格编码。
• 数据有效性和唯一性检查。
• 处理缺失值。
• 评估数据重塑和质量。

感谢Marc Hobballah回顾了这篇文章。除非另有说明，否则所有图像均由作者。

以上是LLM轻松的电子表格归一化的详细内容。更多信息请关注PHP中文网其他相关文章！