LLM을 사용한 스프레드 시트 정규화

이 기사는 테이블 데이터 세트의 데이터 정리 자동화에 대해 자세히 설명하고 지저분한 스프레드 시트를 깔끔한 기계 읽을 수있는 형식으로 변환하는 데 중점을 둡니다. 무료, 등록이없는 CleanMyExcel.io 서비스를 사용하여이를 테스트 할 수 있습니다.

깔끔한 데이터가 중요한 이유

필름 수상 데이터가 포함 된 Excel 스프레드 시트를 고려하십시오 ( 효과적인 데이터 과학을 위해 데이터 청소를 통해 공급). 데이터 분석의 목표는 실행 가능한 통찰력을 도출하는 것입니다. 이 예는 작지만 더 큰 데이터 세트로 확장 될 때 수동 데이터 청소의 문제를 강조합니다. 시스템의 구조를 직접 해석하는 것은 기계가 어렵 기 때문에 효율적인 처리 및 분석을위한 깔끔한 데이터의 중요성을 강조합니다.

재 형성 데이터 예 :

이 깔끔한 버전은 다양한 도구를 사용하여 더 쉬운 데이터 상호 작용 및 통찰력 추출을 용이하게합니다. 도전은 사람이 읽을 수있는 스프레드 시트를 기계 친화적 인 깔끔한 버전으로 변환하는 데 있습니다.

깔끔한 데이터 원칙

Hadley Wickham의 "Tidy Data"(Journal of Statistical Software, 2014)를 기반으로 깔끔한 데이터는 이러한 원칙을 준수합니다.

• 각 변수는 열입니다.
• 각 관찰은 행입니다.
• 각 유형의 관찰 단위는 테이블입니다.

일반적인 지저분한 데이터 문제는 다음과 같습니다.

• 열 헤더는 값으로 (예 : "연도"열 대신 열 헤더로서 연도).
• 한 열의 여러 변수 (예 : "age_gender").
• 행과 열의 변수.
• 한 테이블의 여러 관측 단위.
• 단일 장치는 여러 테이블에 걸쳐 분할됩니다.

데이터를 정리하는 방법 : 워크 플로

지저분한 데이터를 깔끔한 데이터로 변환하는 것은 각 데이터 세트의 고유 한 특성으로 인해 쉽게 자동화되지 않습니다. 규칙 기반 시스템은 종종 불충분하지만 기계 학습 모델, 특히 LLM (Lange Language Model)은 장점을 제공합니다. 이 워크 플로우는 LLMS와 코드를 사용합니다.

1. 스프레드 시트 인코더 : 스프레드 시트 정보를 텍스트로 직렬화하여 효율적인 LLM 처리를위한 필수 데이터 만 유지합니다.
2. 테이블 구조 분석 : LLM은 스프레드 시트 구조를 분석하여 테이블, 헤더, 경계 및 병합 된 셀과 같은 잠재적 문제를 식별합니다.
3. 표 스키마 추정 : LLM은 열, 그룹 관련 열을 반복적으로 식별하며 최종 스키마를 제안합니다.
4. 코드 생성 : LLM은 반복 코드 점검 및 데이터 프레임 유효성 검사를 통합하여 스프레드 시트를 깔끔한 데이터 프레임으로 변환하는 코드를 생성합니다.
5. Excel에서 데이터 프레임 : 깔끔한 데이터 프레임이 Excel 파일로 변환됩니다.

에이전트가 아닌 워크 플로우는 무엇입니까?

현재 에이전트 기반 접근 방식이 미래의 이점을 제공 할 수 있지만, 워크 플로는 완전히 자율적 인 에이전트보다 강력하고 유지 관리 가능합니다.

미래의 기사

향후 기사는 다음과 같습니다.

• 자세한 스프레드 시트 인코딩.
• 데이터 유효성 및 고유성 검사.
• 결 측값 처리.
• 데이터 재구성 및 품질 평가.

이 기사를 검토해 주신 Marc Hobballah에게 감사합니다. 달리 명시되지 않는 한 모든 이미지는 저자에 의한 것입니다.

위 내용은 LLM을 사용한 스프레드 시트 정규화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!