ML 모델을 위한 데이터 전처리 기술

데이터 전처리는 데이터세트가 기계 학습이나 기타 작업에 사용되기 전에 데이터세트에 대해 특정 작업이나 단계를 수행하는 행위입니다. 데이터 전처리에는 품질을 향상하거나 주요 목적(이 경우 모델 교육)에 적합한지 확인하기 위해 데이터 정리, 형식 지정 또는 변환이 포함됩니다. 깨끗하고 고품질의 데이터세트는 머신러닝 모델의 성능을 향상시킵니다.

낮은 품질의 데이터와 관련된 일반적인 문제는 다음과 같습니다.

• 누락된 값
• 일관되지 않은 형식
• 중복된 ​​값
• 관련 없는 기능

이 기사에서는 학습 모델에 사용할 데이터 세트를 준비하는 몇 가지 일반적인 데이터 전처리 기술을 보여 드리겠습니다. Python에 대한 기본 지식과 Python 라이브러리 및 프레임워크를 사용하는 방법이 필요합니다.

요구사항:
이 가이드를 최대한 활용하려면 다음이 필요합니다

• 파이썬 3.12
• Jupyter Notebook 또는 좋아하는 노트북
• 넘피
• 판다
• 사이피
• Scikit 학습
• 멜버른 주택 데이터세트

Github에서 Jupyter Notebook의 각 코드 출력을 확인할 수도 있습니다.

설정

아직 Python을 설치하지 않았다면 Python 웹사이트에서 다운로드하여 지침에 따라 설치할 수 있습니다.

Python이 설치되면 필수 라이브러리를 설치하세요

pip install numpy scipy pandas scikit-learn

Jupyter 노트북을 설치하세요.

pip install notebook

설치 후 다음 명령으로 Jupyter Notebook을 시작하세요

jupyter notebook

기본 웹 브라우저에서 Jupyter Notebook이 실행됩니다. 그렇지 않은 경우 터미널에서 브라우저에 수동으로 붙여넣을 수 있는 링크를 확인하세요.

파일 메뉴에서 새 노트북을 열고 필요한 라이브러리를 가져온 후 셀을 실행하세요

import numpy as np
import pandas as pd
import scipy
import sklearn

멜버른 주택 데이터세트 사이트에 가서 데이터세트를 다운로드하세요. 다음 코드를 사용하여 데이터 세트를 노트북에 로드합니다. 컴퓨터의 파일 경로를 복사하여 read_csv 함수에 붙여 넣을 수 있습니다. csv 파일을 노트와 같은 폴더에 넣어서 아래와 같이 파일을 불러올 수도 있습니다.

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

데이터를 훈련 세트와 검증 세트로 분할

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

데이터 유출을 방지하려면 데이터를 학습 세트와 검증 세트로 분할해야 합니다. 결과적으로 학습 기능 세트에서 수행하는 전처리 기술은 검증 기능 세트에서 수행하는 것과 동일합니다.

이제 데이터 세트를 처리할 준비가 되었습니다!

데이터 정리

결측값 처리
데이터 세트의 누락된 값은 드레스를 재봉하는 데 사용되는 천에 있는 구멍과 같습니다. 만들기도 전에 드레스를 망쳐 놓거든요.

데이터세트의 누락된 값을 처리하는 방법에는 3가지가 있습니다.

1. 빈 셀이 있는 행이나 열을 삭제하세요.

pip install numpy scipy pandas scikit-learn

이 방법의 문제는 모델을 훈련하는 데 사용할 귀중한 정보를 잃을 수 있다는 것입니다. 삭제된 행이나 열의 값 대부분이 누락되지 않는 한, 빈 셀이 있는 행이나 열을 삭제할 필요는 없습니다.

1. 빈 셀에 값 대치 특정 열에 있는 데이터의 평균, 중앙값 또는 모드를 사용하여 빈 셀을 대치하거나 채울 수 있습니다. Scikit learn의 SimpleImputer는 빈 셀의 값을 대치하는 데 사용됩니다.

pip install notebook

1. 귀속 및 통지 이것이 작동하는 방식은 빈 셀에 값을 대치하지만 셀이 처음에 비어 있었음을 나타내는 열도 생성한다는 것입니다.

jupyter notebook

중복제거
중복 셀은 반복되는 데이터를 의미하며 모델 정확도에 영향을 미칩니다. 그들을 처리하는 유일한 방법은 그들을 버리는 것입니다.

import numpy as np
import pandas as pd
import scipy
import sklearn

이상값 처리
이상값은 데이터 세트의 다른 값과 크게 다른 값입니다. 다른 데이터 값에 비해 비정상적으로 높거나 낮을 수 있습니다. 이는 입력 오류로 인해 발생할 수도 있고 실제로는 이상치일 수도 있습니다.

이상치를 처리하는 것이 중요합니다. 그렇지 않으면 부정확한 데이터 분석이나 모델로 이어질 수 있습니다. 이상값을 감지하는 한 가지 방법은 Z-점수를 계산하는 것입니다.

작동 방식은 z-score를 사용하여 데이터 포인트가 평균값에서 3포인트 이상 떨어져 있는지 확인하는 것입니다. 이 계산은 모든 데이터 포인트에 대해 수행됩니다. 데이터 포인트의 z-점수가 3 이상인 경우 해당 데이터 포인트는 이상치입니다.

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

데이터 변환

정규화
정규 분포로 설명할 수 있도록 특성을 정규화합니다.

정규 분포(가우시안 분포라고도 함)는 평균 위와 아래에 대략 동일한 거리 또는 분포가 있는 통계 분포입니다. 정규 분포 데이터의 데이터 포인트 그래프는 종형 곡선을 형성합니다.

데이터 정규화의 요점은 사용하려는 머신러닝 알고리즘이 데이터가 정규 분포를 따른다고 가정하는 것입니다. 예를 들어 Gaussian Naive Bayes 모델이 있습니다.

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

표준화
표준화는 데이터 세트의 기능을 평균 0, 표준 편차 1로 변환합니다. 이 프로세스는 데이터 전체에서 유사한 범위를 갖도록 각 기능의 크기를 조정합니다. 이렇게 하면 각 기능이 모델 학습에 동일하게 기여할 수 있습니다.

다음과 같은 경우 표준화를 사용합니다.

• 데이터의 특징은 다양한 척도나 단위로 되어 있습니다.
• 사용하려는 기계 학습 모델은 거리 또는 경사 기반 최적화(예: 선형 회귀, 로지스틱 회귀, K-평균 클러스터링)를 기반으로 합니다.

sklearn 라이브러리의 StandardScaler()를 사용하여 기능을 표준화합니다.

pip install numpy scipy pandas scikit-learn

결론

데이터 전처리는 단순한 예비 단계가 아닙니다. 이는 정확한 기계 학습 모델을 구축하는 프로세스의 일부입니다. 또한 작업 중인 데이터 세트의 요구 사항에 맞게 조정할 수도 있습니다.

대부분의 활동과 마찬가지로 연습을 하면 완벽해집니다. 계속해서 데이터를 전처리하면 모델뿐만 아니라 기술도 향상됩니다.

이것에 대한 귀하의 생각을 읽고 싶습니다 ?

위 내용은 ML 모델을 위한 데이터 전처리 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!