>  기사  >  백엔드 개발  >  Python의 데이터 전처리(코드)

Python의 데이터 전처리(코드)

不言
不言앞으로
2019-03-18 10:06:228674검색

이 기사의 내용은 Python의 데이터 전처리(코드)에 대한 내용입니다. 필요한 친구들이 참고할 수 있기를 바랍니다.

1. 표준 라이브러리 가져오기
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

2. 데이터 세트 가져오기

dataset = pd.read_csv('data (1).csv')  # read_csv:读取csv文件
#创建一个包含所有自变量的矩阵,及因变量的向量
#iloc表示选取数据集的某行某列;逗号之前的表示行,之后的表示列;冒号表示选取全部,没有冒号,则表示选取第几列;values表示选取数据集里的数据。
X = dataset.iloc[:, :-1].values # 选取数据,不选取最后一列。
y = dataset.iloc[:, 3].values # 选取数据,选取每行的第3列数据

3. 분류된 데이터

from sklearn.preprocessing import Imputer #进行数据挖掘及数据分析的标准库,Imputer缺失数据的处理
#Imputer中的参数:missing_values 缺失数据,定义怎样辨认确实数据,默认值:nan ;strategy 策略,补缺值方式 : mean-平均值 , median-中值 , most_frequent-出现次数最多的数 ; axis =0取列 =1取行 
imputer = Imputer(missing_values = 'NaN', strategy = 'mean', axis = 0)
imputer = imputer.fit(X[:, 1:3])#拟合fit
X[:, 1:3] = imputer.transform(X[:, 1:3])

5. 및 테스트 세트

from sklearn.preprocessing import LabelEncoder,OneHotEncoder
labelencoder_X=LabelEncoder()
X[:,0]=labelencoder_X.fit_transform(X[:,0])
onehotencoder=OneHotEncoder(categorical_features=[0])
X=onehotencoder.fit_transform(X).toarray()
#因为Purchased是因变量,Python里面的函数可以将其识别为分类数据,所以只需要LabelEncoder转换为分类数字
labelencoder_y=LabelEncoder()
y=labelencoder_y.fit_transform(y)
6. 기능 확장
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=0)
#X_train(训练集的字变量),X_test(测试集的字变量),y_train(训练集的因变量),y_test(训练集的因变量)
#训练集所占的比重0.2~0.25,某些情况也可分配1/3的数据给训练集;train_size训练集所占的比重
#random_state决定随机数生成的方式,随机的将数据分配给训练集和测试集;random_state相同时会得到相同的训练集和测试集

7. 데이터 전처리 템플릿

(1) 표준 라이브러리 가져오기 (2) 데이터 세트 가져오기 (3) 누락 및 분류가 거의 발생하지 않습니다. 4) 데이터 세트를 훈련 세트와 테스트 세트로 분할합니다

(5) 특성 스케일링, 대부분의 경우에는 필요하지 않지만 일부 경우에는 특성 스케일링이 필요합니다

위 내용은 Python의 데이터 전처리(코드)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
이 기사는 cnblogs.com에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제