머신러닝 모델 구축 시 데이터 세트

아마도 머신러닝을 공부하기 시작하는 사람들에게 가장 큰 어려움 중 하나는 작업하고, 데이터를 처리하고, 작은 추론을 하고, 모델을 구성하는 것입니다.

이 기사에서는 다음을 통해 데이터세트를 분석하여 머신러닝 모델을 더 효과적으로 구축하는 방법을 예시로 설명합니다.

1. 머신러닝이 무엇인지 간략하게 설명
2. 학습의 종류와 차이점
3. 데이터세트에서 중요한 정보를 이해하고 추출합니다
4. 데이터세트의 데이터 처리
5. 모델 알고리즘의 차이점
6. 선형회귀모델 구축

하지만 맥락을 이해할 수 있도록 처음부터 시작해 보겠습니다. 머신러닝(ML)이란 무엇인가요?

ML은 인공지능(AI), 신경망, 로봇공학 등의 다양한 분야 중 하나입니다. 머신러닝의 유형은 데이터가 어떻게 구성되어 있는지에 따라 달라지므로 여러 유형으로 나누어 모델을 만들 수 있습니다. ML 모델은 입력 데이터를 처리하고 결과를 예측하거나 분류하는 방법을 학습하는 알고리즘을 사용하여 생성됩니다.

데이터세트의 중요성

ML 모델을 만들려면 데이터세트가 필요합니다. 데이터세트에는 입력 기능이 있어야 합니다. 이는 기본적으로 학습 유형에 따라 대상 열을 제외한 전체 데이터세트입니다. 지도 학습인 경우 데이터세트에는 다음이 포함되어야 합니다. 타겟, 라벨 또는 정답. 이 정보는 모델 교육 및 테스트에 사용됩니다.
일부 학습 유형과 그에 대한 데이터 세트 구조:

• 지도 학습: 여기서 모델은 올바른 출력이 이미 제공된 일련의 레이블이 지정된 데이터를 통해 학습하므로 모델의 목표는 새 데이터에 대해 올바르게 예측할 수 있도록 입력과 출력을 연결하는 방법을 학습하는 것입니다.
• 비지도 학습: 모델 학습은 레이블이 지정되지 않은 데이터로 수행되며 입력과 관련된 올바른 출력이 없으므로 모델의 목표는 데이터의 패턴과 그룹화를 식별하는 것입니다.
• 강화 학습: 여기서 모델은 환경과의 상호 작용을 통해 학습합니다. 그는 환경에서 행동을 취하고 올바른 행동에 대한 보상을 받거나 잘못된 행동에 대한 처벌을 받게 되며, 올바른 행동을 수행하게 된 행동을 극대화하여 장기적인 보상을 완전히 극대화하는 것을 목표로 합니다.

따라서 데이터세트는 기본적으로 기계가 생성한 모델의 전체 행동과 학습 과정을 정의합니다.
예제를 계속 진행하려면 특정 대상에 대한 생명 보험의 월간 가치를 정의하는 것이 목표인 감독 학습 모델의 예시인 라벨이 있는 데이터세트를 사용하겠습니다.

먼저 데이터 세트를 로드하고 첫 번째 줄을 살펴보겠습니다.

import pandas as pd

data = pd.read_csv('../dataset_seguro_vida.csv')
data.head()

데이터를 좀 더 자세히 살펴보면 형식을 확인하고 데이터세트의 행과 열 수를 확인할 수 있습니다.

data.shape

여기에는 500행과 9열의 데이터 구조가 있습니다.

이제 어떤 유형의 데이터가 있고 누락된 데이터가 있는지 살펴보겠습니다.

data.info()

여기에는 int(정수) 2개와 float(소수 자릿수가 있는 숫자) 1개를 포함하여 3개의 숫자 열이 있고 나머지 6개는 객체입니다. 그러면 데이터를 약간 처리하는 다음 단계로 넘어갈 수 있습니다.

데이터세트 작업

데이터세트 개선을 위한 좋은 단계는 일부 유형의 데이터가 다른 데이터보다 모델에서 더 쉽게 처리되고 이해된다는 점을 이해하는 것입니다. 예를 들어, 객체 유형의 데이터는 더 무겁고 작업이 제한적이므로 카테고리로 변환하는 것이 더 좋습니다. 이렇게 하면 성능에서 메모리 사용 효율성까지 여러 가지 이점을 얻을 수 있습니다 (In 결국 또 다른 변형을 통해 이를 개선할 수도 있지만 때가 되면 더 잘 설명하겠습니다).

object_columns = data.select_dtypes(include='object').columns

for col in object_columns:
    data[col] = data[col].astype('category')

data.dtypes

Como o nosso objetivo é conseguir estipular o valor da mensalidade de um seguro de vida, vamos dar uma olhada melhor nas nossas variáveis numéricas usando a transposição.

data.describe().T

Podemos aqui ver alguns detalhes e valores dos nossos inputs numéricos, como a média aritmética, o valor mínimo e máximo. Através desses dados podemos fazer a separação desses valores em grupos baseados em algum input de categoria, por gênero, se fuma ou não, entre outros, como demonstração vamos fazer a separação por sexo, para visualizar a media aritmética das colunas divididas por sexo.

value_based_on_sex = data.groupby("Sexo").mean("PrecoSeguro")
value_based_on_sex

Como podemos ver que no nosso dataset os homens acabam pagando um preço maior de seguro (lembrando que esse dataset é fictício).

Podemos ter uma melhor visualização dos dados através do seaborn, é uma biblioteca construída com base no matplotlib usada especificamente para plotar gráficos estatísticos.

import seaborn as sns

sns.set_style("whitegrid")

sns.pairplot(
    data[["Idade", "Salario", "PrecoSeguro", "Sexo"]],
    hue = "Sexo",
    height = 3,
    palette = "Set1")

Aqui podemos visualizar a distribuição desses valores através dos gráficos ficando mais claro a separação do conjunto, com base no grupo que escolhemos, como um teste você pode tentar fazer um agrupamento diferente e ver como os gráficos vão ficar.

Vamos criar uma matriz de correlação, sendo essa uma outra forma de visualizar a relação das variáveis numéricas do dataset, com o auxilio visual de um heatmap.

numeric_data = data.select_dtypes(include=['float64', 'int64'])

corr_matrix = numeric_data.corr()
sns.heatmap(corr_matrix, annot= True)

Essa matriz transposta nos mostra quais variáveis numéricas influenciam mais no nosso modelo, é um pouco intuitivo quando você olha para a imagem, podemos observar que a idade é a que mais vai interferir no preço do seguro.
Basicamente essa matriz funciona assim:

Os valores variam entre -1 e 1:
1: Correlação perfeita positiva - Quando uma variável aumenta, a outra também aumenta proporcionalmente.
0: Nenhuma correlação - Não há relação linear entre as variáveis.
-1: Correlação perfeita negativa - Quando uma variável aumenta, a outra diminui proporcionalmente.

Lembra da transformada que fizemos de object para category nos dados, agora vem a outra melhoria comentada, com os dados que viraram category faremos mais uma transformada, dessa vez a ideia é transformar essa variáveis categóricas em representações numéricas, isso nos permitirá ter um ganho incrível com o desempenho do modelo já que ele entende muito melhor essas variáveis numéricas.

Conseguimos fazer isso facilmente com a lib do pandas, o que ele faz é criar nova colunas binarias para valores distintos, o pandas é uma biblioteca voltada principalmente para analise de dados e estrutura de dados, então ela já possui diversas funcionalidades que nos auxiliam nos processo de tratamento do dataset.

data = pd.get_dummies(data)

Pronto agora temos nossas novas colunas para as categorias.

Decidindo o Algoritmo

Para a construção do melhor modelo, devemos saber qual o algoritmo ideal para o propósito da ML, na tabela seguinte vou deixar um resumo simplificado de como analisar seu problema e fazer a melhor escolha.

Olhando a tabela podemos ver que o problema que temos que resolver é o de regressão. Aqui vai mais uma dica, sempre comesse simples e vá incrementando seu e fazendo os ajustes necessários até os valores de previsibilidade do modelo ser satisfatório.

Para o nosso exemplo vamos montar um modelo de Regressão Linear, já que temos uma linearidade entre os nossos inputs e temos como target uma variável numérica.

Sabemos que a nossa variável target é a coluna PrecoSeguro , as outras são nossos inputs. Os inputs em estatísticas são chamadas de variável independente e o target de variável dependente, pelos nomes fica claro que a ideia é que o nosso target é uma variável que depende dos nosso inputs, se os inputs variam nosso target tem que vai variar também.

Vamos definir nosso y com o target

y = data["PrecoSeguro"]
E para x vamos remover a coluna target e inserir todas as outras
X = data.drop("PrecoSeguro", axis = 1)

Antes de montarmos o modelo, nosso dataset precisa ser dividido uma parte para teste e outra para o treino, para fazer isso vamos usar do scikit-learn o método train_test_split.

from sklearn.model_selection import train_test_split

X_train,X_test,y_train,y_test=train_test_split(
    X,y, 
    train_size = 0.80, 
    random_state = 1)

Aqui dividimos o nosso dataset em 80% para treino e 20% para testes. Agora podemos montar o nosso modelo.

from sklearn.linear_model import LinearRegression

lr = LinearRegression()

lr.fit(X_train,y_train)

Modelo montado agora podemos avaliar seu desempenho

lr.score(X_test, y_test).
lr.score(X_train, y_train)

Aqui podemos analisar a o coeficiente de determinação do nosso modelo para testes e para o treinamento.

Podemos usar um outro método para poder descobrir o desvio padrão do nosso modelo, e entender a estabilidade e a confiabilidade do desempenho do modelo para a amostra

<p>from sklearn.metrics import mean_squared_error<br>
import math</p>

<p>y_pred = lr.predict(X_test)<br>
math.sqrt(mean_squared_error(y_test, y_pred))</p>

Considerações

O valor perfeito do coeficiente de determinação é 1, quanto mais próximo desse valor, teoricamente melhor seria o nosso modelo, mas um ponto de atenção é basicamente impossível você conseguir um modelo perfeito, até mesmo algo acima de 0.95 é de se desconfiar.
Se você tiver trabalhando com dados reais e conseguir um valor desse é bom analisar o seu modelo, testar outras abordagens e até mesmo revisar seu dataset, pois seu modelo pode estar sofrendo um overfitting e por isso apresenta esse resultado quase que perfeitos.
Aqui como montamos um dataset com valores irreais e sem nenhum embasamento é normal termos esses valores quase que perfeitos.

Deixarei aqui um link para o github do código e dataset usados nesse post

• GitHub

위 내용은 머신러닝 모델 구축 시 데이터 세트의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!