이산이란 무엇입니까? - 분석 Vidhya

데이터 이산화 : 데이터 과학의 중요한 전처리 기술

데이터 이산화는 데이터 분석 및 기계 학습의 기본 전처리 단계입니다. 연속 데이터를 이산 양식으로 변환하여 개별 입력을 위해 설계된 알고리즘과 호환됩니다. 이 프로세스는 데이터 해석 가능성을 향상시키고 알고리즘 효율성을 최적화하며 분류 및 클러스터링과 같은 작업에 대한 데이터 세트를 준비합니다. 이 기사는 현대 데이터 과학의 중요성을 강조하는 이산 방법론, 장점 및 응용 프로그램을 탐구합니다.

목차 :

• 데이터 이산화 란 무엇입니까?
• 데이터 이산화의 필요성
• 이산화 단계
• 세 가지 주요 이산화 기술 :
  • 동등한 width binning
  • 평범한 비닝
  • Kmeans 기반 Binning
• 이산화의 적용
• 요약
• 자주 묻는 질문

데이터 이산화 란 무엇입니까?

데이터 이산화는 연속 변수, 기능 및 방정식을 개별 표현으로 변환합니다. 이는 효율적인 처리 및 분석을 위해 개별 입력이 필요한 기계 학습 알고리즘에 대한 데이터를 준비하는 데 중요합니다.

데이터 이산화의 필요성

많은 기계 학습 모델, 특히 범주 형 변수를 사용하는 모델은 연속 데이터를 직접 처리 할 수 ​​없습니다. 이산화는 연속 데이터를 의미있는 간격 또는 빈으로 나누어이를 해결합니다. 이는 복잡한 데이터 세트를 단순화하고 해석 가능성을 향상 시키며 특정 알고리즘을 효과적으로 사용할 수 있습니다. 예를 들어, 의사 결정 트리와 순진한 베이 즈 분류기는 종종 차원과 복잡성 감소로 인해 이산화 된 데이터의 혜택을받습니다. 또한, 이산화는 연령 그룹 간의 상관 관계 및 구매 행동과 같은 연속 데이터 내에 숨겨진 패턴을 보여줄 수 있습니다.

이산화 단계 :

1. 데이터 이해 : 문제 내의 연속 변수, 분포, 범위 및 역할을 분석합니다.
2. 기술 선택 : 적절한 이산화 방법 (동일 폭, 동일한 주파수 또는 클러스터링 기반)을 선택하십시오.
3. 빈 결정 : 데이터 특성 및 문제 요구 사항에 따라 간격 또는 범주 수를 정의합니다.
4. 이산화 응용 프로그램 : 연속 값을 해당 빈에 매핑하여 빈 식별자로 교체합니다.
5. 변환 평가 : 데이터 배포 및 모델 성능에 대한 이산화의 영향을 평가하여 중요한 패턴이 보존되도록합니다.
6. 결과 유효성 검사 : 이산화가 문제의 목표와 일치하는지 확인하십시오.

세 가지 주요 이산화 기술 :

캘리포니아 주택 데이터 세트에 적용되는 이산화 기술 :

 # 필요한 라이브러리 수입
sklearn.datasets import fetch_california_housing
Sklearn에서 프로세싱 수입 kbinsdiscretizer
팬더를 PD로 가져옵니다

# 캘리포니아 주택 데이터 세트를로드하십시오
data = fetch_california_housing (as_frame = true)
df = data.frame

# 'Medinc'(중간 소득) 기능에 중점을 둡니다
feature = 'medinc'
인쇄 ( "원본 데이터 :")
print (df [[feature]]. head ()) 

1. 동일 폭 바인닝 : 데이터 범위를 동일한 크기의 빈으로 나눕니다. 시각화의 데이터 배포 또는 데이터 범위가 일관된 경우에도 유용합니다.

 # 동등한 폭 바이닝
df [ 'equil_width_bins'] = pd.cut (df [feature], bins = 5, labels = false)

2. 동일 주파수 비닝 : 거의 동일한 수의 데이터 포인트로 쓰레기통을 만듭니다. 클래스 크기의 분류에서 균형을 맞추거나 통계 분석을 위해 균일하게 채워진 빈을 생성하는 데 이상적입니다.

 # 동등한 주파수 비닝
df [ 'eque_frequency_bins'] = pd.qcut (df [feature], q = 5, labels = false)

3. Kmeans 기반 Binning : K- 평균 클러스터링을 사용하여 유사한 값을 빈으로 그룹화합니다. 복잡한 분포 또는 자연 그룹화가있는 데이터에 가장 적합합니다.

 # Kmeans 기반 Binning
k_bins = kbinsdiscretizer (n_bins = 5, encode = 'Ordinal', 전략 = 'kmeans')
df [ 'kmeans_bins'] = k_bins.fit_transform (df [[feature]]). Astype (int)

결과보기 :

 # 결합 및 표시 결과
print ( "\ ndiscretized data :")
print (df [[feature, 'equil_width_bins', 'eque_frequency_bins', 'kmeans_bins']. head ())). 

출력 설명 : 코드는 세 가지 이산화 기술을 'Medinc'열에 적용하는 것을 보여줍니다. 동등한 width는 동일한 범위의 5 개의 빈을 생성하고, 동일한 주파수는 동일한 샘플 카운트를 갖는 5 개의 빈을 생성하고, K- 평균은 5 개의 클러스터로 유사한 소득 값을 그룹화합니다.

이산 응용 프로그램 :

1. 개선 된 모델 성능 : 의사 결정 트리 및 순진한 베이와 같은 알고리즘은 종종 개별 데이터의 혜택을받습니다.
2. 비선형 관계 처리 : 변수간에 비선형 패턴이 나타납니다.
3. 특이 치 관리 : 특이 치의 영향을 줄입니다.
4. 기능 감소 : 주요 정보를 유지하면서 데이터를 단순화합니다.
5. 향상된 시각화 및 해석 성 : 시각화 및 이해하기 쉽습니다.

요약:

데이터 이산화는 기계 학습을위한 지속적인 데이터를 단순화하여 모델 성능과 해석 가능성을 향상시키는 강력한 전처리 기술입니다. 방법의 선택은 특정 데이터 세트와 분석 목표에 따라 다릅니다.

자주 묻는 질문 :

Q1. K- 평균 클러스터링은 어떻게 작동합니까? A1. K- 평균은 클러스터 중심에 근접한 것에 따라 데이터를 K 클러스터로 그룹화합니다.

Q2. 범주 형 및 연속 데이터는 어떻게 다릅니 까? A2. 범주 형 데이터는 별개의 그룹을 나타내고 연속 데이터는 범위 내에서 숫자 값을 나타냅니다.

Q3. 일반적인 이산화 방법은 무엇입니까? A3. 동등한 세포, 동등한 주파수 및 클러스터링 기반 방법이 일반적입니다.

Q4. 기계 학습에서 이산화가 중요한 이유는 무엇입니까? A4. 범주 형 데이터에서 가장 잘 작동하는 모델의 성능과 해석 가능성을 향상시킵니다.

위 내용은 이산이란 무엇입니까? - 분석 Vidhya의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!