비지도 학습의 가장 중요한 12가지 알고리즘 소개 및 사용 사례 요약

비지도 학습은 지도 학습과 반대되는 또 다른 주류 기계 학습 방법입니다. 비지도 학습에는 데이터 주석이 없고 데이터 자체만 있습니다.

비지도 학습 알고리즘에는 여러 유형이 있으며 가장 중요한 12가지 알고리즘은 다음과 같습니다.

1. 클러스터링 알고리즘은 유사성을 기준으로 데이터 포인트를 클러스터로 그룹화합니다.

k-클러스터링이 널리 사용됨을 의미합니다. 데이터를 k개 그룹으로 나눕니다.

2. 차원 축소 알고리즘은 데이터의 차원을 줄여 시각화 및 처리를 더 쉽게 만듭니다.

주성분 분석(PCA)은 데이터를 저차원 공간에 투영하는 데 사용할 수 있는 차원 축소 알고리즘입니다. 가장 중요한 기능의 차원 축소.

3. 이상 감지 알고리즘은 이상치 또는 비정상적인 데이터 포인트를 식별합니다.

이상 감지에는 지원 벡터 머신을 사용할 수 있습니다(예). 이상 탐지 알고리즘은 데이터 세트에서 비정상적인 지점을 탐지하는 데 사용됩니다. 이상 탐지 방법에는 여러 가지가 있지만 대부분은 감독(supervised) 방식과 비지도(unsupervised) 방식으로 나눌 수 있습니다. 감독 방법에는 레이블이 지정된 데이터 세트가 필요하지만 비지도 방법에는 그렇지 않습니다.

비지도 이상 탐지 알고리즘은 일반적으로 밀도 추정을 기반으로 하며 데이터 공간에서 밀집된 영역 외부의 지점을 찾으려고 합니다.

간단한 방법은 각 점과 k개의 가장 가까운 이웃까지의 평균 거리를 계산하는 것입니다. 이웃 지점과 매우 멀리 떨어져 있는 지점은 이상값일 가능성이 높습니다.

LOF(Local Outlier Factor) 및 SVDD(Support Vector Domain Description)를 포함하여 밀도 기반 이상 탐지 알고리즘도 많이 있습니다. 이러한 알고리즘은 단순한 k-최근접 이웃 방법보다 더 복잡하며 더 미묘한 이상 현상을 감지할 수 있는 경우가 많습니다. 대부분의 이상 탐지 알고리즘에는 알고리즘이 이상에 얼마나 민감한지를 제어하기 위해 매개 변수를 지정하는 등의 조정이 필요합니다. 매개변수가 너무 낮으면 알고리즘이 일부 예외를 놓칠 수 있습니다. 너무 높게 설정하면 알고리즘이 잘못된 긍정(정상 지점을 비정상 지점으로 식별)을 생성할 수 있습니다.

4. 분할 알고리즘은 데이터를 세그먼트 또는 그룹으로 나눕니다.

분할 알고리즘은 이미지를 전경과 배경으로 분할할 수 있습니다.

이러한 알고리즘은 사람의 감독 없이 자동으로 데이터 세트를 의미 있는 그룹으로 분할할 수 있습니다. 이 분야에서 가장 잘 알려진 알고리즘 중 하나는 k-평균 알고리즘입니다. 이 알고리즘은 그룹 내 거리 제곱의 합을 최소화하여 데이터 포인트를 k개 그룹으로 나눕니다.

또 다른 인기 있는 분할 알고리즘은 평균 이동 알고리즘입니다. 알고리즘은 각 데이터 포인트를 해당 지역의 중심을 향해 반복적으로 이동하는 방식으로 작동합니다. 평균 이동은 이상치에 대해 매우 강력하며 밀도가 고르지 않은 데이터 세트를 처리할 수 있습니다. 그러나 대규모 데이터 세트에서 이를 실행하는 것은 계산 비용이 많이 들 수 있습니다.

Gaussian Mixture Model(GMM)은 분할에 사용할 수 있는 확률 모델입니다. 이전에는 gmm을 훈련하는 데 많은 계산이 필요했지만 최근 연구 발전으로 인해 속도가 빨라졌습니다. gmm은 매우 유연하며 모든 유형의 데이터에 사용할 수 있습니다. 그러나 때로는 항상 최상의 결과를 산출하는 것은 아닙니다. 간단한 데이터 세트의 경우 k-평균이 좋은 선택이고, 복잡한 데이터 세트의 경우 gmm이 더 적합합니다. 두 경우 모두 평균 이동을 사용할 수 있지만 대규모 데이터 세트에서는 계산 비용이 많이 들 수 있습니다.

5. 노이즈 제거 알고리즘은 데이터의 노이즈를 줄이거나 제거합니다.

Wavelet 변환은 이미지 노이즈 제거에 사용될 수 있습니다. 그러나 데이터 손상, 누락된 값, 이상값 등 다양한 소스로 인해 노이즈가 발생할 수 있습니다. 노이즈 제거 알고리즘은 데이터의 노이즈 양을 줄여 비지도 학습 모델의 정확성을 향상시킵니다.

주성분 분석(PCA), 독립 성분 분석(ICA), 비음수 행렬 분해(NMF)를 비롯한 기존 노이즈 제거 알고리즘이 많이 있습니다.

6. 링크 예측 알고리즘은 데이터 포인트 간의 미래 연결을 예측합니다(예: 네트워크의 두 노드 간의 미래 상호 작용).

링크 예측은 소셜 네트워크에서 누가 친구가 될지 예측하는 데 사용할 수 있습니다. 가장 일반적으로 사용되는 링크 예측 알고리즘 중 하나는 우선 조인 알고리즘으로, 두 노드에 기존 연결이 많을 경우 연결될 가능성이 더 높다고 예측합니다.

또 다른 인기 있는 링크 예측 알고리즘은 로컬 경로 알고리즘으로, 두 노드가 공통 이웃을 공유하는 경우 연관될 가능성이 더 높다고 예측합니다. 이 알고리즘은 "구조적 동등성"이라는 개념을 포착할 수 있으므로 생물학적 네트워크에서 자주 사용됩니다.

마지막으로, 재시작을 통한 랜덤 워크 알고리즘은 링크 예측 알고리즘이기도 하며, 네트워크에서 랜덤 워커를 시뮬레이션하고 랜덤 노드에서 워커를 다시 시작합니다[17]. 워커가 특정 노드에 도착할 확률은 두 노드 사이에 연결이 존재할 가능성을 측정하는 데 사용됩니다.

7. 시행착오를 통해 학습하는 강화 학습

Q-학습은 구현이 간단하고 다재다능한 가치 기반 학습 알고리즘의 예입니다. 그러나 Q-러닝은 때때로 차선의 솔루션으로 수렴됩니다. 또 다른 예는 Q-학습보다 계산량이 더 많지만 종종 더 나은 솔루션으로 이어지는 TD 학습입니다.

8. 생성 모델: 알고리즘은 훈련 데이터를 사용하여 새로운 데이터를 생성합니다.

오토인코더는 이미지 데이터 세트에서 고유한 이미지를 만드는 데 사용할 수 있는 생성 모델입니다. 기계 학습에서 생성 모델은 데이터 세트의 통계적 속성을 캡처하는 모델입니다. 이러한 모델은 훈련된 데이터와 마찬가지로 새로운 데이터를 생성하는 데 사용될 수 있습니다.

생성 모델은 비지도 학습, 데이터 압축, 노이즈 제거 등 다양한 작업에 사용됩니다. 은닉 마르코프 모델, 볼츠만 기계 등 다양한 유형의 생성 모델이 있습니다. 각 모델에는 장단점이 있으며 다양한 작업에 적합합니다.

Hidden Markov 모델은 순차 데이터 모델링에 능숙하고 Boltzmann 기계는 고차원 데이터 모델링에 더 좋습니다. 생성 모델은 레이블이 지정되지 않은 데이터를 학습하여 비지도 학습에 사용할 수 있습니다. 모델이 훈련되면 새로운 데이터를 생성하는 데 사용할 수 있습니다. 이렇게 생성된 데이터는 사람이나 다른 기계 학습 알고리즘에 의해 레이블이 지정될 수 있습니다. 이 프로세스는 생성 모델이 원하는 출력과 유사한 데이터를 생성하는 방법을 학습할 때까지 반복될 수 있습니다.

9. 랜덤 포레스트는 지도 학습과 비지도 학습 모두에 사용할 수 있는 기계 학습 알고리즘입니다.

비지도 학습의 경우 랜덤 포레스트는 유사한 항목 그룹을 찾아 이상값을 식별하고 데이터를 압축할 수 있습니다.

Random Forest는 지도 작업과 비지도 작업 모두에서 널리 사용되는 다른 기계 학습 알고리즘(예: 지원 벡터 기계)보다 뛰어난 성능을 발휘하는 것으로 입증되었습니다. 랜덤 포레스트는 많은 기능을 통해 고차원 데이터를 처리할 수 있기 때문에 비지도 학습을 위한 강력한 도구입니다. 또한 과적합에 저항합니다. 즉, 새로운 데이터에 대해 잘 일반화됩니다.

10. DBSCAN은 비지도 학습에 사용할 수 있는 밀도 기반 클러스터링 알고리즘입니다.

밀도, 즉 각 영역의 포인트 수를 기반으로 합니다. DBSCAN은 그룹 내의 포인트가 서로 가까이 있으면 포인트를 가리키고 더 멀리 떨어져 있으면 포인트를 무시합니다. DBSCAN은 다른 클러스터링 알고리즘에 비해 몇 가지 장점이 있습니다. 다양한 크기와 모양의 클러스터를 찾을 수 있으며 사용자가 미리 클러스터 수를 지정할 필요가 없습니다. 또한 DBSCAN은 이상값에 민감하지 않습니다. 즉, 다른 데이터세트에서 잘 표현되지 않는 데이터를 찾는 데 사용할 수 있습니다. 그러나 DBSCAN에도 몇 가지 단점이 있습니다. 예를 들어, 잡음이 매우 많은 데이터 세트에서 좋은 클러스터를 찾는 데 어려움을 겪을 수 있습니다. 또 다른 점은 DBSCAN에는 밀도 임계값이 필요하지만 모든 데이터 세트에 적용할 수는 없다는 것입니다.

11. Apriori 알고리즘은 연관, 빈발 항목 집합 및 순차 패턴을 찾는 데 사용됩니다.

Apriori 알고리즘은 최초의 연관 규칙 마이닝 알고리즘이자 가장 고전적인 알고리즘입니다. 먼저 데이터에서 모든 빈발 항목 집합을 찾은 다음 이러한 항목 집합을 사용하여 규칙을 생성하는 방식으로 작동합니다.

Apriori 알고리즘을 구현하는 방법은 다양하며 다양한 요구 사항에 맞게 맞춤 설정할 수 있습니다. 예를 들어 지원 및 신뢰 임계값을 제어하여 다양한 유형의 규칙을 찾을 수 있습니다.

12. Eclat 알고리즘은 거래 데이터베이스에서 빈번한 항목 집합을 마이닝하고 장바구니 분석, 침입 탐지 및 텍스트 마이닝에 사용할 수 있습니다.

Eclat 알고리즘은 수직 데이터 표현을 사용하는 깊이 우선 알고리즘이며 개념을 기반으로 합니다. 격자 이론 검색 공간(개념 격자)은 접두사 기반 등가 관계를 사용하여 더 작은 부분 공간(하위 개념 격자)으로 나뉩니다.

위 내용은 비지도 학습의 가장 중요한 12가지 알고리즘 소개 및 사용 사례 요약의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!