집 > 기사 > 기술 주변기기 > 또 다른 기계 학습 모델 해석 아티팩트: Shapash

또 다른 기계 학습 모델 해석 아티팩트: Shapash

WBOY앞으로: 2023-04-09 15:11:111270검색

Shapash란 무엇입니까

모델 해석 가능성과 이해 가능성은 많은 연구 논문과 오픈 소스 프로젝트의 초점이었습니다. 그리고 많은 프로젝트에는 데이터 전문가와 숙련된 전문가가 참여하고 있습니다.

Shapash는 대부분의 sklearn, lightgbm, xgboost, catboost 모델과 작동하며 분류 및 회귀 작업에 사용할 수 있습니다. Shap 백엔드를 활용하여 기능의 로컬 기여도를 계산하지만 이는 로컬 기여도를 계산하기 위한 다른 전략으로 대체될 수 있습니다. 데이터 과학자는 Shapash 해석기를 활용하여 모델을 조사하고 문제를 해결하거나 이를 배포하여 각 추론의 시각화를 제공할 수 있습니다. 또한 최종 고객과 기업가에게 엄청난 가치를 제공할 수 있는 웹 애플리케이션을 만드는 데에도 사용할 수 있습니다.

또 다른 기계 학습 모델 해석 아티팩트: Shapash

Shapash의 목표

1. 명확하고 합리적인 결과 표시

각 구성 요소 및 해당 패턴에 대한 레이블을 사용하여 플롯 및 출력:

또 다른 기계 학습 모델 해석 아티팩트: Shapash 2. 데이터 과학자 웹 애플리케이션을 사용하여 모델을 신속하게 이해하고 다양한 핵심 사항이 어떻게 진행되는지 이해함으로써 글로벌 이웃과 지역 이웃 사이를 쉽게 탐색할 수 있습니다.

shapash 라이브러리 webapp

또 다른 기계 학습 모델 해석 아티팩트: Shapash 3 요약 및 내보내기 설명

Shapash가 제공됩니다. 짧고 명확한 설명. Shapash 기능이 요약되고 명확하게 설명되므로 모든 고객은 배경에 관계없이 호스팅 모델에 대한 명확한 설명을 이해할 수 있습니다.

4. 전체 데이터 과학 보고서

또 다른 기계 학습 모델 해석 아티팩트: Shapash 전체 데이터 보고서는 여기에서 볼 수 있습니다: https://shapash-demo.ossbymaif.fr/

Shapash 기능

Shapash의 일부 기능은 다음과 같습니다.

1. 기계 학습 모델: 분류(이진 또는 다중 클래스 문제) 및 회귀 문제에 적합합니다. Catboost, Xgboost, LightGBM, Sklearn Ensemble, 선형 모델 및 SVM과 같은 여러 모델을 지원합니다.

2. 기능 인코딩: 원-핫 인코딩, 서수 인코딩, Base N 인코딩, 대상 인코딩 또는 이진 인코딩 등과 같은 데이터 세트의 범주형 기능을 처리하기 위한 다양한 인코딩 기술을 지원합니다.

3.SklearnColumnTransformer: OneHotEncoder, OrdinalEncoder, StandardScaler, QuantileTransformer 또는 PowerTransformer

4. 시각화: 결과를 쉽게 설명하고 이해하기 쉽고 명확한 결과를 표시할 수 있는 일련의 시각 효과를 제공합니다.

5. Lime, Shap과 호환됩니다. Shap 백엔드를 사용하여 단 몇 줄의 코드로 결과를 표시합니다.

6. 간결한 결과를 얻을 수 있도록 다양한 매개변수 옵션을 제공합니다.

7.Shapash는 설치 및 사용이 쉽습니다. 모델을 이해하고 간단한 구문으로 요약 및 명확화할 수 있는 SmartExplainer 클래스를 제공합니다.

8. 배포: 운영 용도에 대한 조사 및 배포(API 또는 배치 모드를 통해)가 중요합니다. 글로벌에서 로컬로 이동하는 웹 애플리케이션을 쉽게 생성할 수 있습니다.

9. 높은 다양성: 결과를 표시하려면 많은 인수가 필요합니다. 그러나 데이터를 더 많이 정리하고 보관할수록 최종 고객에게 더 명확한 결과가 제공됩니다.

Shapash 작동 방식

또 다른 기계 학습 모델 해석 아티팩트: Shapash Shapash는 기계 학습을 쉽게 이해하고 해석할 수 있게 해주는 Python 라이브러리입니다. 데이터 애호가는 자신의 모델을 쉽게 이해하고 공유할 수 있습니다. Shapash는 Lime과 Shap을 백엔드로 사용하여 단 몇 줄의 코드로 결과를 표시합니다. Shapash는 합리적인 결과를 만들기 위해 기계 학습 모델을 구축하는 데 있어 다양한 중요한 발전을 활용합니다. 아래 이미지는 shapash 패키지의 작업 흐름을 보여줍니다.

Shapash 작동 방식

작동 방식

먼저 데이터 준비, 기능 엔지니어링, 모델 피팅, 모델 평가, 모델 이해 등 각 단계의 요소를 컴파일합니다.
둘째, 모델을 더 잘 이해할 수 있도록 WebApp과 다이어그램을 제공합니다. 모델 결과를 고객과 공유하고 논의할 수 있습니다.
마지막으로 해석 가능성에 대한 요약을 제공합니다.

Installation

Shapash는 다음 코드를 사용하여 설치할 수 있습니다:

<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pip</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">install</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">shapash</span>

Jupyter 노트북의 경우: jupyter 노트북을 사용하고 있고 인라인 그래프를 보려면 다른 명령을 사용해야 합니다:

<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pip</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">install</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ipywidgets</span>

시작하기

여기서는 House Price Prediction 데이터 세트를 사용하여 Shapash를 살펴보겠습니다. 이는 회귀 문제이므로 주택 가격을 예측해야 합니다. 먼저 단변량 및 이변량 분석을 포함한 데이터 세트를 분석한 다음 기능 중요도, 기능 기여도, 로컬 및 비교 플롯, 모델 성능, 마지막으로 WebApp을 사용하여 해석 가능성을 모델화합니다.

데이터 세트 분석

단변량 분석

아래 이미지를 보면 1층 제곱피트라는 요소를 이해할 수 있습니다. 평균, 최대값, 최소값, 표준편차, 중앙값 등과 같은 훈련 및 테스트 데이터세트에 대한 다양한 통계를 보여주는 테이블을 볼 수 있습니다. 오른쪽 그림에서는 훈련 및 테스트 데이터 세트의 분포도를 볼 수 있습니다. Shapash는 또한 기능이 범주형인지 숫자형인지 언급하고 모든 기능을 사용할 수 있는 드롭다운 옵션도 제공합니다.

또 다른 기계 학습 모델 해석 아티팩트: Shapash

일변량 분석

범주형 특성의 경우 학습 및 테스트 데이터세트에 중복되지 않은 값과 누락된 값이 표시됩니다. 오른쪽에는 각 기능의 해당 카테고리 비율을 보여주는 막대 차트가 표시됩니다.

또 다른 기계 학습 모델 해석 아티팩트: Shapash

기능 카테고리

타겟 분석

판매가라는 타겟 변수에 대한 상세 분석도 보실 수 있습니다. 왼쪽에는 훈련 및 예측 데이터 세트에 대한 개수, 평균, 표준 편차, 최소값, 최대값, 중앙값 등과 같은 모든 통계가 표시됩니다. 오른쪽에는 훈련 및 예측 데이터 세트의 분포가 표시됩니다.

또 다른 기계 학습 모델 해석 아티팩트: Shapash

대상 분석

다변량 분석

위에서 단변량 분석에 대해 자세히 설명했습니다. 이번 장에서는 다변량 분석에 대해 살펴보겠습니다. 다음 그림은 훈련 및 테스트 데이터 세트의 처음 20개 기능에 대한 상관 행렬을 보여줍니다. 상관 척도는 다양한 색상을 기준으로 표시됩니다. 이것이 Shapash를 사용하여 기능 간의 관계를 시각화하는 방법입니다.

또 다른 기계 학습 모델 해석 아티팩트: Shapash

다변량 분석

모델 해석성

특성 중요도 도표

이 라이브러리를 사용하면 특성의 중요성을 확인할 수 있습니다. 특성 중요도는 출력 값을 예측할 때 입력 특성의 중요도를 찾는 방법입니다. 아래 그림은 기능 중요도 곡선을 보여줍니다.

또 다른 기계 학습 모델 해석 아티팩트: Shapash

Feature Importance Plot

Feature Contribution Plot

이 곡선은 기능이 예측에 어떤 영향을 미치는지, 기여도가 긍정적인지 부정적인지 등과 같은 질문에 대답하는 데 도움이 됩니다. 기다리다. 이 다이어그램은 모델 해석 가능성의 중요성, 즉 모델의 전반적인 일관성을 완성하여 모델에 대한 기능의 영향을 더 잘 이해할 수 있도록 해줍니다.

숫자 및 범주형 특성의 기여도를 볼 수 있습니다.

숫자 특성의 경우

또 다른 기계 학습 모델 해석 아티팩트: Shapash