설명 가능한 인공 지능 시스템(XAI) 구축을 위한 6가지 권장 Python 프레임워크

AI는 블랙박스와 같아서 스스로 결정을 내릴 수 있지만 사람들은 그 이유를 모릅니다. AI 모델을 구축하고 데이터를 입력한 뒤 결과를 출력하는데, 한 가지 문제는 AI가 왜 그런 결론에 도달했는지 설명할 수 없다는 점이다. 맥락이나 설명 없이 출력되는 결과를 단순히 받아들이는 것이 아니라, AI가 어떤 결론에 도달하는지 그 이유를 이해할 필요가 있습니다.

통역성은 사람들의 이해를 돕기 위해 설계되었습니다.

• 어떻게 학습했나요?
• 무엇을 배웠나요?
• 특정 입력에 대해 결정을 내린 이유는 무엇인가요?
• 결정이 신뢰할 수 있나요? 이번 글에서는 해석성을 위한 6가지 Python 프레임워크를 소개하겠습니다.

SHAP

SHapley Additive explain(SHapley Additive explain)은 머신러닝 모델의 출력을 설명하기 위한 게임 이론 방법입니다. 이는 게임 이론 및 관련 확장의 고전적인 Shapley 값을 활용하여 최적의 학점 할당을 지역적 해석과 연관시킵니다(자세한 내용 및 인용은 논문 참조).

모델 예측에 대한 데이터 세트의 각 기능의 기여는 Shapley 값으로 설명됩니다. Lundberg와 Lee의 SHAP 알고리즘은 원래 2017년에 발표되었으며, 이 알고리즘은 다양한 분야에서 커뮤니티에서 널리 채택되었습니다.

pip 또는 conda를 사용하여 shap 라이브러리를 설치하세요.

# install with pippip install shap# install with condaconda install -c conda-forge shap

Shap 라이브러리를 사용하여 폭포형 차트 작성

Shap 라이브러리를 사용하여 Beeswarm 차트 작성

Shap 라이브러리를 사용하여 부분 종속성 그래프 작성

LIME

해석 가능성 분야에서는 가장 먼저 유명한 방법 중 하나는 LIME입니다. 이는 기계 학습 모델이 학습하는 내용과 특정 방식을 예측하는 이유를 설명하는 데 도움이 될 수 있습니다. Lime은 현재 표 형식 데이터, 텍스트 분류자 및 이미지 분류자의 해석을 지원합니다.

모델이 예측 방식을 예측하는 이유를 아는 것은 알고리즘을 조정하는 데 중요합니다. LIME의 설명을 보면 모델이 왜 이런 식으로 동작하는지 이해할 수 있습니다. 모델이 계획대로 실행되지 않으면 데이터 준비 단계에서 실수가 발생했을 가능성이 있습니다.

pip 설치 사용

pip install lime

LIME 기반 부분 설명 그래프

LIME 기반 Beeswarm 그래프

Shapash

" Shapash는 기계 학습을 누구나 해석 가능하고 액세스할 수 있게 만드는 도구입니다. 이해하다 Python 라이브러리는 누구나 이해할 수 있는 명확한 레이블을 보여주는 여러 유형의 시각화를 제공합니다. 데이터 과학자는 가장 표준적인 요약을 사용하여 모델을 더 쉽게 이해하고 결과를 공유할 수 있습니다.”

스토리가 포함된 결과를 표현하는 방법. , 데이터의 통찰력 및 모델, 상호 작용 및 아름다운 차트는 필수적입니다. 비즈니스 및 데이터 과학자/분석가가 AI/ML 결과를 제시하고 상호 작용하는 가장 좋은 방법은 이를 시각화하고 웹에 게시하는 것입니다. Shapash 라이브러리는 대화형 대시보드를 생성할 수 있으며 다양한 시각화 차트 모음을 갖추고 있습니다. 모양/석회 해석 가능성과 관련됩니다. SHAP/Lime을 백엔드로 사용할 수 있습니다. 이는 더 보기 좋은 차트만 제공한다는 의미입니다.

Shapash를 사용하여 기능 기여 그래프 구축

Shapash 라이브러리를 사용하여 생성된 대화형 대시보드

Shapash를 사용하여 구축된 부분 설명 그래프

InterpretML

InterpretML은 오픈 소스 Python 패키지입니다. 연구원 머신러닝 해석 알고리즘을 사용합니다. InterpretML은 해석 가능한 모델 학습(글래스박스)과 기존 ML 파이프라인 해석(블랙박스)을 지원합니다.

InterpretML은 두 가지 유형의 해석 가능성을 보여줍니다. 유리박스 모델 – 해석 가능성을 위해 설계된 기계 학습 모델(예: 선형 모델, 규칙 목록, 일반화된 추가 모델) 및 블랙 박스 해석 기술 – 해석 가능성 기존 시스템(예: 부분 종속성, LIME). 내장된 확장 가능한 시각화 플랫폼을 통해 통합 API를 사용하고 여러 방법을 캡슐화하는 이 패키지를 통해 연구자는 해석 가능성 알고리즘을 쉽게 비교할 수 있습니다. InterpretML에는 많은 블랙박스 모델만큼 정확할 수 있는 강력하고 해석 가능한 유리박스 모델인 Boosting Machine 설명의 첫 번째 구현도 포함되어 있습니다.

InterpretML을 사용하여 구축된 로컬 설명 대화형 플롯

InterpretML을 사용하여 구축된 전역 설명 플롯

ELI5

ELI5는 기계 학습 분류자를 디버깅하고 예측을 해석하는 데 도움이 되는 Python 라이브러리입니다. 현재 지원되는 기계 학습 프레임워크는 다음과 같습니다.

• scikit-learn
• 전 세계적으로 작동합니다.
• 모델의 개별 예측을 검사하고 모델이 어떤 결정을 내리는지 설명합니다.

• ELI5 라이브러리를 사용하여 전역 가중치 생성

ELI5 라이브러리를 사용하여 로컬 가중치 생성

OmniXAI

OmniXAI(Omni explain AI의 약자)는 최근에 개발되어 오픈 소스로 제공되는 Python 라이브러리입니다. 영업. 실제로 기계 학습 모델 생성 시 판단이 필요한 여러 문제를 해결하기 위해 설명 가능한 인공 지능과 설명 가능한 기계 학습 기능을 모두 제공합니다. ML 프로세스의 다양한 단계에서 다양한 유형의 데이터, 모델 및 설명 기술을 해석해야 하는 데이터 과학자, ML 연구원을 위해 OmniXAI는 설명 가능한 AI를 간단하게 만드는 원스톱 종합 라이브러리를 제공하고자 합니다.

다음은 OmniXAI가 제공하는 것과 다른 유사한 라이브러리를 비교한 것입니다

위 내용은 설명 가능한 인공 지능 시스템(XAI) 구축을 위한 6가지 권장 Python 프레임워크의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!