十個用於可解釋AI的Python庫

XAI的目標是為模型的行為和決定提供有意義的解釋，本文整理了目前能夠看到的10個用於可解釋AI的Python庫

什麼是XAI？

XAI，Explainable AI是指可以為人工智慧（AI）決策過程和預測提供清晰易懂的解釋的系統或策略。 XAI 的目標是為他們的行為和決策提供有意義的解釋，這有助於增加信任、提供問責制和模型決策的透明度。 XAI 不僅限於解釋，還以一種使推理更容易為使用者提取和解釋的方式進行 ML 實驗。

在實踐中，XAI 可以透過多種方法實現，例如使用特徵重要性度量、視覺化技術，或透過建立本質上可解釋的模型，例如決策樹或線性迴歸模型。方法的選擇取決於所解決問題的類型和所需的可解釋性等級。

AI 系統被用於越來越多的應用程序，包括醫療保健、金融和刑事司法，在這些應用程式中，AI 對人們生活的潛在影響很大，並且了解做出了決定特定原因至關重要。因為這些領域的錯誤決策成本很高（風險很高），所以XAI 變得越來越重要，因為即使是 AI 做出的決定也需要仔細檢查其有效性和可解釋性。

可解釋性實踐的步驟

#資料準備：這個階段包含資料的收集和處理。數據應該是高品質的、平衡的並且代表正在解決的現實問題。擁有平衡的、有代表性的、乾淨的數據可以減少未來為保持 AI 的可解釋性而付出的努力。

模型訓練：模型在準備好的資料上進行訓練，傳統的機器學習模型或深度學習神經網路都可以。模型的選擇取決於要解決的問題和所需的可解釋性等級。模型越簡單就越容易解釋結果，但是簡單模型的效能並不會很高。

模型評估：選擇適當的評估方法和效能指標對於維持模型的可解釋性是必要的。在此階段評估模型的可解釋性也很重要，這樣確保它能夠為其預測提供有意義的解釋。

解釋生成：這可以使用各種技術來完成，例如特徵重要性度量、視覺化技術，或透過建立固有的可解釋模型。

解釋驗證：驗證模型產生的解釋的準確性和完整性。這有助於確保解釋是可信的。

部署與監控：XAI 的工作不會在模型建立和驗證時結束。它需要在部署後進行持續的可解釋性工作。在真實環境中進行監控，定期評估系統的效能和可解釋性非常重要。

1、SHAP (SHapley Additive exPlanations)

SHAP是一種博弈論方法，可用來解釋任何機器學習模型的產出。它使用博弈論中的經典Shapley值及其相關擴展將最佳信用分配與本地解釋聯繫起來。

2、LIME（Local Interpretable Model-agnostic Explanations）

LIME 是一種與模型無關的方法，它透過圍繞特定預測在局部近似模型的行為來工作。 LIME 試圖解釋機器學習模型在做什麼。 LIME 支援解釋文字分類器、表格類別資料或影像的分類器的個別預測。

3、Eli5

ELI5是一個Python套件，它可以幫助除錯機器學習分類器並解釋它們的預測。它提供了以下機器學習框架和套件的支援:

• scikit-learn：ELI5可以解釋scikit-learn線性分類器和回歸器的權重和預測，可以將決策樹列印為文字或SVG，顯示特徵的重要性，並解釋決策樹和基於樹整合的預測。 ELI5也可以理解scikit-learn中的文字處理程序，並相應地突出顯示文字資料。
• Keras -透過Grad-CAM視覺化解釋影像分類器的預測。
• XGBoost -顯示特徵的重要性，解釋XGBClassifier, XGBRegressor和XGBoost . booster的預測。
• LightGBM -顯示特徵的重要性，解釋LGBMClassifier和LGBMRegressor的預測。
• CatBoost：顯示CatBoostClassifier和CatBoostRegressor的特徵重要性。
• lightning -解釋lightning 分類器和回歸器的權重和預測。
• sklearn-crfsuite。 ELI5允許檢查sklearn_crfsuite.CRF模型的權重。

基本用法：

Show_weights() 顯示模型的所有權重，Show_prediction() 可用來檢查模型的個別預測

ELI5也實作了一些檢查黑盒模型的演算法:

TextExplainer使用LIME演算法解釋任何文字分類器的預測。排列重要性法可用來計算黑盒估計器的特徵重要性。

4、Shapash

Shapash提供了幾種類型的視覺化，可以更容易理解模型。透過摘要來理解模型提出的決策。此計畫由MAIF資料科學家開發。 Shapash主要透過一組出色的視覺化來解釋模型。

Shapash透過web應用程式機制運作，與Jupyter/ipython可以完美的結合。

from shapash import SmartExplainer
 
 xpl = SmartExplainer(
 model=regressor,
 preprocessing=encoder, # Optional: compile step can use inverse_transform method
 features_dict=house_dict# Optional parameter, dict specifies label for features name
 )
 
 xpl.compile(x=Xtest,
y_pred=y_pred,
y_target=ytest, # Optional: allows to display True Values vs Predicted Values
)
 
 xpl.plot.contribution_plot("OverallQual")

5、Anchors

Anchors使用稱為錨點的高精度規則解釋複雜模型的行為，代表局部的「充分」預測條件。該演算法可以有效地計算任何具有高機率保證的黑盒模型的解釋。

Anchors可以被視為LIME v2，其中LIME的一些限制(例如不能為資料的不可見實例擬合模型)已經修正。 Anchors使用局部區域，而不是每個單獨的觀察點。它在計算上比SHAP輕量，因此可以用於高維或大數據集。但是有些限制是標籤只能是整數。

6、BreakDown

#BreakDown是一種可以用來解釋線性模型預測的工具。它的工作原理是將模型的輸出分解為每個輸入特徵的貢獻。這個包中有兩個主要方法。 Explainer()和Explanation()

model = tree.DecisionTreeRegressor()
 model = model.fit(train_data,y=train_labels)
 
 #necessary imports
 from pyBreakDown.explainer import Explainer
 from pyBreakDown.explanation import Explanation
 
 #make explainer object
 exp = Explainer(clf=model, data=train_data, colnames=feature_names)
 
 #What do you want to be explained from the data (select an observation)
 explanation = exp.explain(observation=data[302,:],direction="up")

7、Interpret-Text

Interpret-Text 結合了社群為NLP 模型開發的可解釋性技術和用於查看結果的可視化面板。可以在多個最先進的解釋器上運行實驗，並對它們進行比較分析。這個工具包可以在每個標籤上全域或在每個文件中本地解釋機器學習模型。

以下是此套件中可用的解釋器清單：

• Classical Text Explainer——（預設：邏輯迴歸的詞袋）
• Unified Information Explainer
• Introspective Rationale Explainer

#它的好處是支援CUDA，RNN和BERT等模式。並且可以為文件中特性的重要性產生一個面板

from interpret_text.widget import ExplanationDashboard
 from interpret_text.explanation.explanation import _create_local_explanation
 
 # create local explanation
 local_explanantion = _create_local_explanation(
 classification=True,
 text_explanation=True,
 local_importance_values=feature_importance_values,
 method=name_of_model,
 model_task="classification",
 features=parsed_sentence_list,
 classes=list_of_classes,
 )
 # Dash it
 ExplanationDashboard(local_explanantion)

8、aix360 (AI Explainability 360)

#AI Explainbability 360工具包是一個開源庫，這個包是由IBM開發的，在他們的平台上廣泛使用。 AI Explainability 360包含一套全面的演算法，涵蓋了不同維度的解釋以及代理解釋性指標。

工具包結合了以下論文中的演算法和指標：

• Towards Robust Interpretability with Self-Explaining Neural Networks, 2018. ref
• Boolean Decision Rules via Column Generation, 2018. ref
• Explanations Based on the Missing: Towards Contrastive Explanations with Pertinent Negatives, 2018. ref
• Improving Simple Models with Confidence Profiles, , 2018. ref
• Efficient Data Representation by Selecting Prototypes with Importance Weights, 2019. ref
• TED: Teaching AI to Explain Its Decisions, 2019. ref
• Variational Inference of Disentangled Latent Concepts from Unlabeled Data, 2018. ref
• Generating Contrastive Explanations with Monotonic Attribute Functions, 2019. ref
• Generalized Linear Rule Models, 2019. ref

9、OmniXAI

OmniXAI (Omni explable AI的缩写)，解决了在实践中解释机器学习模型产生的判断的几个问题。

它是一个用于可解释AI (XAI)的Python机器学习库，提供全方位的可解释AI和可解释机器学习功能，并能够解决实践中解释机器学习模型所做决策的许多痛点。OmniXAI旨在成为一站式综合库，为数据科学家、ML研究人员和从业者提供可解释的AI。

from omnixai.visualization.dashboard import Dashboard
 # Launch a dashboard for visualization
 dashboard = Dashboard(
instances=test_instances,# The instances to explain
local_explanations=local_explanations, # Set the local explanations
global_explanations=global_explanations, # Set the global explanations
prediction_explanations=prediction_explanations, # Set the prediction metrics
class_names=class_names, # Set class names
explainer=explainer# The created TabularExplainer for what if analysis
 )
 dashboard.show()

10、XAI (eXplainable AI)

XAI 库由 The Institute for Ethical AI & ML 维护，它是根据 Responsible Machine Learning 的 8 条原则开发的。它仍处于 alpha 阶段因此请不要将其用于生产工作流程。

以上是十個用於可解釋AI的Python庫的詳細內容。更多資訊請關注PHP中文網其他相關文章！