ebook img

Practical Explainable AI Using Python: Artificial Intelligence Model Explanations Using Python-based Libraries, Extensions, and Frameworks PDF

356 Pages·2022·7.829 MB·English
Save to my drive
Quick download
Download
Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.

Preview Practical Explainable AI Using Python: Artificial Intelligence Model Explanations Using Python-based Libraries, Extensions, and Frameworks

Practical Explainable AI Using Python Artificial Intelligence Model Explanations Using Python-based Libraries, Extensions, and Frameworks — Pradeepta Mishra Practical Explainable AI Using Python Artificial Intelligence Model Explanations Using Python-based Libraries, Extensions, and Frameworks Pradeepta Mishra Practical Explainable AI Using Python Pradeepta Mishra Sobha Silicon Oasis, Bangalore, Karnataka, India ISBN-13 (pbk): 978-1-4842-7157-5 ISBN-13 (electronic): 978-1-4842-7158-2 https://doi.org/10.1007/978-1-4842-7158-2 Copyright © 2022 by Pradeepta Mishra This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission or information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now known or hereafter developed. Trademarked names, logos, and images may appear in this book. Rather than use a trademark symbol with every occurrence of a trademarked name, logo, or image we use the names, logos, and images only in an editorial fashion and to the benefit of the trademark owner, with no intention of infringement of the trademark. The use in this publication of trade names, trademarks, service marks, and similar terms, even if they are not identified as such, is not to be taken as an expression of opinion as to whether or not they are subject to proprietary rights. While the advice and information in this book are believed to be true and accurate at the date of publication, neither the authors nor the editors nor the publisher can accept any legal responsibility for any errors or omissions that may be made. The publisher makes no warranty, express or implied, with respect to the material contained herein. Managing Director, Apress Media LLC: Welmoed Spahr Acquisitions Editor: Divya Modi Development Editor: James Markham Coordinating Editor: Divya Modi Copyeditor: Mary Behr Cover designed by eStudioCalamar Cover image designed by Pixabay Distributed to the book trade worldwide by Springer Science+Business Media New York, 1 New York Plaza, Suite 4600, New York, NY 10004-1562, USA. Phone 1-800-SPRINGER, fax (201) 348-4505, e-mail [email protected], or visit www.springeronline.com. Apress Media, LLC is a California LLC and the sole member (owner) is Springer Science + Business Media Finance Inc (SSBM Finance Inc). SSBM Finance Inc is a Delaware corporation. For information on translations, please e-mail [email protected]; for reprint, paperback, or audio rights, please e-mail [email protected]. Apress titles may be purchased in bulk for academic, corporate, or promotional use. eBook versions and licenses are also available for most titles. For more information, reference our Print and eBook Bulk Sales web page at www.apress.com/bulk-sales. Any source code or other supplementary material referenced by the author in this book is available to readers on GitHub via the book's product page, located at www.apress.com/978- 1- 4842- 7157- 5. For more detailed information, please visit www.apress.com/source- code. Printed on acid-free paper I dedicate this book to my late father, who always inspired me to strive hard for the next level, to never settle, and to keep moving. Love you, dad; you would have felt proud of this book. To the three ladies in my life, my wife, Prajna, and my daughters, Aarya and Aadya, for always supporting me and loving me. Completing this book would not have been possible without their support. Table of Contents About the Author �����������������������������������������������������������������������������������������������������xi About the Technical Reviewers �����������������������������������������������������������������������������xiii Acknowledgments ���������������������������������������������������������������������������������������������������xv Introduction �����������������������������������������������������������������������������������������������������������xvii Chapter 1: Model Explainability and Interpretability ������������������������������������������������1 Establishing the Framework ���������������������������������������������������������������������������������������������������������1 Artificial Intelligence ���������������������������������������������������������������������������������������������������������������������2 Need for XAI �����������������������������������������������������������������������������������������������������������������������������3 Explainability vs� Interpretability ���������������������������������������������������������������������������������������������7 Explainability Types �����������������������������������������������������������������������������������������������������������������9 Tools for Model Explainability ������������������������������������������������������������������������������������������������10 SHAP ��������������������������������������������������������������������������������������������������������������������������������������10 LIME ���������������������������������������������������������������������������������������������������������������������������������������11 ELI5 ����������������������������������������������������������������������������������������������������������������������������������������12 Skater ������������������������������������������������������������������������������������������������������������������������������������13 Skope_rules ��������������������������������������������������������������������������������������������������������������������������14 Methods of XAI for ML �����������������������������������������������������������������������������������������������������������15 XAI Compatible Models ����������������������������������������������������������������������������������������������������������17 XAI Meets Responsible AI ������������������������������������������������������������������������������������������������������18 Evaluation of XAI ��������������������������������������������������������������������������������������������������������������������20 Conclusion ����������������������������������������������������������������������������������������������������������������������������������22 v Table of ConTenTs Chapter 2: AI Ethics, Biasness, and Reliability �������������������������������������������������������23 AI Ethics Primer ��������������������������������������������������������������������������������������������������������������������������23 Biasness in AI ������������������������������������������������������������������������������������������������������������������������������26 Data Bias �������������������������������������������������������������������������������������������������������������������������������������26 Algorithmic Bias ��������������������������������������������������������������������������������������������������������������������������27 Bias Mitigation Process ��������������������������������������������������������������������������������������������������������������27 Interpretation Bias ����������������������������������������������������������������������������������������������������������������������28 Training Bias �������������������������������������������������������������������������������������������������������������������������������28 Reliability in AI ����������������������������������������������������������������������������������������������������������������������������33 Conclusion ����������������������������������������������������������������������������������������������������������������������������������34 Chapter 3: Explainability for Linear Models �����������������������������������������������������������35 Linear Models �����������������������������������������������������������������������������������������������������������������������������35 Linear Regression �����������������������������������������������������������������������������������������������������������������������35 VIF and the Problems It Can Generate ����������������������������������������������������������������������������������������45 Final Model ����������������������������������������������������������������������������������������������������������������������������50 Model Explainability ��������������������������������������������������������������������������������������������������������������51 Trust in ML Model: SHAP �������������������������������������������������������������������������������������������������������������52 Local Explanation and Individual Predictions in a ML Model �������������������������������������������������57 Global Explanation and Overall Predictions in ML Model ������������������������������������������������������60 LIME Explanation and ML Model �������������������������������������������������������������������������������������������������64 Skater Explanation and ML Model ����������������������������������������������������������������������������������������������69 ELI5 Explanation and ML Model ��������������������������������������������������������������������������������������������������72 Logistic Regression ���������������������������������������������������������������������������������������������������������������������73 Interpretation �������������������������������������������������������������������������������������������������������������������������84 LIME Inference �����������������������������������������������������������������������������������������������������������������������84 Conclusion ����������������������������������������������������������������������������������������������������������������������������������92 Chapter 4: Explainability for Non- Linear Models ����������������������������������������������������93 Non-Linear Models ����������������������������������������������������������������������������������������������������������������������93 Decision Tree Explanation �����������������������������������������������������������������������������������������������������������95 vi Table of ConTenTs Data Preparation for the Decision Tree Model �����������������������������������������������������������������������������97 Creating the Model ��������������������������������������������������������������������������������������������������������������100 Decision Tree – SHAP ����������������������������������������������������������������������������������������������������������������108 Partial Dependency Plot ������������������������������������������������������������������������������������������������������������109 PDP Using Scikit-Learn �������������������������������������������������������������������������������������������������������������117 Non-Linear Model Explanation – LIME ��������������������������������������������������������������������������������������121 Non-Linear Explanation – Skope-Rules ������������������������������������������������������������������������������������125 Conclusion ��������������������������������������������������������������������������������������������������������������������������������127 Chapter 5: Explainability for Ensemble Models ����������������������������������������������������129 Ensemble Models ����������������������������������������������������������������������������������������������������������������������129 Types of Ensemble Models ��������������������������������������������������������������������������������������������������130 Why Ensemble Models? ������������������������������������������������������������������������������������������������������������131 Using SHAP for Ensemble Models ���������������������������������������������������������������������������������������������134 Using the Interpret Explaining Boosting Model �������������������������������������������������������������������������140 Ensemble Classification Model: SHAP ���������������������������������������������������������������������������������������146 Using SHAP to Explain Categorical Boosting Models ����������������������������������������������������������������154 Using SHAP Multiclass Categorical Boosting Model �����������������������������������������������������������������161 Using SHAP for Light GBM Model Explanation ��������������������������������������������������������������������������163 Conclusion ��������������������������������������������������������������������������������������������������������������������������������168 Chapter 6: Explainability for Time Series Models �������������������������������������������������169 Time Series Models �������������������������������������������������������������������������������������������������������������������169 Knowing Which Model Is Good ��������������������������������������������������������������������������������������������������172 Strategy for Forecasting ������������������������������������������������������������������������������������������������������172 Confidence Interval of Predictions ���������������������������������������������������������������������������������������173 What Happens to Trust? ������������������������������������������������������������������������������������������������������������174 Time Series: LIME ���������������������������������������������������������������������������������������������������������������������188 Conclusion ��������������������������������������������������������������������������������������������������������������������������������192 vii Table of ConTenTs Chapter 7: Explainability for NLP ��������������������������������������������������������������������������193 Natural Language Processing Tasks �����������������������������������������������������������������������������������������194 Explainability for Text Classification ������������������������������������������������������������������������������������������194 Dataset for Text Classification ���������������������������������������������������������������������������������������������������195 Explaining Using ELI5 ����������������������������������������������������������������������������������������������������������������197 Calculating the Feature Weights for Local Explanation �������������������������������������������������������������198 Local Explanation Example 1 �����������������������������������������������������������������������������������������������199 Local Explanation Example 2 �����������������������������������������������������������������������������������������������200 Local Explanation Example 3 �����������������������������������������������������������������������������������������������200 Explanation After Stop Word Removal ���������������������������������������������������������������������������������201 N-gram-Based Text Classification ���������������������������������������������������������������������������������������������205 Multi-Class Label Text Classification Explainability ������������������������������������������������������������������210 Local Explanation Example 1 �����������������������������������������������������������������������������������������������215 Local Explanation Example 2 �����������������������������������������������������������������������������������������������217 Local Explanation Example 1 �����������������������������������������������������������������������������������������������219 Conclusion ��������������������������������������������������������������������������������������������������������������������������������227 Chapter 8: AI Model Fairness Using a What-If Scenario ���������������������������������������229 What Is the WIT? �����������������������������������������������������������������������������������������������������������������������229 Installing the WIT ����������������������������������������������������������������������������������������������������������������������231 Evaluation Metric �����������������������������������������������������������������������������������������������������������������242 Conclusion ��������������������������������������������������������������������������������������������������������������������������������242 Chapter 9: Explainability for Deep Learning Models���������������������������������������������243 Explaining DL Models ����������������������������������������������������������������������������������������������������������������243 Using SHAP with DL ������������������������������������������������������������������������������������������������������������������246 Using Deep SHAP �����������������������������������������������������������������������������������������������������������������247 Using Alibi ����������������������������������������������������������������������������������������������������������������������������247 SHAP Explainer for Deep Learning ��������������������������������������������������������������������������������������251 Another Example of Image Classification ����������������������������������������������������������������������������253 viii Table of ConTenTs Using SHAP ��������������������������������������������������������������������������������������������������������������������������257 Deep Explainer for Tabular Data ������������������������������������������������������������������������������������������260 Conclusion ��������������������������������������������������������������������������������������������������������������������������������263 Chapter 10: Counterfactual Explanations for XAI Models �������������������������������������265 What Are CFEs? �������������������������������������������������������������������������������������������������������������������������265 Implementation of CFEs ������������������������������������������������������������������������������������������������������������266 CFEs Using Alibi ������������������������������������������������������������������������������������������������������������������������266 Counterfactual for Regression Tasks ����������������������������������������������������������������������������������������275 Conclusion ��������������������������������������������������������������������������������������������������������������������������������278 Chapter 11: Contrastive Explanations for Machine Learning �������������������������������279 What Is CE for ML? ��������������������������������������������������������������������������������������������������������������������279 CEM Using Alibi �������������������������������������������������������������������������������������������������������������������������280 Comparison of an Original Image vs� an Autoencoder- Generated Image ����������������������������286 CEM for Tabular Data Explanations ��������������������������������������������������������������������������������������292 Conclusion ��������������������������������������������������������������������������������������������������������������������������������298 Chapter 12: Model-Agnostic Explanations by Identifying Prediction Invariance �������������������������������������������������������������������������������������������299 What Is Model Agnostic? �����������������������������������������������������������������������������������������������������������299 What Is an Anchor? �������������������������������������������������������������������������������������������������������������������300 Anchor Explanations Using Alibi ������������������������������������������������������������������������������������������������300 Anchor Text for Text Classification ���������������������������������������������������������������������������������������306 Anchor Image for Image Classification �������������������������������������������������������������������������������������309 Conclusion ��������������������������������������������������������������������������������������������������������������������������������314 Chapter 13: Model Explainability for Rule-Based Expert Systems �����������������������315 What Is an Expert System? �������������������������������������������������������������������������������������������������������315 Backward and Forward Chaining ����������������������������������������������������������������������������������������316 Rule Extraction Using Scikit-Learn ��������������������������������������������������������������������������������������317 Conclusion ��������������������������������������������������������������������������������������������������������������������������������326 ix Table of ConTenTs Chapter 14: Model Explainability for Computer Vision �����������������������������������������327 Why Explainability for Image Data? ������������������������������������������������������������������������������������������327 Anchor Image Using Alibi �����������������������������������������������������������������������������������������������������328 Integrated Gradients Method �����������������������������������������������������������������������������������������������329 Conclusion ��������������������������������������������������������������������������������������������������������������������������������334 Index ���������������������������������������������������������������������������������������������������������������������335 x

See more

The list of books you might like

Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.