ebook img

Interpreting Machine Learning Models PDF

355 Pages·2022·13.015 MB·English
Save to my drive
Quick download
Download
Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.

Preview Interpreting Machine Learning Models

Interpreting Machine Learning Models Learn Model Interpretability and Explainability Methods — Anirban Nandi Aditya Kumar Pal Interpreting Machine Learning Models Learn Model Interpretability and Explainability Methods Anirban Nandi Aditya Kumar Pal Interpreting Machine Learning Models: Learn Model Interpretability and Explainability Methods Anirban Nandi Aditya Kumar Pal Bangalore, India Bangalore, India ISBN-13 (pbk): 978-1-4842-7801-7 ISBN-13 (electronic): 978-1-4842-7802-4 https://doi.org/10.1007/978-1-4842-7802-4 Copyright © 2022 by Anirban Nandi and Aditya Kumar Pal This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission or information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now known or hereafter developed. Trademarked names, logos, and images may appear in this book. Rather than use a trademark symbol with every occurrence of a trademarked name, logo, or image we use the names, logos, and images only in an editorial fashion and to the benefit of the trademark owner, with no intention of infringement of the trademark. The use in this publication of trade names, trademarks, service marks, and similar terms, even if they are not identified as such, is not to be taken as an expression of opinion as to whether or not they are subject to proprietary rights. While the advice and information in this book are believed to be true and accurate at the date of publication, neither the authors nor the editors nor the publisher can accept any legal responsibility for any errors or omissions that may be made. The publisher makes no warranty, express or implied, with respect to the material contained herein. Managing Director, Apress Media LLC: Welmoed Spahr Acquisitions Editor: Celestin Suresh John Development Editor: James Markham Coordinating Editor: Shrikant Vishwakarma Copyeditor: Kim Burton Wiseman Cover designed by eStudioCalamar Cover image designed by Pexels Distributed to the book trade worldwide by Springer Science+Business Media LLC, 1 New York Plaza, Suite 4600, New York, NY 10004. Phone 1-800-SPRINGER, fax (201) 348-4505, e-mail [email protected], or visit www.springeronline.com. Apress Media, LLC is a California LLC and the sole member (owner) is Springer Science + Business Media Finance Inc (SSBM Finance Inc). SSBM Finance Inc is a Delaware corporation. For information on translations, please e-mail [email protected]; for reprint, paperback, or audio rights, please e-mail [email protected]. Apress titles may be purchased in bulk for academic, corporate, or promotional use. eBook versions and licenses are also available for most titles. For more information, reference our Print and eBook Bulk Sales web page at http://www.apress.com/bulk-sales. Any source code or other supplementary material referenced by the author in this book is available to readers on GitHub via the book’s product page, located at www.apress.com/978- 1- 4842- 7801- 7. For more detailed information, please visit http://www.apress.com/source- code. Printed on acid-free paper I would like to dedicate this book to my wife Madhuparna, who pushes me to “aim for the moon” and then outdo my achievements, and my family members and friends who always guide and support me during the good and the difficult times —Anirban I would like to dedicate this book to my sister Rati, who constantly motivates me to work hard and never give up —Aditya Table of Contents About the Authors ��������������������������������������������������������������������������������������������������xvii About the Technical Reviewers ������������������������������������������������������������������������������xix Acknowledgments ��������������������������������������������������������������������������������������������������xxi Introduction ����������������������������������������������������������������������������������������������������������xxiii Chapter 1: The Evolution of Machine Learning ���������������������������������������������������������1 Defining Machine Learning �����������������������������������������������������������������������������������������������������������1 The Evolution of Machine Learning �����������������������������������������������������������������������������������������������2 Learning a Machine Learning Algorithm ���������������������������������������������������������������������������������������4 Piece It Together ����������������������������������������������������������������������������������������������������������������������4 Focus on Specific Algorithm Descriptions �������������������������������������������������������������������������������5 Design an Algorithm Description Template ������������������������������������������������������������������������������5 Start Small and Build It Up ������������������������������������������������������������������������������������������������������6 Investigating Machine Learning Algorithm Behavior ��������������������������������������������������������������������7 Step 1� Select an Algorithm �����������������������������������������������������������������������������������������������������7 Step 2� Identify a Question ������������������������������������������������������������������������������������������������������7 Step 3� Design the Experiment ������������������������������������������������������������������������������������������������8 Step 4� Execute the Experiment and Report Results ���������������������������������������������������������������8 Step 5� Repeat �������������������������������������������������������������������������������������������������������������������������9 What Does Machine Learning Model Accuracy Mean? �����������������������������������������������������������������9 Why Model Accuracy Is Not Enough ��������������������������������������������������������������������������������������������10 Summary�������������������������������������������������������������������������������������������������������������������������������������14 v Table of ConTenTs Chapter 2: Introduction to Model Interpretability ���������������������������������������������������15 Humans Are Explanation Hungry ������������������������������������������������������������������������������������������������15 Explanations in Machine Learning ����������������������������������������������������������������������������������������������17 What Are Black-Box Models? ������������������������������������������������������������������������������������������������������21 What Is Interpretability? ��������������������������������������������������������������������������������������������������������������24 The Motivation Behind Interpretability ����������������������������������������������������������������������������������������26 To Make Better Decisions ������������������������������������������������������������������������������������������������������26 To Eliminate Bias �������������������������������������������������������������������������������������������������������������������27 To Justify Processes ��������������������������������������������������������������������������������������������������������������27 To Reproduce Operations ������������������������������������������������������������������������������������������������������28 Displacement Strategy ����������������������������������������������������������������������������������������������������������28 To Determine Practical Accuracy �������������������������������������������������������������������������������������������28 To Maintain Privacy ���������������������������������������������������������������������������������������������������������������29 To Understand Security Risks ������������������������������������������������������������������������������������������������29 The Research Behind Interpretability ������������������������������������������������������������������������������������������29 Summary�������������������������������������������������������������������������������������������������������������������������������������34 Chapter 3: Machine Learning Interpretability Taxonomy ���������������������������������������35 Scope-related Types of Post hoc Model Interpretability��������������������������������������������������������������37 Global Model Interpretability on a Holistic Level �������������������������������������������������������������������37 Local Model Interpretability ���������������������������������������������������������������������������������������������������38 A Group of Predictions ����������������������������������������������������������������������������������������������������������������39 Model-related Types of Post hoc Model Interpretability ��������������������������������������������������������������39 Result-related Types of Post hoc Model Interpretability ��������������������������������������������������������40 Categorizing Common Classes of Explainability Methods �����������������������������������������������������41 Summary�������������������������������������������������������������������������������������������������������������������������������������42 vi Table of ConTenTs Chapter 4: Common Properties of Explanations Generated by Interpretability Methods �����������������������������������������������������������������������������������������45 Explanation Defined ��������������������������������������������������������������������������������������������������������������������46 Properties of Explanation Methods ���������������������������������������������������������������������������������������������47 Template of Expression ���������������������������������������������������������������������������������������������������������47 Transparency �������������������������������������������������������������������������������������������������������������������������47 Mobility ����������������������������������������������������������������������������������������������������������������������������������48 Algorithmic Feasibility �����������������������������������������������������������������������������������������������������������48 Properties of Individual Explanations ������������������������������������������������������������������������������������������48 Correctness ���������������������������������������������������������������������������������������������������������������������������48 Loyalty �����������������������������������������������������������������������������������������������������������������������������������49 Dependability �������������������������������������������������������������������������������������������������������������������������49 Resoluteness �������������������������������������������������������������������������������������������������������������������������49 Lucidness ������������������������������������������������������������������������������������������������������������������������������49 Reliability �������������������������������������������������������������������������������������������������������������������������������50 Significance ���������������������������������������������������������������������������������������������������������������������������50 Originality ������������������������������������������������������������������������������������������������������������������������������50 Representativeness ���������������������������������������������������������������������������������������������������������������50 Human-Friendly Explanations �����������������������������������������������������������������������������������������������������51 Contrastiveness ���������������������������������������������������������������������������������������������������������������������51 Selectivity ������������������������������������������������������������������������������������������������������������������������������51 Social �������������������������������������������������������������������������������������������������������������������������������������52 Focus on the Abnormal ����������������������������������������������������������������������������������������������������������52 Truthful ����������������������������������������������������������������������������������������������������������������������������������52 Consistent with Prior Beliefs �������������������������������������������������������������������������������������������������52 General and Probable ������������������������������������������������������������������������������������������������������������53 Summary�������������������������������������������������������������������������������������������������������������������������������������53 vii Table of ConTenTs Chapter 5: Human Factors in Model Interpretability ����������������������������������������������55 Interpretability Roles �������������������������������������������������������������������������������������������������������������������55 Technical Expertise Builders��������������������������������������������������������������������������������������������������56 Domain Knowledge Reviewers ����������������������������������������������������������������������������������������������56 Stakeholders or End Users ����������������������������������������������������������������������������������������������������56 Interpretability Stages �����������������������������������������������������������������������������������������������������������������57 Ideation and Conceptualization Stage �����������������������������������������������������������������������������������57 Building and Validation Stage ������������������������������������������������������������������������������������������������58 Deployment, Maintenance, and Use Stage ����������������������������������������������������������������������������59 Interpretability Goals �������������������������������������������������������������������������������������������������������������������61 Interpretability for Model Validation and Improvement ���������������������������������������������������������61 Interpretability for Decision-Making and Knowledge Discovery �������������������������������������������62 Interpretability to Gain Confidence and Obtain Trust �������������������������������������������������������������62 Human-Friendly Themes Characterizing Interpretability Work ���������������������������������������������������63 Interpretability Is Cooperative �����������������������������������������������������������������������������������������������63 Interpretability Is Process ������������������������������������������������������������������������������������������������������64 Interpretability Is a Mental Model Comparison ����������������������������������������������������������������������65 Interpretability Is Context-Dependent ������������������������������������������������������������������������������������65 Design Opportunities for Interpretability Challenges ������������������������������������������������������������������65 Identifying, Representing, and Integrating Human Expectations �������������������������������������������65 Communicating and Summarizing Model Behavior���������������������������������������������������������������66 Scalable and Integrable Interpretability Tools �����������������������������������������������������������������������66 Post-Deployment Support �����������������������������������������������������������������������������������������������������67 Summary�������������������������������������������������������������������������������������������������������������������������������������67 Chapter 6: Explainability Facts: A Framework for Systematic Assessment of Explainable Approaches �����������������������������������������������������������������69 Explainability Facts List Dimensions �������������������������������������������������������������������������������������������70 Functional Requirements ������������������������������������������������������������������������������������������������������������71 F1: Problem Supervision Level ����������������������������������������������������������������������������������������������71 F2: Problem Type �������������������������������������������������������������������������������������������������������������������71 viii Table of ConTenTs F3: Explanation Target �����������������������������������������������������������������������������������������������������������71 F4: Explanation Breadth/Scope ���������������������������������������������������������������������������������������������72 F5: Computational Complexity �����������������������������������������������������������������������������������������������72 F6: Applicable Model Class ����������������������������������������������������������������������������������������������������72 F7: Relation to the Predictive System ������������������������������������������������������������������������������������72 F8: Compatible Feature Types������������������������������������������������������������������������������������������������73 F9: Caveats and Assumptions ������������������������������������������������������������������������������������������������73 Operational Requirements ����������������������������������������������������������������������������������������������������������73 O1: Explanation Family ����������������������������������������������������������������������������������������������������������73 O2: Explanatory Medium��������������������������������������������������������������������������������������������������������74 O3: System Interaction ����������������������������������������������������������������������������������������������������������74 O4: Explanation Domain���������������������������������������������������������������������������������������������������������75 O5: Data and Model Transparency �����������������������������������������������������������������������������������������75 O6: Explanation Audience ������������������������������������������������������������������������������������������������������75 O7: Function of the Explanation ���������������������������������������������������������������������������������������������76 O8: Causality vs� Actionability ������������������������������������������������������������������������������������������������76 O9: Trust vs� Performance �����������������������������������������������������������������������������������������������������76 Usability Requirements ���������������������������������������������������������������������������������������������������������������76 U1: Soundness �����������������������������������������������������������������������������������������������������������������������77 U2: Completeness ������������������������������������������������������������������������������������������������������������������77 U3: Contextfullness ����������������������������������������������������������������������������������������������������������������77 U4: Interactiveness ����������������������������������������������������������������������������������������������������������������77 U5: Actionability ���������������������������������������������������������������������������������������������������������������������78 U6: Novelty�����������������������������������������������������������������������������������������������������������������������������78 U7: Complexity �����������������������������������������������������������������������������������������������������������������������78 U8: Personalization ����������������������������������������������������������������������������������������������������������������79 Safety Requirements �������������������������������������������������������������������������������������������������������������������79 S1: Information Leakage��������������������������������������������������������������������������������������������������������79 S2: Explanation Misuse ���������������������������������������������������������������������������������������������������������80 S3: Explanation Invariance ����������������������������������������������������������������������������������������������������80 ix Table of ConTenTs Validation Requirements �������������������������������������������������������������������������������������������������������������80 Summary�������������������������������������������������������������������������������������������������������������������������������������82 Chapter 7: Interpretable ML and Explainable ML Differences ��������������������������������83 Interpretable ML and Explainable ML Basics ������������������������������������������������������������������������������83 Analyzing the Decision Tree ���������������������������������������������������������������������������������������������������84 Digging Deeper ����������������������������������������������������������������������������������������������������������������������85 Key Issues with Explainable ML ��������������������������������������������������������������������������������������������������87 Trade-offs Between Accuracy and Interpretability ����������������������������������������������������������������87 Beware of the Unfaithful ��������������������������������������������������������������������������������������������������������88 Not Enough Detail ������������������������������������������������������������������������������������������������������������������88 Key Issues with Interpretable ML ������������������������������������������������������������������������������������������������89 Profits vs� Losses�������������������������������������������������������������������������������������������������������������������89 Efforts to Construct����������������������������������������������������������������������������������������������������������������90 Hidden Patterns ���������������������������������������������������������������������������������������������������������������������90 Explanatory and Predictive Modeling ������������������������������������������������������������������������������������������90 Explaining or Predicting: The Key Differences Between Two Choices �����������������������������������91 Validation, Model Evaluation, and Model Selection ���������������������������������������������������������������������93 Validation �������������������������������������������������������������������������������������������������������������������������������93 Model Selection ���������������������������������������������������������������������������������������������������������������������94 Model Use and Reporting Explanatory Models ����������������������������������������������������������������������94 Summary�������������������������������������������������������������������������������������������������������������������������������������95 Chapter 8: The Framework of Model Explanations �������������������������������������������������97 Data Sets at a Glance ������������������������������������������������������������������������������������������������������������������97 Types of Frameworks for Tabular Data����������������������������������������������������������������������������������������99 Feature Importance (FI) ���������������������������������������������������������������������������������������������������������99 Predictive Power of Feature Subsets ����������������������������������������������������������������������������������100 Additive Importance Measures ��������������������������������������������������������������������������������������������102 Removal-based Explanations for Feature Importance ���������������������������������������������������������103 Feature Removal ������������������������������������������������������������������������������������������������������������������106 x

See more

The list of books you might like

Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.