Instructional Design Principles for High-Stakes Problem-Solving Environments

174 Pages·2019·2.339 MB·English

by  Chwee Beng Lee, José Hanham, Jimmie Leppink

Chwee Beng Lee · José Hanham 
Jimmie Leppink
Instructional
Design Principles
for High-Stakes
Problem-Solving
Environments
Instructional Design Principles for High-Stakes
Problem-Solving Environments
Chwee Beng Lee • José Hanham
Jimmie Leppink
Instructional Design
Principles for High-Stakes
Problem-Solving
Environments
Chwee Beng Lee José Hanham
Western Sydney University Western Sydney University
Penrith, NSW, Australia Penrith, NSW, Australia
Jimmie Leppink
Maastricht University
Maastricht, The Netherlands
ISBN 978-981-13-2807-7 ISBN 978-981-13-2808-4 (eBook)
https://doi.org/10.1007/978-981-13-2808-4
Library of Congress Control Number: 2018958312
© Springer Nature Singapore Pte Ltd. 2019
This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of
the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation,
broadcasting, reproduction on microfilms or in any other physical way, and transmission or information
storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology
now known or hereafter developed.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this publication
does not imply, even in the absence of a specific statement, that such names are exempt from the relevant
protective laws and regulations and therefore free for general use.
The publisher, the authors, and the editors are safe to assume that the advice and information in this book
are believed to be true and accurate at the date of publication. Neither the publisher nor the authors or the
editors give a warranty, express or implied, with respect to the material contained herein or for any errors
or omissions that may have been made. The publisher remains neutral with regard to jurisdictional claims
in published maps and institutional affiliations.
This Springer imprint is published by the registered company Springer Nature Singapore Pte Ltd.
The registered company address is: 152 Beach Road, #21-01/04 Gateway East, Singapore 189721,
Singapore
Contents
1 Introduction: Problem Solving in High- Stakes Learning
Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
José Hanham, Chwee Beng Lee, and Jimmie Leppink
Different Types of Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Variation Within and Between Domains . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Commonalities Across Domains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Audience for This Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Organisation of the Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Part I Theoretical Foundations
2 Human Cognitive Architecture Through the Lens of Cognitive
Load Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Jimmie Leppink and José Hanham
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Long-Term Memory or the Information Store . . . . . . . . . . . . . . . . . . . . . 10
Biologically Primary and Secondary Knowledge . . . . . . . . . . . . . . . . . 10
Schema Construction and Automation . . . . . . . . . . . . . . . . . . . . . . . . . 11
Working Memory or the Conscious Information Processing Centre . . . . 11
Learning Through the Lens of Cognitive Load Theory . . . . . . . . . . . . . . 13
Principles that Should Inform the Design of Education
and Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Element Interactivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Types of Cognitive Load Distinguished Since the Conception
of Cognitive Load Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Intrinsic Cognitive Load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Extraneous Cognitive Load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Germane Cognitive Load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
v
vi Contents
Essential and Nonessential Cognitive Load as Two Additive Types
of Cognitive Load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Goal Specificity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Parsimony . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Empirical Evidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3 Expertise and Problem Solving in High- Stakes Environments . . . . . 25
José Hanham and Jimmie Leppink
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Practice and Experience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Trained Intuition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Standard Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Deliberate Practice and Intuition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Pattern Recognition and Deliberate Processing . . . . . . . . . . . . . . . . . . . . 29
Intuition and Reflective Thinking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Heuristics and Biases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Fractional Expertise and Transfer of Knowledge . . . . . . . . . . . . . . . . . 31
Expertise and Adaptation to Unknown Territory . . . . . . . . . . . . . . . . . . . 32
Same Origin but Different Trajectory . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Dealing with Dynamicity and Uncertainty . . . . . . . . . . . . . . . . . . . . . . 33
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Part II H igh-Stakes Domains
4 Problem Solving in the Security Context . . . . . . . . . . . . . . . . . . . . . . . 43
Chwee Beng Lee and Jimmie Leppink
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Changing Landscape . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Increased International and Regional Collaboration . . . . . . . . . . . . . . . 44
Cyber Security and Social Media . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Increasing Responsibilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Growing Diversity in Activities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Instruction in an Ever-Evolving Environment . . . . . . . . . . . . . . . . . . . 46
Cognitive Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Severity and Risk Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Situation Awareness and Flexibility . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Implications for Instructional Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Sequencing of Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Learners as Designers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Time, Collaboration and Technology . . . . . . . . . . . . . . . . . . . . . . . . . . 51
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Contents vii
5 Mental Processes in Emergency Medicine . . . . . . . . . . . . . . . . . . . . . . 55
Jimmie Leppink and José Hanham
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Factors That Influence Cognitive Load and How That Cognitive
Load Is Dealt With . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Emergency Setting Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Dealing with Emergency Setting Features (1): Multitasking . . . . . . . . 57
Dealing with Emergency Setting Features (2): Emotion, Stress
and Fatigue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
How to Reduce Cognitive Load and the Likelihood of Error With It . . . . 58
Actions to Facilitate Communication . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Closed-Loop Communication and Checklists to Facilitate
Decision Making . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Developing Effective Task Switching Skills . . . . . . . . . . . . . . . . . . . . . 60
The Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6 Decision Making in Aviation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
José Hanham and Jimmie Leppink
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
Loss of Control – Inflight . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
High Cognitive Load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Selective Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Characteristics of Experienced Pilots . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Experienced Pilots Are Not Immune to Error . . . . . . . . . . . . . . . . . . . . . . 67
Standardised and Nonstandardised Procedures . . . . . . . . . . . . . . . . . . 68
Prospective Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Checks and Omissions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
Cognitive Shortcuts: A Blessing and a Curse . . . . . . . . . . . . . . . . . . . . . . 70
Cockpit Design Advancements and Automation . . . . . . . . . . . . . . . . . . . 71
Proximity Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Pictorial Realism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Judgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Predictive Aiding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Automation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Mode Awareness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Transitions from Novice to Intermediate and from Intermediate
to Expert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Communication and Checklist Training . . . . . . . . . . . . . . . . . . . . . . . . 75
Sequencing of Learning in Simulation . . . . . . . . . . . . . . . . . . . . . . . . . 76
Learning to Prioritise and Select . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Stress Exposure Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
viii Contents
7 The Complexities of Problem Solving in Mental Health
Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
José Hanham
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Diagnostic Decision Making . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Illustrative Example of a Behavioural Emergency . . . . . . . . . . . . . . . . 85
Clinical Expertise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Approaches to Obtaining Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Mechanical Prediction Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
Stress Exposure Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
Case-Based Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
8 Design Problem in Engineering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Chwee Beng Lee
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
The Engineering Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Design Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
The Risks of Engineering Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Solving Engineering Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Implications for Instructional Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Problem-Based Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Model-Eliciting Activities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Multifaceted Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Creative Engineers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Critical Elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Part III D esign and Analysis
9 Understanding the Learners . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Chwee Beng Lee and José Hanham
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Analysing Learners . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
Analysing Learners for High-Stakes Learning Environments . . . . . . . . . 113
General Characteristics and Dynamic Information . . . . . . . . . . . . . . . . 114
Domains Related to High-Stakes Learning Environments . . . . . . . . . . 116
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
Contents ix
10 Conducting Task Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Chwee Beng Lee
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Types of Task Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Conducting Task Analysis in High-Stakes Learning Environments . . . . . 125
The Case-Based Reasoning Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
The Critical Incident/Critical Decision Method . . . . . . . . . . . . . . . . . . 127
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
11 On the Design of Instruction and Assessment . . . . . . . . . . . . . . . . . . . 135
Chwee Beng Lee, Jimmie Leppink, and José Hanham
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
Sources of Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
Solving Problems in High-Stakes Environments . . . . . . . . . . . . . . . . . . . 137
Problem-Solving Learning Environments . . . . . . . . . . . . . . . . . . . . . . . . 138
Trajectory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Presentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Distractors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
Zone of Proximal Development . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
Using Cases in Problem-Solving Environments . . . . . . . . . . . . . . . . . . . . 143
Cases as Problems to Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Cases as Instructional Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Designing Assessments for High-Stakes Learning Environments . . . . . . 146
Assessing Performance Through Rubrics . . . . . . . . . . . . . . . . . . . . . . . . . 147
Elements of Rubrics to Be Considered for High-Stakes Learning
Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
12 Evaluating the Effectiveness of Instructional Methods . . . . . . . . . . . . 155
Jimmie Leppink
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Three Fundamental Methodological Practices That Need a Change . . . . 156
The Concept of Repeated Measurements Remains Underused . . . . . . 156
Single-Item Measures Continue to Be the Most Used Measures
of Cognitive Load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
The Problematic Assumption of Keeping Loads Constant . . . . . . . . . . 158
Bad Statistical Habits We Should Have Broken Yesterday . . . . . . . . . . . . 158
Using Statistically Non-significant Outcomes to ‘Confirm’
the Null Hypothesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Treating Statistically Significant Outcomes in Small Samples
as Reflecting ‘Real’ Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
The Continued Use of Cronbach’s Alpha but Not Its More
Viable Alternatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
x Contents
A Recent Important Development in the Peer-Review
and Reporting Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
Registered Reports as the Way Forward . . . . . . . . . . . . . . . . . . . . . . . . 163
To Conclude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
13 Conclusion: Future Considerations for Designing Instructions
in High- Stakes Learning Environments . . . . . . . . . . . . . . . . . . . . . . . . 167
Jimmie Leppink, Chwee Beng Lee, and José Hanham
Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Emergency Medicine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Aviation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Mental Health . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Engineering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Learner and Task Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Designing Instruction and Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
Future Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171