ABCs of z/OS System Programming

648 Pages·2012·14.233 MB·English

by  Paul Rogers, Alvaro Salla

Front cover
ABCs of z/OS System
Programming
Volume 10
IBM System z processor design and
connectivity
z/Architecture, LPAR concepts,
HCD, z196, z10
DS8000 DASD controller
Paul Rogers
Alvaro Salla
Luiz Carlos Orsoni
ibm.com/redbooks

International Technical Support Organization
ABCs of z/OS System Programming Volume 10
March 2012
SG24-6990-04
Note: Before using this information and the product it supports, read the information in “Notices” on
pagexi.
Fifth Edition (March 2012)
This edition applies to Version 1 Release 10 of z/OS (5694-A01) and to all subsequent releases and
modifications until otherwise indicated in new editions.
© Copyright International Business Machines Corporation 2008, 2012. All rights reserved.
Note to U.S. Government Users Restricted Rights -- Use, duplication or disclosure restricted by GSA ADP Schedule
Contract with IBM Corp.
Contents
Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
Trademarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xii
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
The team who wrote this book. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Chapter 1. Introduction to z/Architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Computer architecture overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Concept of a process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Process states and attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 System components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Processing units (PUs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.6 z/Architecture enhancements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.7 64-bit address space map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8 Addressing mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.9 64-bit dynamic address translation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.10 CP registers (general). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.11 Floating point registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.12 Current program-status word (PSW). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.13 Next sequential instruction address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.14 Program-status-word format. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.15 Prefixed save area (PSA) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.16 Several instruction formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.17 Microcode concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.18 z/Architecture components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.19 z/Architecture data formats. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.20 Interrupts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.21 Interrupt processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.22 Types of interrupts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
1.23 Supervisor call interrupt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
1.24 Storage protection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
1.25 Storage protection logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
1.26 Addresses and address spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
1.27 z/Architecture address sizes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
1.28 Storage addressing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
1.29 Real storage locations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.30 Dynamic address translation (DAT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
1.31 Dynamic address translation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
1.32 Page faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
1.33 Dual address space (cross memory) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
1.34 Access register mode (dataspaces) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
1.35 CPU signaling facility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
1.36 Time measurement TOD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
1.37 Time measurement (CP timer) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
1.38 Sysplex Timer expanded availability configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . 71
1.39 Server Time Protocol (STP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
1.40 Data center and I/O configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
1.41 Channel subsystem (CSS) elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
1.42 Multiple CSS structure (z10 and z196 EC). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
© Copyright IBM Corp. 2008, 2012. All rights reserved. iii
1.43 Control units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
1.44 Device number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
1.45 Subchannel number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
1.46 Subchannel numbering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
1.47 Control unit address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
1.48 Unit addresses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
1.49 Map device number to device address. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
1.50 Multiple channel paths to a device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
1.51 Start subchannel (SSCH) logic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
1.52 SAP PU logic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
1.53 Channel processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
1.54 I/O interrupt processing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
1.55 I/O summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Chapter 2. Introducing the IBM z10. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2.1 z196 and z10 overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
2.2 IBM System z nomenclature. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
2.3 z10 EC naming summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
2.4 The power of GHz (high frequency) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
2.5 Processor unit (PU) instances. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
2.6 z10 EC hardware model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
2.7 z10 EC sub-capacity models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
2.8 z10 EC frames and cages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
2.9 Book topology comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
2.10 NUMA topology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
2.11 z10 EC Books. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
2.12 Multi-chip module (MCM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
2.13 PU chip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
2.14 Book element interconnections. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
2.15 Pipeline in z10 EC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
2.16 Pipeline branch prediction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
2.17 About each z10 EC PU. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
2.18 z10 EC storage controller (SC) chip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
2.19 Recapping the z10 EC design. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
2.20 Three levels of cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
2.21 Software/hardware cache optimization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
2.22 HiperDispatch considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
2.23 Central storage design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
2.24 Addresses and addresses. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
2.25 Hardware system area (HSA). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
2.26 Large page (1 M) support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
2.27 Connecting PU cage with I/O cages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
2.28 Detailed connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
2.29 HCA and I/O card connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
2.30 InfiniBand interconnect technology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
2.31 I/O cage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
2.32 The I/O data flow. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
2.33 Redundant I/O Interconnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
2.34 z10 EC I/O features supported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
2.35 16-port ESCON channel card. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
2.36 FICON features and extended distance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
2.37 Features in z10 and z196 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
2.38 z10 EC new features. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
iv ABCs of z/OS System Programming Volume 10
Chapter 3. Introducing the IBM zEnterprise. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
3.1 zEnterprise overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
3.2 Migrating Unix/Linux workloads back to the mainframe . . . . . . . . . . . . . . . . . . . . . . . 170
3.3 z196 numeric comparison. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
3.4 Processor Units (PU) instances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
3.5 z196 models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
3.6 Sub capacity models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
3.7 Model capacity identifier and MSU/h. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
3.8 z196 frames, cages and I/O drawers (I) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
3.9 z196 frames, cages and I/O drawers (II). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
3.10 NUMA topology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
3.11 z196 books . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
3.12 Any to any book connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
3.13 Fanout cards in a book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
3.14 Multichip module (MCM). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
3.15 Frequency (GHz) in a z196 PU. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
3.16 Quad core PU chip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
3.17 PU chip coprocessor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
3.18 Storage controller (SC) chip in MCM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
3.19 z196 book recapping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
3.20 Pipeline concept within a PU. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
3.21 Out of order execution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
3.22 z196 instructions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
3.23 Non-quiesce SSKE instruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
3.24 z10 EC and z196 cache design comparison. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
3.25 Storage layers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
3.26 z196 cache design (I) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
3.27 z196 cache design (II). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
3.28 HiperDispatch concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
3.29 The clerk dilemma. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
3.30 z/OS dispatcher logic in HiperDispatch. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
3.31 Central Storage design. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
3.32 MCUs and DIMMs in a z196 book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
3.33 Purchase memory offerings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
3.34 Addresses and addresses. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
3.35 Hardware system area (HSA). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
3.36 Large pages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
3.37 An I/O data flow tree analogy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
3.38 Book to channel connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
3.39 Connecting books with I/O channels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
3.40 FICON I/O card. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
3.41 FICON channel topics in z196 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
3.42 I/O cage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
3.43 I/O drawer. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
3.44 Redundant I/O interconnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
3.45 Coupling Facility links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
3.46 Infiniband protocol. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
3.47 z196 maximum number of channel per type. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
3.48 z/OS discovery and auto-configuration (zDAC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
3.49 WWPN and fabrics discovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
3.50 zDAC software and hardware requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
3.51 zDAC policy in HCD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
3.52 zDAC policy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Contents v
3.53 zDAC discovered HCD panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
3.54 zDAC proposed HCD panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
3.55 Logical channel subsystem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
3.56 LP ID, MIF ID, and spanning concepts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
3.57 Physical channel ID (PCHID) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
3.58 Association between CHPID and PCHID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
3.59 Comparison between System z servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
3.60 IOCP statements example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
3.61 Configuration definition process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
3.62 Channel availability features. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
3.63 Introduction to MIDAW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
3.64 Channel command word (CCW) concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
3.65 CCWs and virtual storage - IDAW Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
3.66 DASD extended format. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
3.67 Using MIDAWs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
3.68 Reducing CCWs using MIDAW. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
3.69 MIDAW performance results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
3.70 Cryptography concepts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
3.71 Cryptography in z196 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
3.72 z196 crypto synchronous functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
3.73 Crypto express-3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
3.74 z196 crypto asynchronous functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
3.75 Protected keys in CPACF. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
3.76 PR/SM and cryptography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
3.77 Just-in-time concurrent upgrades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
3.78 On/Off capacity on demand (CoD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
3.79 Other capacity upgrade plans. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
3.80 Capacity provisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
3.81 Capacity provisioning domain. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
3.82 SNMP interface to HMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
Chapter 4. zEnterprise BladeCenter Extension Model 002 (zBX). . . . . . . . . . . . . . . . 301
4.0.1 zEnterprise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
4.1 zBX hardware rack components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
4.2 BladeCenter chassis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
4.3 Blades by function. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
4.4 The blade types. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
4.5 Blades data warehouse roles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
4.6 POWER7 blades. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
4.7 WebSphere datapower appliance blades. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
4.8 Nodes and ensembles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
4.9 zBX networking and connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
4.10 Hardware management consoles (HMC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Chapter 5. z/Enterprise Unified Resource Manager. . . . . . . . . . . . . . . . . . . . . . . . . . . 317
5.1 Unified resource manager introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
5.2 Refreshing the ensemble concept. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
5.3 zManager location in zEnterprise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
5.4 zManager major roles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
5.5 zManager hypervisors and energy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
5.6 Energy SAD frame . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
5.7 More details about energy management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
5.8 Energy data available from HMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
vi ABCs of z/OS System Programming Volume 10
5.9 Systems director active energy manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
5.10 zManager operations control. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
5.11 Change management functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
5.12 Problem management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
5.13 Configuration management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
5.14 zManager HMC configuration panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
5.15 Operations management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
5.16 Performance monitoring and business management . . . . . . . . . . . . . . . . . . . . . . . . 336
5.17 Ensemble management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
5.18 zManager performance, virtual life cycle and networks . . . . . . . . . . . . . . . . . . . . . . 338
5.19 Network management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
5.20 zEnterprise platform performance manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
5.21 PPM virtual servers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
5.22 Virtual server definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
5.23 z/OS WLM main terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
5.24 Intelligent resource director review. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
5.25 RD for a zLinux logical partition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
5.26 RMF and IRD zLinux implementation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
5.27 PPM wizard welcome panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
5.28 PPM components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
5.29 Differences between PPM and z/OS WLM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
5.30 PPM agents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
5.31 Application response measurement (ARM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
5.32 Virtual server processor management (I) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
5.33 Virtual server CPU management (II). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
5.34 PPM major constructs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
5.35 PPM workload concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
5.36 PPM workload definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
5.37 PPM policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
5.38 Service class concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
5.39 Service class definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
5.40 Classification rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
5.41 z/OS WLM agent. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
5.42 Connecting PPM SC with a WLM service class . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
5.43 z/VM agent role in PPM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
5.44 PowerVM agent role in PPM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
5.45 PPM performance data reporting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Chapter 6. System z connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
6.1 Connectivity overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
6.2 Multiple Image Facility channels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
6.3 Channel subsystem connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
6.4 CSS configuration management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
6.5 Displaying channel types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
6.6 ESCON architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
6.7 ESCON concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
6.8 ESCD (switch) functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
6.9 ESCON Director (ESCD) description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
6.10 ESCON Director matrix. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
6.11 Channel-to-channel adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
6.12 ESCON CTC support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
6.13 FICON channels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
6.14 FICON conversion mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
Contents vii
6.15 Supported FICON native topologies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
6.16 Fibre Channel Protocol (FCP). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
6.17 FICON improvements (1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
6.18 FICON improvements (2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
6.19 FICON/ESCON numerical comparison. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
6.20 FICON switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
6.21 Cascaded FICON Directors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
6.22 FICON Channel to Channel Adapter (FCTC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
6.23 z9 Coupling Facility links. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416
6.24 z10 EC Coupling Facility connectivity options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
6.25 All z10 EC coupling link options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
6.26 OSA-Express . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
6.27 QDIO architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
6.28 HiperSockets connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
6.29 Hardware Configuration Definition (HCD). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
Chapter 7. Virtualization and Logical Partition (LPAR) concepts. . . . . . . . . . . . . . . . 429
7.1 Virtualization definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
7.2 Virtualization concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
7.3 Virtualized physical resources. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
7.4 Hypervisor types. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435
7.5 Hypervisor technologies (I). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
7.6 Hypervisor technologies (II) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
7.7 IBM hypervisors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
7.8 z/Virtual Machine (z/VM). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
7.9 z/VM options in HMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
7.10 Virtualization in zBX blades. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443
7.11 PowerVM virtual servers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
7.12 Comparing hypervisor terminology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
7.13 History of operating environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
7.14 CPC in basic mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
7.15 CPC in LPAR mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
7.16 Shared and dedicated logical CPs example. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
7.17 LPAR dispatching and shared CPs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
7.18 Reasons for intercepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
7.19 LPAR event-driven dispatching. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458
7.20 LPAR time slice interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460
7.21 LPAR weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462
7.22 z196 PU pools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
7.23 Capping workloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467
7.24 Types of capping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
7.25 LPAR capping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
7.26 LPAR capped versus uncapped . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
7.27 Soft capping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
7.28 Group capacity in soft capping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
7.29 Intelligent resource director (IRD). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
7.30 WLM LPAR CPU management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
7.31 Intelligent Resource Director benefits. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
7.32 WLM concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482
7.33 Dynamic Channel Path Management (DCM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485
7.34 Channel subsystem I/O priority queueing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
Chapter 8. Hardware Configuration Definition (HCD) . . . . . . . . . . . . . . . . . . . . . . . . . 491
viii ABCs of z/OS System Programming Volume 10