Table Of Content

Front cover ABCs of z/OS System Programming Volume 10 IBM System z processor design and connectivity z/Architecture, LPAR concepts, HCD, z196, z10 DS8000 DASD controller Paul Rogers Alvaro Salla Luiz Carlos Orsoni ibm.com/redbooks International Technical Support Organization ABCs of z/OS System Programming Volume 10 March 2012 SG24-6990-04 Note: Before using this information and the product it supports, read the information in “Notices” on pagexi. Fifth Edition (March 2012) This edition applies to Version 1 Release 10 of z/OS (5694-A01) and to all subsequent releases and modifications until otherwise indicated in new editions. © Copyright International Business Machines Corporation 2008, 2012. All rights reserved. Note to U.S. Government Users Restricted Rights -- Use, duplication or disclosure restricted by GSA ADP Schedule Contract with IBM Corp. Contents Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi Trademarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xii Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii The team who wrote this book. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii Chapter 1. Introduction to z/Architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 Computer architecture overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Concept of a process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3 Process states and attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.4 System components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.5 Processing units (PUs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.6 z/Architecture enhancements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.7 64-bit address space map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.8 Addressing mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.9 64-bit dynamic address translation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.10 CP registers (general). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.11 Floating point registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.12 Current program-status word (PSW). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 1.13 Next sequential instruction address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.14 Program-status-word format. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 1.15 Prefixed save area (PSA) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1.16 Several instruction formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.17 Microcode concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 1.18 z/Architecture components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.19 z/Architecture data formats. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 1.20 Interrupts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.21 Interrupt processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 1.22 Types of interrupts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 1.23 Supervisor call interrupt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 1.24 Storage protection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 1.25 Storage protection logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 1.26 Addresses and address spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 1.27 z/Architecture address sizes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 1.28 Storage addressing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 1.29 Real storage locations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 1.30 Dynamic address translation (DAT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 1.31 Dynamic address translation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 1.32 Page faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 1.33 Dual address space (cross memory) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 1.34 Access register mode (dataspaces) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 1.35 CPU signaling facility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 1.36 Time measurement TOD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 1.37 Time measurement (CP timer) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 1.38 Sysplex Timer expanded availability configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . 71 1.39 Server Time Protocol (STP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 1.40 Data center and I/O configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 1.41 Channel subsystem (CSS) elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 1.42 Multiple CSS structure (z10 and z196 EC). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 © Copyright IBM Corp. 2008, 2012. All rights reserved. iii 1.43 Control units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 1.44 Device number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 1.45 Subchannel number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 1.46 Subchannel numbering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 1.47 Control unit address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 1.48 Unit addresses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 1.49 Map device number to device address. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 1.50 Multiple channel paths to a device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 1.51 Start subchannel (SSCH) logic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 1.52 SAP PU logic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 1.53 Channel processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 1.54 I/O interrupt processing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 1.55 I/O summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 Chapter 2. Introducing the IBM z10. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 2.1 z196 and z10 overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 2.2 IBM System z nomenclature. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 2.3 z10 EC naming summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 2.4 The power of GHz (high frequency) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 2.5 Processor unit (PU) instances. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 2.6 z10 EC hardware model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 2.7 z10 EC sub-capacity models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 2.8 z10 EC frames and cages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 2.9 Book topology comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 2.10 NUMA topology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 2.11 z10 EC Books. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 2.12 Multi-chip module (MCM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 2.13 PU chip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 2.14 Book element interconnections. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 2.15 Pipeline in z10 EC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 2.16 Pipeline branch prediction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 2.17 About each z10 EC PU. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 2.18 z10 EC storage controller (SC) chip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 2.19 Recapping the z10 EC design. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 2.20 Three levels of cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 2.21 Software/hardware cache optimization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 2.22 HiperDispatch considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 2.23 Central storage design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 2.24 Addresses and addresses. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 2.25 Hardware system area (HSA). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 2.26 Large page (1 M) support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 2.27 Connecting PU cage with I/O cages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 2.28 Detailed connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 2.29 HCA and I/O card connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 2.30 InfiniBand interconnect technology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 2.31 I/O cage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 2.32 The I/O data flow. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 2.33 Redundant I/O Interconnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 2.34 z10 EC I/O features supported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 2.35 16-port ESCON channel card. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 2.36 FICON features and extended distance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 2.37 Features in z10 and z196 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 2.38 z10 EC new features. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 iv ABCs of z/OS System Programming Volume 10 Chapter 3. Introducing the IBM zEnterprise. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 3.1 zEnterprise overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 3.2 Migrating Unix/Linux workloads back to the mainframe . . . . . . . . . . . . . . . . . . . . . . . 170 3.3 z196 numeric comparison. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 3.4 Processor Units (PU) instances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 3.5 z196 models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 3.6 Sub capacity models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 3.7 Model capacity identifier and MSU/h. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 3.8 z196 frames, cages and I/O drawers (I) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 3.9 z196 frames, cages and I/O drawers (II). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 3.10 NUMA topology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 3.11 z196 books . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 3.12 Any to any book connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 3.13 Fanout cards in a book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 3.14 Multichip module (MCM). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 3.15 Frequency (GHz) in a z196 PU. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 3.16 Quad core PU chip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 3.17 PU chip coprocessor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 3.18 Storage controller (SC) chip in MCM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 3.19 z196 book recapping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 3.20 Pipeline concept within a PU. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 3.21 Out of order execution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202 3.22 z196 instructions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 3.23 Non-quiesce SSKE instruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 3.24 z10 EC and z196 cache design comparison. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 3.25 Storage layers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 3.26 z196 cache design (I) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210 3.27 z196 cache design (II). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 3.28 HiperDispatch concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 3.29 The clerk dilemma. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217 3.30 z/OS dispatcher logic in HiperDispatch. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 3.31 Central Storage design. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220 3.32 MCUs and DIMMs in a z196 book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 3.33 Purchase memory offerings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 3.34 Addresses and addresses. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 3.35 Hardware system area (HSA). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 3.36 Large pages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 3.37 An I/O data flow tree analogy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228 3.38 Book to channel connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 3.39 Connecting books with I/O channels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 3.40 FICON I/O card. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 3.41 FICON channel topics in z196 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 3.42 I/O cage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 3.43 I/O drawer. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 3.44 Redundant I/O interconnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 3.45 Coupling Facility links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237 3.46 Infiniband protocol. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 3.47 z196 maximum number of channel per type. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240 3.48 z/OS discovery and auto-configuration (zDAC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 3.49 WWPN and fabrics discovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 3.50 zDAC software and hardware requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244 3.51 zDAC policy in HCD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245 3.52 zDAC policy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246 Contents v 3.53 zDAC discovered HCD panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 3.54 zDAC proposed HCD panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 3.55 Logical channel subsystem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 3.56 LP ID, MIF ID, and spanning concepts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 3.57 Physical channel ID (PCHID) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 3.58 Association between CHPID and PCHID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 3.59 Comparison between System z servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 3.60 IOCP statements example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258 3.61 Configuration definition process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 3.62 Channel availability features. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 3.63 Introduction to MIDAW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 3.64 Channel command word (CCW) concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 3.65 CCWs and virtual storage - IDAW Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266 3.66 DASD extended format. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 3.67 Using MIDAWs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 3.68 Reducing CCWs using MIDAW. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 3.69 MIDAW performance results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 3.70 Cryptography concepts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 3.71 Cryptography in z196 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277 3.72 z196 crypto synchronous functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 3.73 Crypto express-3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 3.74 z196 crypto asynchronous functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 3.75 Protected keys in CPACF. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284 3.76 PR/SM and cryptography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 3.77 Just-in-time concurrent upgrades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288 3.78 On/Off capacity on demand (CoD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 3.79 Other capacity upgrade plans. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 3.80 Capacity provisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294 3.81 Capacity provisioning domain. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 3.82 SNMP interface to HMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 Chapter 4. zEnterprise BladeCenter Extension Model 002 (zBX). . . . . . . . . . . . . . . . 301 4.0.1 zEnterprise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 4.1 zBX hardware rack components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 4.2 BladeCenter chassis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306 4.3 Blades by function. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307 4.4 The blade types. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 4.5 Blades data warehouse roles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 4.6 POWER7 blades. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 4.7 WebSphere datapower appliance blades. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 4.8 Nodes and ensembles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 4.9 zBX networking and connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314 4.10 Hardware management consoles (HMC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316 Chapter 5. z/Enterprise Unified Resource Manager. . . . . . . . . . . . . . . . . . . . . . . . . . . 317 5.1 Unified resource manager introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 5.2 Refreshing the ensemble concept. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 5.3 zManager location in zEnterprise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 5.4 zManager major roles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322 5.5 zManager hypervisors and energy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323 5.6 Energy SAD frame . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325 5.7 More details about energy management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 5.8 Energy data available from HMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 vi ABCs of z/OS System Programming Volume 10 5.9 Systems director active energy manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328 5.10 zManager operations control. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 5.11 Change management functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 5.12 Problem management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331 5.13 Configuration management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 5.14 zManager HMC configuration panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334 5.15 Operations management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 5.16 Performance monitoring and business management . . . . . . . . . . . . . . . . . . . . . . . . 336 5.17 Ensemble management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337 5.18 zManager performance, virtual life cycle and networks . . . . . . . . . . . . . . . . . . . . . . 338 5.19 Network management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 5.20 zEnterprise platform performance manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341 5.21 PPM virtual servers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 5.22 Virtual server definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345 5.23 z/OS WLM main terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 5.24 Intelligent resource director review. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348 5.25 RD for a zLinux logical partition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350 5.26 RMF and IRD zLinux implementation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351 5.27 PPM wizard welcome panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 5.28 PPM components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 5.29 Differences between PPM and z/OS WLM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 5.30 PPM agents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 5.31 Application response measurement (ARM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359 5.32 Virtual server processor management (I) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360 5.33 Virtual server CPU management (II). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 5.34 PPM major constructs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 5.35 PPM workload concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 5.36 PPM workload definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 5.37 PPM policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366 5.38 Service class concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 5.39 Service class definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 5.40 Classification rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 5.41 z/OS WLM agent. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 5.42 Connecting PPM SC with a WLM service class . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372 5.43 z/VM agent role in PPM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 5.44 PowerVM agent role in PPM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374 5.45 PPM performance data reporting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375 Chapter 6. System z connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 6.1 Connectivity overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 6.2 Multiple Image Facility channels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380 6.3 Channel subsystem connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 6.4 CSS configuration management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384 6.5 Displaying channel types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 6.6 ESCON architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387 6.7 ESCON concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390 6.8 ESCD (switch) functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392 6.9 ESCON Director (ESCD) description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 6.10 ESCON Director matrix. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 6.11 Channel-to-channel adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396 6.12 ESCON CTC support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398 6.13 FICON channels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400 6.14 FICON conversion mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402 Contents vii 6.15 Supported FICON native topologies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 6.16 Fibre Channel Protocol (FCP). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 6.17 FICON improvements (1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406 6.18 FICON improvements (2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 6.19 FICON/ESCON numerical comparison. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410 6.20 FICON switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412 6.21 Cascaded FICON Directors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413 6.22 FICON Channel to Channel Adapter (FCTC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415 6.23 z9 Coupling Facility links. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416 6.24 z10 EC Coupling Facility connectivity options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418 6.25 All z10 EC coupling link options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419 6.26 OSA-Express . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421 6.27 QDIO architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423 6.28 HiperSockets connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425 6.29 Hardware Configuration Definition (HCD). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427 Chapter 7. Virtualization and Logical Partition (LPAR) concepts. . . . . . . . . . . . . . . . 429 7.1 Virtualization definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430 7.2 Virtualization concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431 7.3 Virtualized physical resources. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 7.4 Hypervisor types. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435 7.5 Hypervisor technologies (I). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437 7.6 Hypervisor technologies (II) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438 7.7 IBM hypervisors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439 7.8 z/Virtual Machine (z/VM). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 7.9 z/VM options in HMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442 7.10 Virtualization in zBX blades. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443 7.11 PowerVM virtual servers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444 7.12 Comparing hypervisor terminology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446 7.13 History of operating environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 7.14 CPC in basic mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 7.15 CPC in LPAR mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450 7.16 Shared and dedicated logical CPs example. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452 7.17 LPAR dispatching and shared CPs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454 7.18 Reasons for intercepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456 7.19 LPAR event-driven dispatching. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458 7.20 LPAR time slice interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460 7.21 LPAR weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 7.22 z196 PU pools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465 7.23 Capping workloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467 7.24 Types of capping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469 7.25 LPAR capping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470 7.26 LPAR capped versus uncapped . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471 7.27 Soft capping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473 7.28 Group capacity in soft capping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 7.29 Intelligent resource director (IRD). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476 7.30 WLM LPAR CPU management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478 7.31 Intelligent Resource Director benefits. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480 7.32 WLM concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482 7.33 Dynamic Channel Path Management (DCM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485 7.34 Channel subsystem I/O priority queueing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487 Chapter 8. Hardware Configuration Definition (HCD) . . . . . . . . . . . . . . . . . . . . . . . . . 491 viii ABCs of z/OS System Programming Volume 10