Performance Testing An ISTQB Certified Tester Foundation Level Specialist Certification Review — Keith Yorkston Foreword by Dr. David Rigler Performance Testing An ISTQB Certified Tester Foundation Level Specialist Certification Review Keith Yorkston Foreword by Dr. David Rigler Performance Testing: An ISTQB Certified Tester Foundation Level Specialist Certification Review Keith Yorkston Ware, UK ISBN-13 (pbk): 978-1-4842-7254-1 ISBN-13 (electronic): 978-1-4842-7255-8 https://doi.org/10.1007/978-1-4842-7255-8 Copyright © 2021 by Keith Yorkston This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission or information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now known or hereafter developed. Trademarked names, logos, and images may appear in this book. Rather than use a trademark symbol with every occurrence of a trademarked name, logo, or image we use the names, logos, and images only in an editorial fashion and to the benefit of the trademark owner, with no intention of infringement of the trademark. The use in this publication of trade names, trademarks, service marks, and similar terms, even if they are not identified as such, is not to be taken as an expression of opinion as to whether or not they are subject to proprietary rights. While the advice and information in this book are believed to be true and accurate at the date of publication, neither the authors nor the editors nor the publisher can accept any legal responsibility for any errors or omissions that may be made. The publisher makes no warranty, express or implied, with respect to the material contained herein. Managing Director, Apress Media LLC: Welmoed Spahr Acquisitions Editor: Susan McDermott Development Editor: Laura Berendson Coordinating Editor: Shrikant Vishwakarma Cover designed by eStudioCalamar Cover image designed by Freepik (www.freepik.com) Distributed to the book trade worldwide by Springer Science+Business Media New York, 1 New York Plaza, New York, NY 10004. Phone 1-800-SPRINGER, fax (201) 348-4505, e-mail [email protected], or visit www.springeronline.com. Apress Media, LLC is a California LLC and the sole member (owner) is Springer Science + Business Media Finance Inc (SSBM Finance Inc). SSBM Finance Inc is a Delaware corporation. For information on translations, please e-mail [email protected]; for reprint, paperback, or audio rights, please e-mail [email protected]. Apress titles may be purchased in bulk for academic, corporate, or promotional use. eBook versions and licenses are also available for most titles. For more information, reference our Print and eBook Bulk Sales web page at http://www.apress.com/bulk-sales. Any source code or other supplementary material referenced by the author in this book is available to readers on GitHub via the book’s product page, located at www.apress.com/978- 1- 4842- 7254- 1. For more detailed information, please visit http://www.apress.com/source- code. Printed on acid-free paper To Jacqui, Jared, and Kaitlin, love always. And to my brother Dean, In Memoriam D. J. Y. Table of Contents About the Author �����������������������������������������������������������������������������������������������������xi About the Technical Reviewer �������������������������������������������������������������������������������xiii Acknowledgments ���������������������������������������������������������������������������������������������������xv Foreword ���������������������������������������������������������������������������������������������������������������xvii Introduction ������������������������������������������������������������������������������������������������������������xix Chapter 1: The Basic Concepts of Performance Testing �������������������������������������������1 ISTQB Keywords ����������������������������������������������������������������������������������������������������������������������������1 Other Keywords�����������������������������������������������������������������������������������������������������������������������������2 1�1 Principles of Performance Testing ������������������������������������������������������������������������������������������3 Time Behavior ��������������������������������������������������������������������������������������������������������������������������9 1�2 Types of Performance Testing �����������������������������������������������������������������������������������������������18 Performance Testing ��������������������������������������������������������������������������������������������������������������19 Load Testing ��������������������������������������������������������������������������������������������������������������������������20 Stress Testing ������������������������������������������������������������������������������������������������������������������������22 Scalability Testing ������������������������������������������������������������������������������������������������������������������24 Spike Testing �������������������������������������������������������������������������������������������������������������������������26 Endurance Testing �����������������������������������������������������������������������������������������������������������������28 Concurrency Testing ��������������������������������������������������������������������������������������������������������������28 Capacity Testing ��������������������������������������������������������������������������������������������������������������������30 1�3 Testing Activities in Performance Testing �����������������������������������������������������������������������������31 Static Testing �������������������������������������������������������������������������������������������������������������������������31 Dynamic Testing ��������������������������������������������������������������������������������������������������������������������40 v Table of ConTenTs 1�4 The Concept of Load Generation �������������������������������������������������������������������������������������������44 Load Generation via the User Interface ���������������������������������������������������������������������������������46 Load Generation Using Crowds ���������������������������������������������������������������������������������������������48 Load Generation via the Application Programming Interface (API) ����������������������������������������49 Load Generation Using Captured Communication Protocols �������������������������������������������������51 1�5 Common Performance Efficiency Failure Modes and Their Causes ��������������������������������������52 Slow Response Under Moderate-to-Heavy Load Levels ��������������������������������������������������������55 Inadequate or Graceless Error Handling Under Heavy or Overlimit Load ������������������������������58 Chapter 1 Questions ��������������������������������������������������������������������������������������������������������������64 Chapter 2: Performance Measurement Fundamentals �������������������������������������������69 ISTQB Keywords ��������������������������������������������������������������������������������������������������������������������������69 Other Keywords���������������������������������������������������������������������������������������������������������������������������69 2�1 Typical Measurements Collected in Performance Testing �����������������������������������������������������70 Why Performance Metrics Are Needed ����������������������������������������������������������������������������������70 Collecting Performance Measurements and Metrics ������������������������������������������������������������72 Selecting Performance Metrics ���������������������������������������������������������������������������������������������88 2�2 Aggregating Results from Performance Testing ��������������������������������������������������������������������91 2�3 Key Sources of Performance Metrics������������������������������������������������������������������������������������94 Performance Test Tools����������������������������������������������������������������������������������������������������������95 Performance Monitoring Tools �����������������������������������������������������������������������������������������������97 Log Analysis Tools������������������������������������������������������������������������������������������������������������������99 2�4 Typical Results of a Performance Test ��������������������������������������������������������������������������������100 Chapter 2 Questions ������������������������������������������������������������������������������������������������������������104 Chapter 3: Performance Testing in the Software Lifecycle �����������������������������������107 ISTQB Keywords ������������������������������������������������������������������������������������������������������������������������107 3�1 Principal Performance Testing Activities �����������������������������������������������������������������������������107 Test Planning �����������������������������������������������������������������������������������������������������������������������110 Test Monitoring and Control ������������������������������������������������������������������������������������������������113 Test Analysis ������������������������������������������������������������������������������������������������������������������������114 Test Design ��������������������������������������������������������������������������������������������������������������������������121 vi Table of ConTenTs Test Implementation ������������������������������������������������������������������������������������������������������������123 Test Execution ���������������������������������������������������������������������������������������������������������������������136 Test Completion �������������������������������������������������������������������������������������������������������������������141 3�2 Categories of Performance Risks for Different Architectures ���������������������������������������������143 Single Computer Systems ���������������������������������������������������������������������������������������������������144 Multi-tier Systems ���������������������������������������������������������������������������������������������������������������147 Distributed Systems ������������������������������������������������������������������������������������������������������������148 Virtualized Systems �������������������������������������������������������������������������������������������������������������149 Dynamic/Cloud-Based Systems ������������������������������������������������������������������������������������������151 Client-Server Systems ���������������������������������������������������������������������������������������������������������152 Mobile Applications �������������������������������������������������������������������������������������������������������������154 Embedded Real-Time Systems ��������������������������������������������������������������������������������������������156 Mainframe Applications �������������������������������������������������������������������������������������������������������157 3�3 Performance Risks Across the Software Development Lifecycle����������������������������������������162 3�4 Performance Testing Activities ��������������������������������������������������������������������������������������������181 Sequential Development Models �����������������������������������������������������������������������������������������181 Iterative and Incremental Development Models ������������������������������������������������������������������182 Commercial Off-the-Shelf (COTS) and Other Supplier/Acquirer Models ������������������������������188 Chapter 3 Questions ������������������������������������������������������������������������������������������������������������190 Chapter 4: Performance Testing Tasks �����������������������������������������������������������������195 ISTQB Keywords ������������������������������������������������������������������������������������������������������������������������195 4�1 Planning ������������������������������������������������������������������������������������������������������������������������������196 4�1�1 Deriving Performance Test Objectives ������������������������������������������������������������������������196 4�1�2 The Performance Test Plan �����������������������������������������������������������������������������������������200 4�1�3 Communicating About Performance Testing ��������������������������������������������������������������215 4�2 Analysis, Design, and Implementation ��������������������������������������������������������������������������������226 4�2�1 Typical Communication Protocols �������������������������������������������������������������������������������226 4�2�2 Transactions ���������������������������������������������������������������������������������������������������������������235 4�2�3 Identifying Operational Profiles ����������������������������������������������������������������������������������239 4�2�4 Creating Load Profiles ������������������������������������������������������������������������������������������������253 4�2�5 Analyzing Throughput and Concurrency ���������������������������������������������������������������������260 vii Table of ConTenTs 4�2�6 Basic Structure of a Performance Test Script �������������������������������������������������������������270 4�2�7 Implementing Performance Test Scripts ��������������������������������������������������������������������278 4�2�8 Preparing for Performance Test Execution �����������������������������������������������������������������288 4�3 Execution ����������������������������������������������������������������������������������������������������������������������������298 4�4 Analyzing Results and Reporting ����������������������������������������������������������������������������������������310 Analysis Techniques ������������������������������������������������������������������������������������������������������������323 Reporting �����������������������������������������������������������������������������������������������������������������������������330 Chapter 4 Questions ������������������������������������������������������������������������������������������������������������335 Chapter 5: Tools ����������������������������������������������������������������������������������������������������355 ISTQB Keywords ������������������������������������������������������������������������������������������������������������������������355 5�1 Tool Support ������������������������������������������������������������������������������������������������������������������������355 Load Generators (2) �������������������������������������������������������������������������������������������������������������357 Load Management Console (1) ��������������������������������������������������������������������������������������������358 Monitoring Tool (5) ���������������������������������������������������������������������������������������������������������������358 5�2 Tool Suitability ���������������������������������������������������������������������������������������������������������������������360 Compatibility ������������������������������������������������������������������������������������������������������������������������361 Scalability ����������������������������������������������������������������������������������������������������������������������������362 Understandability ����������������������������������������������������������������������������������������������������������������363 Monitoring ���������������������������������������������������������������������������������������������������������������������������364 Chapter 5 Questions ������������������������������������������������������������������������������������������������������������364 Chapter 6: Final Thoughts �������������������������������������������������������������������������������������367 Need an Exam? �������������������������������������������������������������������������������������������������������������������������368 Appendix A: References ����������������������������������������������������������������������������������������369 S tandards ����������������������������������������������������������������������������������������������������������������������������������369 ISTQB Documents ���������������������������������������������������������������������������������������������������������������������369 Books ����������������������������������������������������������������������������������������������������������������������������������������370 Papers and Articles �������������������������������������������������������������������������������������������������������������������371 viii Table of ConTenTs Appendix B: Question Answers �����������������������������������������������������������������������������373 C hapter 1 ����������������������������������������������������������������������������������������������������������������������������������373 Chapter 2 ����������������������������������������������������������������������������������������������������������������������������������374 Chapter 3 ����������������������������������������������������������������������������������������������������������������������������������375 Chapter 4 ����������������������������������������������������������������������������������������������������������������������������������376 Chapter 5 ����������������������������������������������������������������������������������������������������������������������������������381 Index ���������������������������������������������������������������������������������������������������������������������383 ix About the Author After a circuitous route into IT, Keith Yorkston has spent the last 20 years involved with software quality and risk. Cutting his teeth early in performance testing before good books were written on the subject, Keith went on to work as a consultant and trainer across the world. He currently works as an independent consultant specializing in performance and security. xi