Beginning Windows Mixed Reality Programming For HoloLens and Mixed Reality Headsets — Second Edition — Sean Ong Varun Kumar Siddaraju Beginning Windows Mixed Reality Programming For HoloLens and Mixed Reality Headsets Second Edition Sean Ong Varun Kumar Siddaraju Beginning Windows Mixed Reality Programming: For HoloLens and Mixed Reality Headsets Sean Ong Varun Kumar Siddaraju Tukwila, WA, USA Covington, WA, USA ISBN-13 (pbk): 978-1-4842-7103-2 ISBN-13 (electronic): 978-1-4842-7104-9 https://doi.org/10.1007/978-1-4842-7104-9 Copyright © 2021 by Sean Ong and Varun Kumar Siddaraju This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation, broadcasting, reproduction on microfilms or in any other physical way, and transmission or information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now known or hereafter developed. Trademarked names, logos, and images may appear in this book. Rather than use a trademark symbol with every occurrence of a trademarked name, logo, or image we use the names, logos, and images only in an editorial fashion and to the benefit of the trademark owner, with no intention of infringement of the trademark. The use in this publication of trade names, trademarks, service marks, and similar terms, even if they are not identified as such, is not to be taken as an expression of opinion as to whether or not they are subject to proprietary rights. While the advice and information in this book are believed to be true and accurate at the date of publication, neither the authors nor the editors nor the publisher can accept any legal responsibility for any errors or omissions that may be made. The publisher makes no warranty, express or implied, with respect to the material contained herein. Managing Director, Apress Media LLC: Welmoed Spahr Acquisitions Editor: Jonathan Gennick Development Editor: Laura Berendson Coordinating Editor: Jill Balzano Cover image by Sean Ong Distributed to the book trade worldwide by Springer Science+Business Media LLC, 1 New York Plaza, Suite 4600, New York, NY 10004. Phone 1-800-SPRINGER, fax (201) 348-4505, e-mail orders-ny@springer-sbm. com, or visit www.springeronline.com. Apress Media, LLC is a California LLC and the sole member (owner) is Springer Science + Business Media Finance Inc (SSBM Finance Inc). SSBM Finance Inc is a Delaware corporation. For information on translations, please e-mail [email protected]; for reprint, paperback, or audio rights, please e-mail [email protected]. Apress titles may be purchased in bulk for academic, corporate, or promotional use. eBook versions and licenses are also available for most titles. For more information, reference our Print and eBook Bulk Sales web page at http://www.apress.com/bulk-sales. Any source code or other supplementary material referenced by the author in this book is available to readers on GitHub via the book’s product page, located at www.apress.com/9781484271032. For more detailed information, please visit http://www.apress.com/source- code. Printed on acid-free paper This book is dedicated to my wife, Neisha Ong. This Mixed Reality journey would have been impossible without her unrelenting support, encouragement, and involvement. —Sean Table of Contents About the Authors ��������������������������������������������������������������������������������������������������xiii About the Technical Reviewer ���������������������������������������������������������������������������������xv Acknowledgments �������������������������������������������������������������������������������������������������xvii Introduction: The Mixed Reality Future ������������������������������������������������������������������xix Part I: Getting Started ����������������������������������������������������������������������������1 Chapter 1: Gear Up: The Necessary Hardware and Software Tools ��������������������������3 Making Sure Your PC Is Ready ������������������������������������������������������������������������������������������������������3 Understanding the HoloLens and Other Windows Mixed Reality Hardware ����������������������������������5 Inside-Out Tracking and Spatial Mapping ��������������������������������������������������������������������������������6 Spatial Sound ��������������������������������������������������������������������������������������������������������������������������8 Transparent vs� Immersive Headsets ��������������������������������������������������������������������������������������8 Downloading and Installing the Required and Optional Software Tools ��������������������������������������10 Installing Visual Studio ����������������������������������������������������������������������������������������������������������11 Installing Unity �����������������������������������������������������������������������������������������������������������������������15 Downloading the Mixed Reality Toolkit ����������������������������������������������������������������������������������24 Summary�������������������������������������������������������������������������������������������������������������������������������������27 Chapter 2: Unity Crash Course ��������������������������������������������������������������������������������29 What Is Unity? �����������������������������������������������������������������������������������������������������������������������������29 Free vs� Paid Tiers of Unity ����������������������������������������������������������������������������������������������������������30 Your First Unity App ���������������������������������������������������������������������������������������������������������������������30 Step 1: Create a New Unity Project ����������������������������������������������������������������������������������������31 Step 2: Save Your Scene ��������������������������������������������������������������������������������������������������������34 Step 3: Create a Ground Plane �����������������������������������������������������������������������������������������������35 Step 4: Rename Your Plane ���������������������������������������������������������������������������������������������������37 v Table of ConTenTs Step 5: Reset Ground Plane Position �������������������������������������������������������������������������������������38 Step 6: Zoom to Your Ground Plane ���������������������������������������������������������������������������������������38 Step 7: Scale Your Ground Plane �������������������������������������������������������������������������������������������39 Step 8: Create the Ball �����������������������������������������������������������������������������������������������������������40 Step 9: Rename Your Ball ������������������������������������������������������������������������������������������������������41 Step 10: Reset the Ball’s Position ������������������������������������������������������������������������������������������41 Step 11: Zoom to Your Ball�����������������������������������������������������������������������������������������������������42 Step 12: Raise the Ball’s Position ������������������������������������������������������������������������������������������42 Step 13: Color the Ground Blue ���������������������������������������������������������������������������������������������42 Step 14: Add Physics to the Ball ��������������������������������������������������������������������������������������������47 Step 15: Enable Keyboard Control �����������������������������������������������������������������������������������������48 Step 16: Testing Your App ������������������������������������������������������������������������������������������������������53 Summary�������������������������������������������������������������������������������������������������������������������������������������54 Part II: Building Holographic Experiences �������������������������������������������55 Chapter 3: Creating Your First Hologram ����������������������������������������������������������������57 Getting Unity Ready for Mixed Reality Development �������������������������������������������������������������������57 Step 1: Import Mixed Reality Toolkit to a New Unity Project ��������������������������������������������������58 Step 2: Use Mixed Reality Toolkit to Prepare Your Scene for Mixed Reality Development ���������������������������������������������������������������������������������������������������61 Your First Hologram ��������������������������������������������������������������������������������������������������������������������68 Step 1: Create a Cube ������������������������������������������������������������������������������������������������������������69 Step 2: Zoom to Your Cube ����������������������������������������������������������������������������������������������������70 Step 3: Move the Cube Away from the Camera ���������������������������������������������������������������������70 Step 4: Resize the Cube ���������������������������������������������������������������������������������������������������������71 Step 5� Test Your App �������������������������������������������������������������������������������������������������������������72 Step 6: Install Your App on the HoloLens �������������������������������������������������������������������������������73 Summary�������������������������������������������������������������������������������������������������������������������������������������84 Chapter 4: Introduction to the Mixed Reality Toolkit ����������������������������������������������85 What Is the Mixed Reality Toolkit? ����������������������������������������������������������������������������������������������85 The Three MRTK Repositories ������������������������������������������������������������������������������������������������86 vi Table of ConTenTs Mixed Reality Toolkit Setup ���������������������������������������������������������������������������������������������������������86 1� Importing MRTK Asset Files �����������������������������������������������������������������������������������������������86 2� Unity Package Manager �����������������������������������������������������������������������������������������������������89 Mixed Reality Toolkit Components ����������������������������������������������������������������������������������������������92 MRTK: Input System ��������������������������������������������������������������������������������������������������������������94 MRTK: Hand Tracking �������������������������������������������������������������������������������������������������������������97 MRTK: Solvers������������������������������������������������������������������������������������������������������������������������98 MRTK: Multi-scene Manager �����������������������������������������������������������������������������������������������100 MRTK: Spatial Awareness ����������������������������������������������������������������������������������������������������102 MRTK: Diagnostic Tool ���������������������������������������������������������������������������������������������������������103 MRTK: Boundary System �����������������������������������������������������������������������������������������������������103 MRTK: UX Controls ���������������������������������������������������������������������������������������������������������������104 MRTK: Camera System ��������������������������������������������������������������������������������������������������������105 MRTK: Profiles ���������������������������������������������������������������������������������������������������������������������106 MRTK: Standard Shader�������������������������������������������������������������������������������������������������������109 MRTK Online ������������������������������������������������������������������������������������������������������������������������������109 What Is GitHub? �������������������������������������������������������������������������������������������������������������������109 MRTK Help and Documentation �������������������������������������������������������������������������������������������109 Summary�����������������������������������������������������������������������������������������������������������������������������������110 Chapter 5: Interacting with Holograms ����������������������������������������������������������������111 Input Methods ���������������������������������������������������������������������������������������������������������������������������111 Gaze Tutorial �����������������������������������������������������������������������������������������������������������������������������112 Step 1: Set Up Unity Scene ��������������������������������������������������������������������������������������������������113 Step 2: Add Scenes to the Build Menu ��������������������������������������������������������������������������������114 Step 3: Try the Scene! ����������������������������������������������������������������������������������������������������������114 Step 4: Understanding the Scene ����������������������������������������������������������������������������������������116 Step 5: Use Gaze in Your Project ������������������������������������������������������������������������������������������120 Gestures Tutorial �����������������������������������������������������������������������������������������������������������������������120 Step 1� Load Test Scene ������������������������������������������������������������������������������������������������������120 Step 2� Try It Out! �����������������������������������������������������������������������������������������������������������������121 Step 3� Bounds Control ��������������������������������������������������������������������������������������������������������122 vii Table of ConTenTs Step 4: Press and Touch Interactions ����������������������������������������������������������������������������������126 Step 5: Object Manipulator ��������������������������������������������������������������������������������������������������128 Step 6: Implementing Gestures in Your Application �������������������������������������������������������������131 Voice Command Tutorial������������������������������������������������������������������������������������������������������������131 Step 1: Load the Example Scene �����������������������������������������������������������������������������������������132 Step 2� Try It Out! �����������������������������������������������������������������������������������������������������������������133 Step 3: Understanding the Scene ����������������������������������������������������������������������������������������134 Step 4: Add Your Own Voice Command ��������������������������������������������������������������������������������137 Step 5: Using Voice Commands in Your Own Project �����������������������������������������������������������140 Best Practices for Voice Commands ������������������������������������������������������������������������������������141 Other Hardware Input ����������������������������������������������������������������������������������������������������������������142 Summary�����������������������������������������������������������������������������������������������������������������������������������143 Chapter 6: Using Spatial Awareness���������������������������������������������������������������������145 What Is Spatial Awareness? ������������������������������������������������������������������������������������������������������145 Spatial Awareness Tutorial ��������������������������������������������������������������������������������������������������������146 Step 1: Set Up Unity Scene ��������������������������������������������������������������������������������������������������146 Step 2� Try It Out! �����������������������������������������������������������������������������������������������������������������147 Step 3� Understanding the Scene ����������������������������������������������������������������������������������������148 Step 4� Using Spatial Mapping in Your Application ��������������������������������������������������������������150 Occlusion ����������������������������������������������������������������������������������������������������������������������������������152 Step 1: Apply Occlusion �������������������������������������������������������������������������������������������������������152 Step 2: Try It Out! �����������������������������������������������������������������������������������������������������������������153 Scene Understanding ����������������������������������������������������������������������������������������������������������������154 Summary�����������������������������������������������������������������������������������������������������������������������������������155 Chapter 7: Spatial Sound ��������������������������������������������������������������������������������������157 Spatial Sound Tutorial ���������������������������������������������������������������������������������������������������������������158 Step 1: Set Up Unity Scene ��������������������������������������������������������������������������������������������������158 Step 2: Try It Out! �����������������������������������������������������������������������������������������������������������������159 Step 3: Understanding the Scene ����������������������������������������������������������������������������������������161 Step 4: Enabling Spatial Sound in Your Application �������������������������������������������������������������165 viii Table of ConTenTs Spatial Sound Design Considerations ���������������������������������������������������������������������������������������170 When to Use Spatial Sound �������������������������������������������������������������������������������������������������170 What to Avoid When Using Spatial Sound ����������������������������������������������������������������������������171 Summary�����������������������������������������������������������������������������������������������������������������������������������171 Part III: Growing As a Holographic Developer �����������������������������������173 Chapter 8: Azure Spatial Anchors �������������������������������������������������������������������������175 What Is Azure Spatial Anchors? ������������������������������������������������������������������������������������������������175 Azure Spatial Anchors Tutorial ��������������������������������������������������������������������������������������������������176 Step 1: Creating new Unity Scene ���������������������������������������������������������������������������������������176 Step 2: Installing Inbuilt Unity Packages �����������������������������������������������������������������������������176 Step 3: Download and Import Tutorial Assets ����������������������������������������������������������������������177 Step 4: Preparing the Scene ������������������������������������������������������������������������������������������������178 Step 5: Configuring the Buttons to Operate the Scene ��������������������������������������������������������179 Step 6: Connecting the Scene to the Azure Resource ���������������������������������������������������������186 Step 7: Test the Application in Device ����������������������������������������������������������������������������������187 Summary�����������������������������������������������������������������������������������������������������������������������������������188 Chapter 9: Shared Experiences ����������������������������������������������������������������������������189 What Are Shared Experiences? �������������������������������������������������������������������������������������������������189 Multiuser Capabilities Tutorial ���������������������������������������������������������������������������������������������������189 Setting Up Photon Unity Networking �����������������������������������������������������������������������������������������189 Step 1: Creating New Unity Scene ���������������������������������������������������������������������������������������190 Step 2: Enabling Additional Capabilities ������������������������������������������������������������������������������190 Step 3: Installing Inbuilt Unity Packages �����������������������������������������������������������������������������191 Step 4: Importing the Tutorial Assets �����������������������������������������������������������������������������������192 Step 5: Importing the PUN Assets ����������������������������������������������������������������������������������������193 Step 6: Creating the PUN Application ����������������������������������������������������������������������������������195 Step 7: Connecting the Unity Project to the PUN Application ����������������������������������������������196 Connecting Multiple Users ��������������������������������������������������������������������������������������������������������199 Step 1: Preparing the Scene ������������������������������������������������������������������������������������������������199 Step 2: Create and Configure the User ��������������������������������������������������������������������������������201 ix Table of ConTenTs Step 3: Create the Avatar �����������������������������������������������������������������������������������������������������203 Step 4: Create the Prefab ����������������������������������������������������������������������������������������������������204 Step 5: Configuring PUN to Instantiate the User Prefab ������������������������������������������������������206 Sharing Object Movements with Multiple Users �����������������������������������������������������������������������207 Step 1: Preparing the Scene ������������������������������������������������������������������������������������������������207 Step 2: Configuring PUN to Instantiate the Objects �������������������������������������������������������������207 Integrating Azure Spatial Anchors into a Shared Experience ����������������������������������������������������209 Step 1: Preparing the Scene ������������������������������������������������������������������������������������������������210 Step 2: Configuring the Buttons to Operate the Scene ��������������������������������������������������������210 Step 3: Connecting the Scene to the Azure Resource ���������������������������������������������������������214 Trying the Experience with Spatial Alignment ��������������������������������������������������������������������������217 Summary�����������������������������������������������������������������������������������������������������������������������������������218 Chapter 10: Awe-Inspiring Experiences ���������������������������������������������������������������219 What Makes an App Awe Inspiring? ������������������������������������������������������������������������������������������219 Optimization and Performance �������������������������������������������������������������������������������������������������220 How to Monitor for Performance �����������������������������������������������������������������������������������������222 Best Practices for Performance �������������������������������������������������������������������������������������������224 Simplygon ����������������������������������������������������������������������������������������������������������������������������232 Stabilization Plane ���������������������������������������������������������������������������������������������������������������233 Design and Magic ���������������������������������������������������������������������������������������������������������������������236 Best Practices for Design ����������������������������������������������������������������������������������������������������237 Adding Magic: Vuforia ����������������������������������������������������������������������������������������������������������243 Summary�����������������������������������������������������������������������������������������������������������������������������������247 Chapter 11: Turning Holograms into Money ���������������������������������������������������������249 Publishing Your App to the Microsoft Store �������������������������������������������������������������������������������250 Freelancing and Contracts ��������������������������������������������������������������������������������������������������������251 Where to Find Mixed Reality Freelance Opportunities ���������������������������������������������������������252 Increasing Your Chances of Winning a Contract ������������������������������������������������������������������253 Future Opportunities Today �������������������������������������������������������������������������������������������������������254 Summary�����������������������������������������������������������������������������������������������������������������������������������254 x