From Algebraic Structures to Tensors (Digital Signal and Image Processing: Matrices and Tensors in Signal Processing Set)

311 Pages·2020·2.281 MB·English

by  Gérard Favier (editor)

From Algebraic Structures to Tensors
Matrices and Tensors in Signal Processing Set
coordinated by
Gérard Favier
Volume 1
From Algebraic Structures
to Tensors

Edited by

Gérard Favier
First published 2019 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc.
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced,
stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentioned address:
ISTE Ltd John Wiley & Sons, Inc.
27-37 St George’s Road 111 River Street
London SW19 4EU Hoboken, NJ 07030
UK USA
www.iste.co.uk www.wiley.com

© ISTE Ltd 2019
The rights of Gérard Favier to be identified as the author of this work have been asserted by him in
accordance with the Copyright, Designs and Patents Act 1988.
Library of Congress Control Number: 2019945792

British Library Cataloguing-in-Publication Data
A CIP record for this book is available from the British Library
ISBN 978-1-78630-154-3
Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
Chapter1.HistoricalElementsofMatricesandTensors . . . . . . . 1
Chapter2.AlgebraicStructures . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.Afewhistoricalelements . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2.Chaptersummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3.Sets. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.1.Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.2.Setsofnumbers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.3.Cartesianproductofsets. . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.4.Setoperations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.5.DeMorgan’slaws . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.6.Characteristicfunctions . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.7.Partitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.8.σ-algebrasorσ-fields . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.9.Equivalencerelations . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.10.Orderrelations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.Mapsandcompositionofmaps . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.1.Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.2.Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.3.Compositionofmaps . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.5.Algebraicstructures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.5.1.Lawsofcomposition . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.5.2.Definitionofalgebraicstructures . . . . . . . . . . . . . . . . . . . 22
2.5.3.Substructures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.4.Quotientstructures . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.5.Groups. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
vi FromAlgebraicStructurestoTensors
2.5.6.Rings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5.7.Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.8.Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5.9.Vectorspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5.10.Vectorspacesoflinearmaps. . . . . . . . . . . . . . . . . . . . . 38
2.5.11.Vectorspacesofmultilinearmaps. . . . . . . . . . . . . . . . . . 39
2.5.12.Vectorsubspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5.13.Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.5.14.Sumanddirectsumofsubspaces . . . . . . . . . . . . . . . . . . 45
2.5.15.Quotientvectorspaces . . . . . . . . . . . . . . . . . . . . . . . . 47
2.5.16.Algebras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.6.Morphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6.1.Groupmorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6.2.Ringmorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.6.3.Morphismsofvectorspacesorlinearmaps . . . . . . . . . . . . . 51
2.6.4.Algebramorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Chapter 3. Banach and Hilbert Spaces – Fourier Series and
OrthogonalPolynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.1.Introductionandchaptersummary . . . . . . . . . . . . . . . . . . . . . 57
3.2.Metricspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2.1.Definitionofdistance . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.2.2.Definitionoftopology . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.2.3.Examplesofdistances . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.2.4.Inequalitiesandequivalentdistances . . . . . . . . . . . . . . . . . 62
3.2.5.Distanceandconvergenceofsequences . . . . . . . . . . . . . . . 62
3.2.6.Distanceandlocalcontinuityofafunction . . . . . . . . . . . . . 62
3.2.7.IsometriesandLipschitzianmaps . . . . . . . . . . . . . . . . . . 63
3.3.Normedvectorspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3.1.Definitionofnormandtriangleinequalities . . . . . . . . . . . . . 63
3.3.2.Examplesofnorms. . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.3.3.Equivalentnorms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.3.4.Distanceassociatedwithanorm . . . . . . . . . . . . . . . . . . . 69
3.4.Pre-Hilbertspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.4.1.Realpre-Hilbertspaces . . . . . . . . . . . . . . . . . . . . . . . . 70
3.4.2.Complexpre-Hilbertspaces . . . . . . . . . . . . . . . . . . . . . . 70
3.4.3.Norminducedfromaninnerproduct. . . . . . . . . . . . . . . . . 72
3.4.4.Distanceassociatedwithaninnerproduct . . . . . . . . . . . . . . 75
3.4.5.Weightedinnerproducts . . . . . . . . . . . . . . . . . . . . . . . . 76
3.5.Orthogonalityandorthonormalbases . . . . . . . . . . . . . . . . . . . 76
3.5.1.Orthogonal/perpendicularvectorsandPythagoreantheorem . . . 76
3.5.2.Orthogonalsubspacesandorthogonalcomplement. . . . . . . . . 77
3.5.3.Orthonormalbases . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.5.4.Orthogonal/unitaryendomorphismsandisometries . . . . . . . . 79
Contents vii
3.6.Gram–Schmidtorthonormalizationprocess . . . . . . . . . . . . . . . . 80
3.6.1.Orthogonalprojectionontoasubspace. . . . . . . . . . . . . . . . 80
3.6.2.OrthogonalprojectionandFourierexpansion . . . . . . . . . . . . 80
3.6.3.Bessel’sinequalityandParseval’sequality . . . . . . . . . . . . . 82
3.6.4.Gram–Schmidtorthonormalizationprocess . . . . . . . . . . . . . 83
3.6.5.QRdecomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.6.6.Applicationtotheorthonormalizationofasetoffunctions . . . . 86
3.7.BanachandHilbertspaces . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.7.1.Completemetricspaces . . . . . . . . . . . . . . . . . . . . . . . . 88
3.7.2.Adherence,densityandseparability . . . . . . . . . . . . . . . . . 90
3.7.3.BanachandHilbertspaces . . . . . . . . . . . . . . . . . . . . . . 91
3.7.4.Hilbertbases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
3.8.Fourierseriesexpansions . . . . . . . . . . . . . . . . . . . . . . . . . . 97
3.8.1.Fourierseries,Parseval’sequalityandBessel’sinequality . . . . . 97
3.8.2.Caseof2π-periodicfunctionsfromRtoC . . . . . . . . . . . . . 97
3.8.3.T-periodicfunctionsfromRtoC . . . . . . . . . . . . . . . . . . 102
3.8.4.PartialFouriersumsandBessel’sinequality. . . . . . . . . . . . . 102
3.8.5.ConvergenceofFourierseries. . . . . . . . . . . . . . . . . . . . . 103
3.8.6.ExamplesofFourierseries . . . . . . . . . . . . . . . . . . . . . . 108
3.9.Expansionsoverbasesoforthogonalpolynomials . . . . . . . . . . . . 117
Chapter4.MatrixAlgebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4.1.Chaptersummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4.2.Matrixvectorspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.2.1.Notationsanddefinitions . . . . . . . . . . . . . . . . . . . . . . . 124
4.2.2.Partitionedmatrices . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.2.3.Matrixvectorspaces . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4.3.Somespecialmatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.4.Transpositionandconjugatetransposition . . . . . . . . . . . . . . . . . 128
4.5.Vectorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
4.6.Vectorinnerproduct,normandorthogonality . . . . . . . . . . . . . . . 130
4.6.1.Innerproduct . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
4.6.2.Euclidean/Hermitiannorm . . . . . . . . . . . . . . . . . . . . . . 131
4.6.3.Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.7.Matrixmultiplication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
4.7.1.Definitionandproperties . . . . . . . . . . . . . . . . . . . . . . . 132
4.7.2.Powersofamatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
4.8.Matrixtrace,innerproductandFrobeniusnorm . . . . . . . . . . . . . 137
4.8.1.Definitionandpropertiesofthetrace. . . . . . . . . . . . . . . . . 137
4.8.2.Matrixinnerproduct . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.8.3.Frobeniusnorm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.9.Subspacesassociatedwithamatrix. . . . . . . . . . . . . . . . . . . . . 139
viii FromAlgebraicStructurestoTensors
4.10.Matrixrank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
4.10.1.Definitionandproperties . . . . . . . . . . . . . . . . . . . . . . . 141
4.10.2.Sumanddifferencerank . . . . . . . . . . . . . . . . . . . . . . . 143
4.10.3.Subspacesassociatedwithamatrixproduct . . . . . . . . . . . . 143
4.10.4.Productrank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
4.11.Determinant,inversesandgeneralizedinverses . . . . . . . . . . . . . 145
4.11.1.Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
4.11.2.Matrixinversion. . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
4.11.3.Solutionofahomogeneoussystemoflinearequations . . . . . . 149
4.11.4.Complexmatrixinverse . . . . . . . . . . . . . . . . . . . . . . . 150
4.11.5.Orthogonalandunitarymatrices . . . . . . . . . . . . . . . . . . 150
4.11.6.Involutorymatricesandanti-involutorymatrices . . . . . . . . . 151
4.11.7.Leftandrightinversesofarectangularmatrix . . . . . . . . . . . 153
4.11.8.Generalizedinverses . . . . . . . . . . . . . . . . . . . . . . . . . 155
4.11.9.Moore–Penrosepseudo-inverse . . . . . . . . . . . . . . . . . . . 157
4.12.Multiplicativegroupsofmatrices . . . . . . . . . . . . . . . . . . . . . 158
4.13.Matrixassociatedtoalinearmap . . . . . . . . . . . . . . . . . . . . . 159
4.13.1.Matrixrepresentationofalinearmap. . . . . . . . . . . . . . . . 159
4.13.2.Changeofbasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
4.13.3.Endomorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
4.13.4.Nilpotentendomorphisms . . . . . . . . . . . . . . . . . . . . . . 166
4.13.5.Equivalent,similarandcongruentmatrices . . . . . . . . . . . . 167
4.14.Matrixassociatedwithabilinear/sesquilinearform . . . . . . . . . . . 168
4.14.1.Definitionofabilinear/sesquilinearmap . . . . . . . . . . . . . . 168
4.14.2.Matrixassociatedtoabilinear/sesquilinearform . . . . . . . . . 170
4.14.3.Changesofbaseswithabilinearform . . . . . . . . . . . . . . . 170
4.14.4.Changesofbaseswithasesquilinearform . . . . . . . . . . . . . 171
4.14.5.Symmetricbilinear/sesquilinearforms . . . . . . . . . . . . . . . 172
4.15.QuadraticformsandHermitianforms . . . . . . . . . . . . . . . . . . 174
4.15.1.Quadraticforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
4.15.2.Hermitianforms. . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
4.15.3.Positive/negativedefinitequadratic/Hermitianforms . . . . . . . 177
4.15.4.Examplesofpositivedefinitequadraticforms . . . . . . . . . . . 178
4.15.5.Cauchy–SchwarzandMinkowskiinequalities . . . . . . . . . . . 179
4.15.6.Orthogonality,rank,kernelanddegenerationofabilinearform . 180
4.15.7.GaussreductionmethodandSylvester’sinertialaw. . . . . . . . 181
4.16.Eigenvaluesandeigenvectors . . . . . . . . . . . . . . . . . . . . . . . 184
4.16.1.CharacteristicpolynomialandCayley–Hamiltontheorem . . . . 184
4.16.2.Righteigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . 186
4.16.3.Spectrumandregularity/singularityconditions . . . . . . . . . . 187
4.16.4.Lefteigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
4.16.5.Propertiesofeigenvectors . . . . . . . . . . . . . . . . . . . . . . 188
4.16.6.Eigenvaluesandeigenvectorsofaregularizedmatrix . . . . . . . 190
4.16.7.Otherpropertiesofeigenvalues . . . . . . . . . . . . . . . . . . . 190
Contents ix
4.16.8.Symmetric/Hermitianmatrices . . . . . . . . . . . . . . . . . . . 191
4.16.9.Orthogonal/unitarymatrices . . . . . . . . . . . . . . . . . . . . . 193
4.16.10.EigenvaluesandextremaoftheRayleighquotient . . . . . . . . 194
4.17.Generalizedeigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Chapter5.PartitionedMatrices . . . . . . . . . . . . . . . . . . . . . . . . 199
5.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
5.2.Submatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
5.3.Partitionedmatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
5.4.Matrixproductsandpartitionedmatrices . . . . . . . . . . . . . . . . . 202
5.4.1.Matrixproducts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
5.4.2.VectorKroneckerproduct . . . . . . . . . . . . . . . . . . . . . . . 202
5.4.3.MatrixKroneckerproduct . . . . . . . . . . . . . . . . . . . . . . . 202
5.4.4.Khatri–Raoproduct . . . . . . . . . . . . . . . . . . . . . . . . . . 204
5.5.Specialcasesofpartitionedmatrices . . . . . . . . . . . . . . . . . . . . 205
5.5.1.Block-diagonalmatrices . . . . . . . . . . . . . . . . . . . . . . . . 205
5.5.2.Signaturematrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
5.5.3.Directsum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
5.5.4.Jordanforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
5.5.5.Block-triangularmatrices . . . . . . . . . . . . . . . . . . . . . . . 206
5.5.6.BlockToeplitzandHankelmatrices . . . . . . . . . . . . . . . . . 207
5.6.Transpositionandconjugatetransposition . . . . . . . . . . . . . . . . . 207
5.7.Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
5.8.Vectorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
5.9.Blockwiseaddition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
5.10.Blockwisemultiplication . . . . . . . . . . . . . . . . . . . . . . . . . . 209
5.11.Hadamardproductofpartitionedmatrices . . . . . . . . . . . . . . . . 209
5.12.Kroneckerproductofpartitionedmatrices . . . . . . . . . . . . . . . . 210
5.13.Elementaryoperationsandelementarymatrices . . . . . . . . . . . . . 212
5.14.Inversionofpartitionedmatrices . . . . . . . . . . . . . . . . . . . . . 214
5.14.1.Inversionofblock-diagonalmatrices . . . . . . . . . . . . . . . . 215
5.14.2.Inversionofblock-triangularmatrices . . . . . . . . . . . . . . . 215
5.14.3.Block-triangularizationandSchurcomplements . . . . . . . . . 216
5.14.4.Block-diagonalizationandblock-factorization. . . . . . . . . . . 216
5.14.5.Block-inversionandpartitionedinverse . . . . . . . . . . . . . . 217
5.14.6.Otherformulaeforthepartitioned2×2inverse . . . . . . . . . 218
5.14.7.Solutionofasystemoflinearequations . . . . . . . . . . . . . . 219
5.14.8.InversionofapartitionedGrammatrix . . . . . . . . . . . . . . . 220
5.14.9.Iterativeinversionofapartitionedsquarematrix . . . . . . . . . 220
5.14.10.Matrixinversionlemmaandapplications . . . . . . . . . . . . . 221
5.15.Generalizedinversesof2×2blockmatrices . . . . . . . . . . . . . . 222
5.16.Determinantsofpartitionedmatrices . . . . . . . . . . . . . . . . . . . 224
5.16.1.Determinantofblock-diagonalmatrices . . . . . . . . . . . . . . 224
5.16.2.Determinantofblock-triangularmatrices . . . . . . . . . . . . . 225
x FromAlgebraicStructurestoTensors
5.16.3.Determinantofpartitionedmatriceswithsquarediagonalblocks 225
5.16.4.Determinantsofspecificpartitionedmatrices . . . . . . . . . . . 226
5.16.5.EigenvaluesofCBandBC . . . . . . . . . . . . . . . . . . . . . 227
5.17.Rankofpartitionedmatrices . . . . . . . . . . . . . . . . . . . . . . . . 228
5.18.Levinson–Durbinalgorithm . . . . . . . . . . . . . . . . . . . . . . . . 229
5.18.1.ARprocessandYule–Walkerequations . . . . . . . . . . . . . . 230
5.18.2.Levinson–Durbinalgorithm . . . . . . . . . . . . . . . . . . . . . 232
5.18.3.Linearprediction . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
Chapter6.TensorSpacesandTensors . . . . . . . . . . . . . . . . . . . 243
6.1.Chaptersummary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
6.2.Hypermatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
6.2.1.Hypermatrixvectorspaces . . . . . . . . . . . . . . . . . . . . . . 244
6.2.2.HypermatrixinnerproductandFrobeniusnorm . . . . . . . . . . 245
6.2.3.Contractionoperationandn-modehypermatrix–matrixproduct . 245
6.3.Outerproducts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
6.4.Multilinearforms,homogeneouspolynomialsandhypermatrices. . . . 251
6.4.1.Hypermatrixassociatedtoamultilinearform . . . . . . . . . . . . 251
6.4.2.Symmetricmultilinearformsandsymmetrichypermatrices . . . . 252
6.5.Multilinearmapsandhomogeneouspolynomials . . . . . . . . . . . . . 255
6.6.Tensorspacesandtensors . . . . . . . . . . . . . . . . . . . . . . . . . . 255
6.6.1.Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
6.6.2.Multilinearityandassociativity . . . . . . . . . . . . . . . . . . . . 257
6.6.3.Tensorsandcoordinatehypermatrices . . . . . . . . . . . . . . . . 257
6.6.4.Canonicalwritingoftensors . . . . . . . . . . . . . . . . . . . . . 258
6.6.5.ExpansionofthetensorproductofN vectors . . . . . . . . . . . . 260
6.6.6.Propertiesofthetensorproduct . . . . . . . . . . . . . . . . . . . . 261
6.6.7.Changeofbasisformula . . . . . . . . . . . . . . . . . . . . . . . . 266
6.7.Tensorrankandtensordecompositions . . . . . . . . . . . . . . . . . . 268
6.7.1.Matrixrank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
6.7.2.Hypermatrixrank. . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
6.7.3.Symmetricrankofahypermatrix. . . . . . . . . . . . . . . . . . . 269
6.7.4.Comparativepropertiesofhypermatricesandmatrices. . . . . . . 269
6.7.5.CPDanddimensionalityreduction . . . . . . . . . . . . . . . . . . 271
6.7.6.Tensorrank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
6.8.Eigenvaluesandsingularvaluesofahypermatrix. . . . . . . . . . . . . 274
6.9.Isomorphismsoftensorspaces . . . . . . . . . . . . . . . . . . . . . . . 276
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291