signal processing based on multilinear algebra signal processing based on multilinear algebra

150 Pages·2006·1.69 MB·English

KATHOLIEKEUNIVERSITEITLEUVEN KATHOLIEKEUNIVERSITEITLEUVEN
FACULTEITDERTOEGEPASTEWETENSCHAPPEN FACULTEITDERTOEGEPASTEWETENSCHAPPEN
DEPARTEMENTELEKTROTECHNIEK DEPARTEMENTELEKTROTECHNIEK
KardinaalMercierlaan94,3001Leuven(Heverlee) KardinaalMercierlaan94,3001Leuven(Heverlee)
A A
SIGNAL PROCESSING SIGNAL PROCESSING
BASED ON BASED ON
MULTILINEAR ALGEBRA MULTILINEAR ALGEBRA
Promotoren: Proefschriftvoorgedragentot Jury: Proefschriftvoorgedragentot
Prof.dr.ir.J.Vandewalle hetbehalenvanhetdoctoraat Prof.Y.Willems,vice-decaan,voorzitter hetbehalenvanhetdoctoraat
Prof.dr.ir.B.DeMoor indetoegepastewetenschappen Prof.J.Vandewalle,promotor indetoegepastewetenschappen
Prof.B.DeMoor,promotor
door door
Prof. P.Comon(EURECOM,France)
LievenDELATHAUWER Prof. J.McWhirter(DERA,U.K.) LievenDELATHAUWER
Prof. S.VanHu(cid:11)el
Prof. A.Bultheel
September1997 U.D.C.681.3*I54 September1997
Voorwoord
Bijhetbe(cid:127)eindigenvanditdoctoraatishetgepasteenaantalmensentebedan-
ken. Vooreerstgaatmijndankuitnaardebeidepromotorenvanditonderzoek,
Prof. BartDeMoorenProf. JoosVandewalle,dieSISTAhebbenuitgebouwd
toteenuitmuntendeonderzoeksgroepeneenverrijkendenstimulerendmilieu.
Ikbenhenerkentelijkdatzemijdekanshebbengegevenopverkenningtegaan
opeenmisschiennietvoordehandliggendonbekendterrein. Deinteressevan
Joosvoormijnonderzoekheefteenbelangrijkaspectgevormdvanhetklimaat
waarinik hebgewerkt. Bartis de kampioenvande geestdriftige motiveringen
en ik heb het door hem met veel (cid:13)air propageren van tensoren in numerieke
algebra-kringenweten teappreci(cid:127)eren.
Het leescomit(cid:19)e, Prof. Sabine Van Hu(cid:11)el en Prof. Adhemar Bultheel, wil ik
speciaalbedankenvoorhetopzeerkortetijd,indeexamenperiode,zorgvuldig
nalezenvaneeneersteversievanditproefschrift.
I feel honoured that Prof. Pierre Comon and Prof. John McWhirter have
acceptedtobeonthejuryofthisthesis.
Je voudrais remercier Pierre pour les momentsagr(cid:19)eables pass(cid:19)es ensemble sur
et autour de la sc(cid:18)ene SOE. Je garde des souvenirs excellents de ma visite (cid:18)a
Sophia-Antipoliset sesenvironsenjuillet '95.
(cid:13)c KatholiekeUniversiteit Leuven{Faculteit ToegepasteWetenschappen
Arenbergkasteel,B-3001Heverlee (Belgium) IwouldliketoexpressmygratitudetoJohn,forinvitingmeandBarttogivea
keynotetalkatthe4thIMAConferenceonMathematicsinSignalProcessing,
Allerechtenvoorbehouden. Nietsuitdeze uitgavemagvermenigvuldigden/of
and for the vivid interest that he has always shownin my work. Also thanks
openbaargemaaktwordendoormiddelvandruk,fotocopie,micro(cid:12)lm,elektro-
todr. IanProudler,whocorrectedsomelanguageerrors.
nisch of op welke andere wijze ook zonder voorafgaandeschriftelijke toestem-
mingvandeuitgever. IkdankProf. YvesWillemsalsvoorzittervande jury.
Allrightsreserved. Nopartofthepublicationmaybereproducedinanyform
I would like to thank Prof. Andrew Cichocki, Prof. Asoke Nandi and Prof.
byprint,photoprint,micro(cid:12)lmoranyothermeanswithoutwrittenpermission
ChristianJuttenforinvitingmetospecialconferencesessionsonBlindSource
fromthepublisher.
Separation. I alsothankProf. Michel Kinnaertfor the invitationto submita
D/1997/7515/20 papertoJournal A. I thankProf. Jean-Franc(cid:24)oisCardoso,Prof. Gene Golub,
Prof. Peter Ladefoged and Prof. Robert Ross for the interesting discussions,
ISBN90-5682-085-0
i
ii Voorwoord
feed-back andhelpful suggestions. In het bijzonderzou ik dr. Alle-Jan van
der Veen willen bedanken, voor het aanwijzen van referentie [266], en Jeroen
Dehaene, voor de bereidwillige hulp i.v.m. principes van di(cid:11)erentiaalmeet-
kunde.
Mijn bureaugenoten Peter, Jeroen, Yves, ex-bureaugenoten Filiep, Bart en
de andere collega's (Willem!) wil ik bedanken voorde aangenamesfeer. Een
bijzonderwoordjevandankaanBartDS,bijwieiknooitvergeefsbengaanaan-
Abstract
kloppenbijcomputerproblemen,enBartM,voordeadministratieveco(cid:127)ordinatie
van SISTA. Uiteraard wil ik ook de secretaresses Ida, Rebecca, Ingrid, Rita,
Lut, Patricia,Annendesysteemploegnietvergeten.
IkdankookhetI.W.O.N.L. enhetI.W.T. voorde(cid:12)nanci(cid:127)ele steun.
Numerousimportantresultsinsignalprocessingandsystemtheoryhavebeen
Het feit dat hier nu dit doctoraatswerk ligt, heeft ongetwijfeld heel wat te obtained by means of (cid:12)rst- and second-order tools: vector- and matrix alge-
makenmetderoldiemijnmoederenvaderhebbengespeeld. Tochzouikhen bra, from an algebraic point of view; or mean and variance, in a statistical
vooralwillen bedankenomer te z(cid:19)(cid:16)(cid:19)(cid:17)n. Ik denk hierbij ookaanmeme en pepe. framework. Beyond these boundaries, the emerging discipline of multilinear
Ik wil ookmijn vriendenbedanken, en een pluimpje geven aanmijn zus voor algebraallowsonetodealwithformsthatarenotnecessarilylinearorquadra-
de assistentie bij devoorbereidingvande presentatie. tic; whilst Higher-OrderStatistics (HOS) is onemechanismfor exploiting the
characteristics ofnon-Gaussiansignals.
Gedurendemijndoctoraathebikmedagin,daguitgedragengewetendoorde
liefde vanPatricia. Mijnlieve schat: bedankt!
TheSingularValueDecomposition(SVD)ofmatricesanditssecond-orderge-
neralizationsplayacentralrolefortheanalysisandthesolutionofproblemsin
mathematical engineering. However, generalizing the SVD proves to be di(cid:14)-
cult,duetoitsremarkablenumberofpowerfulproperties;focusingondi(cid:11)erent
aspects may lead to di(cid:11)erent tensor decompositions. We begin by examining
theclaimthatthehigher-ordersingularvectorscorrespondtothedirectionsof
extremalorientedenergy,associatedwiththerowvectors,thecolumnvectors,
etc. (HOSVD). Further, we investigate the least-squares approximation of a
giventensorbyatensorwithpre-speci(cid:12)edcolumnrank,rowrank,::: andthe
least-squaresapproximationbyasumofpossiblynon-orthogonalrank-1terms.
Independent Component Analysis (ICA) is a fundamental concept in HOS,
aimedattheblindseparationofagivendatasetintoamixtureofstatistically
independent components. An ICA can be performed by resorting to multili-
near SVD-extensions. We establish links with the HOSVD, the best rank-1
approximationproblemandthebest rank-Rapproximation.
iii
Korte Inhoud Notation
Talrijkebelangrijkeresultaten insignaalverwerkingen systeemtheorie zijn be- Inthis section we list thesymbolsandacronymsthat occur frequentlyinthis
komenvanuiteeneerste-oftweede-ordebenadering: vector-enmatrixalgebra, thesis. Thenumbersinthelastcolumnrefer tothepageonwhichthesymbol
vanuit een algebra(cid:127)(cid:16)sch standpunt, of verwachte waarde en variantie, in een orconcept inquestionis de(cid:12)ned.
statistisch kader. De opkomendediscipline vanmultilineairealgebralaataan-
vullendtoe te werkenmetvormendie nietnoodzakelijklineairof kwadratisch
zijn; aande anderekant kunnenmetHogere-Orde Statistiek (HOS) de karak-
List of symbols
teristieken vanniet-Gaussiaansesignalenge(cid:127)eploiteerd worden.
De Singuliere Waardenontbinding (SWO) van matrices en haar tweede-orde
jaj absolutevalueofa2R; modulusofa2C
veralgemeningen spelen een centrale rol in de analyse en oplossing van wis- (cid:3)
a complexconjugateof a
kundige ingenieursproblemen. Het feit dat de SWO een merkwaardig aantal
a(cid:24)b aandbbelongtothesameclassofequivalence
krachtigeeigenschappenbundelt,blijftnietzondermeerbehoudenineenmul-
[a;b] closedinterval
tilineairequivalent;deveralgemeningvanverschillendedeelaspectengeeftaan-
(a;b) openinterval
leidingtotverschillendetensordecomposities. Wenemeneerstalsuitgangspunt T
A transposeofA
datdehogere-ordesingulierevectorenovereenkomenmetderichtingenvanex- H
A HermiteantransposeofA
tremalegeori(cid:127)enteerde energie, geassocieerdmetderijvectoren,dekolomvecto- (cid:0)1
A inverseofA
ren,enz. (HOSWO). Verderonderzoekenwedekleinste-kwadratenbenadering y
A Moore-Penrosepseudo-inverseofA
van een gegeven tensor door een tensor met vooraf gespeci(cid:12)eerde kolomrang,
hA;Bi scalarproductofA andB 16
rijrang, ::: en de kleinste-kwadratenbenadering door een som van mogelijks
hAip;q contractionofA overthepthandqthindex 14
niet-orthogonalerang-1termen.
hA;Bip;q innerproductofAandBoverthepthandqth 14
Onafhankelijke ComponentenAnalyse (OCA) is een fundamenteel concept in indexrespectively
HOS;hetdoelisdeblindescheidingvanmeerkanaalsmeetgegevensineencom- kAk( kAk,kAk) Frobenius-normofA(A ,A) 17
binatie vanstatistisch onafhankelijkecomponenten. Een OCAkanuitgevoerd kAkLF (kAkUF) Frobenius-norm of the lower-triangular 220
worden door gebruik te maken van multilineaire SWO-veralgemeningen. We (upper-triangular)partof A
ontwikkelenverbandenmetdeHOSWO,hetbesterang-1benaderingsprobleem rXf gradientoff toX
en dede besterang-Rbenadering. kAkLFs (kAkUFs) Frobenius-normofthestrictlylower-triangular 220
(upper-triangular)partof A
A(cid:10)B KroneckerproductofAandB 219
A(cid:12)B Kathri-Raoproductof AandB 219
A(cid:14)B outerproductofAandB 13
A(cid:2)nA n-modeproductofA andA 14
iv v
vi Notation Notation vii
Ai1:i2;j1:j2 submatrix of A with row index varying from OEn(X;A) n-mode oriented energy of A in the direction 52
i1 to i2 and column index varying from j1 to of unit-normvectorX
j2 P(i1;i2;::: ;iN) permutationofi1;i2;::: ;iN 17
Ai=(cid:11) subtensorofA,obtainedby(cid:12)xingtheindexi Probfxg probabilityofrealization ofx
to(cid:11) pX(x) probabilitydensityfunctionofX
A(n) standardmatrixunfoldingof A 18 R set of therealnumbers
A(X) associatedpolynomialof A 23 R0 set of therealnumbersexcept for0:
C set ofthecomplexnumbers R0 =Rnf0g
I +
C set ofcomplex-valuedI-dimensionalvectors R set of thenonnegativereal numbers
I(cid:2)J I
C setofthe(I(cid:2)J)-matriceswithcomplexentries 219 R set of real-valuedI-dimensionalvectors
CI1(cid:2)I2(cid:2):::(cid:2)IN setofcomplex-valued(I1(cid:2)I2(cid:2):::IN)-tensors 10 RI(cid:2)J set of the(I(cid:2)J)-matriceswithrealentries 219
cXN NthordercumulantoftherandomvariableX 31 RI1(cid:2)I2(cid:2):::(cid:2)IN set of real-valued(I1(cid:2)I2(cid:2):::IN)-tensors 10
CumfX1;X2;::: ;XNgjoint Nth order cumulant of the stochastic 32 R(A) rangeofA 219
variablesX1;X2;::: ;XN Re(x) real partofx
X
CN Nth order cumulant tensor of the stochastic 31 R=rank(A) rankofA 19
vectorX Rn=rankn(A) n-rankofA 19
:::d=ef ::: ::: equalsbyde(cid:12)nition::: sXN(!1;!2;::: ;!N(cid:0)1) Nthordercumulantspectrumof X(t) 32
dim(V) dimensionof thevector spaceV St(J;I) Stiefel manifoldof(I(cid:2)J)-matrices 220
det(A) determinantofA 219 sign(a) signumfunction 65
diag(a;b;:::) diagonalmatrixwithdiagonalentries a;b;::: 219 spanfX;Y;::: ;Zg vector spacespannedbyX;Y;::: ;Z
diag(A) (diag(A)) diagonalpartofmatrixA(tensor A) 219 skew(A) skew-symmetricpartofmatrixA 219
EfXg expected valueofX trace(A) trace ofA 219
G (2(cid:2)2)Givensrotationmatrix 223 U(I) manifoldofunitary(I(cid:2)I)-matrices 220
Gij Givensrotationmatrix,a(cid:11)ectingrowsiandj 223 upp(A) upper-diagonalpartof matrixA 219
Im(x) imaginarypartofx varfXg varianceofX 32
I unitmatrix (cid:13)X skewnessofX 32
I unittensor 25 (cid:14)ij Kronecker-delta 25
I(X) averagemutualinformationofX 130 (cid:14)(x) Dirac-impulse
(cid:14)f
J (2(cid:2)2)Jacobirotationmatrix 223 (cid:14)x partialderivativeoff withrespecttox
Jij Jacobirotationmatrix,a(cid:11)ectingrowsiandj 223 (cid:20)X kurtosisof X 32
min(a;b;:::) minimumofa;b;::: (cid:27)i ith singularvalue 221
(n)
max(a;b;:::) maximumofa;b;::: (cid:27)i ith n-modesingularvalue 48
mXN NthordermomentoftherandomvariableX 30 (cid:27)X standarddeviationofX 32
MomfX1;X2;::: ;XNgjointNthordermomentofthestochasticvari- 30 (cid:5)ii2=i1ai productofthevaluesai1 toai2
ablesX1;X2;::: ;XN (cid:5)iai productofthevaluesai,forvaryingi
MXN Nth order moment tensor of the stochastic 31 (cid:6)ii2=i1ai sumofthevaluesai1 toai2
vectorX (cid:6)iai sumoverthevaluesai,forvaryingi
mX meanofX 30 (cid:8)X(!) (cid:12)rstcharacteristic functionofX 29
O(I) manifoldof orthogonal(I(cid:2)I)-matrices 220 (cid:9)X(!) secondcharacteristic functionofX 30
O(x) any real function f(x) such that
limsupjf(x)j=x is(cid:12)nite
x!0
Remark: The notation used in the thesis allows one to distinguish between
OE(X;A) oriented energy of A in the direction of unit- 222
scalars,vectors,matricesandhigher-ordertensors. Lower-casecharactersrep-
normvectorX
resent scalar values (a;b;:::). Non-boldface capitals (A;B;:::) are used for
vectors. Boldface capitals (A, B, ::: ) represent matrices. Calligraphic cap-
viii Notation Notation ix
itals (A, B, ::: ) represent tensors. This notation is consistently used for SIR SignaltoInterference Ratio 130
lower-order parts of a given structure. E.g. the entry with row index i and SNR SignaltoNoise Ratio 130
columnindexj inamatrixA,(A)ij,issymbolizedbyaij (also(A)i=ai and STOTD SimultaneousThird-OrderTensorDiagonalization 174
(A)i1i2:::iN =ai1i2:::iN);similarly,theithcolumnvectorofamatrixAiscalled SVD SingularValueDecomposition 221
Ai. Therearetwoexceptionstothisrule. First,indicesareinprinciplechosen
amongthesymbolsi;j;k;p;q;r;n;withthisrespect,I;J;K;P;Q;R;N indicate
theindexupper-bounds,unlessstatedotherwise. Secondly,instatisticalsignal
processing it is commonto use capital and lower-case characters to makethe
distinctionbetweenastochasticvariableX andasamplevaluextakenbythis
variable. The scalar or vectorial nature of a stochastic variable will be clear
fromthecontext.
Acronyms
ALS AlternatingLeastSquares 68
BSPM BodySurfacePotential Mapping 201
BSS BlindSourceSeparation 123
BSSS BlindSourceSubspaceSeparation 205
CANDECOMP CanonicalDecomposition 92
CL Comon-Lacoume 154
DOA Directionof Arrival 199
ECG Electrocardiogram 201
EVD EigenvalueDecomposition 220
FECG FetalElectrocardiogram 202
FHR FetalHeartRate 202
FHRV FetalHeartRateVariability 202
HOEVD Higher-OrderEigenvalueDecomposition 57
HOS Higher-OrderStatistics 29
HOSVD Higher-OrderSingularValueDecomposition 47
ICA Independent ComponentAnalysis 122
ISR Interference toSignalRatio 130
JADE JointApproximateDiagonalizationof Eigenmatrices 182
LCMV LinearlyConstrainedMinimumVariance 131
MD MaximalDiagonality 154
MECG MaternalElectrocardiogram 203
MVDR MinimumVarianceDistortionlessResponse 130
PARAFAC ParallelFactors 92
PCA PrincipalComponentAnalysis 125
PSK PhaseShiftKeying 39
QAM QuadratureAmplitudeModulation 39
QRD QRDecomposition 220
RMSE RootMeanSquareError 131
SINR SignaltoInterference-plus-Noise Ratio 130
Contents
Voorwoord i
Abstract iii
Abstract in Dutch iv
Notation v
Contents xi
Summary in Dutch xix
1 Introduction 1
1.1 Generaloverview . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Chapterbychapteroverview . . . . . . . . . . . . . . . . . . . 5
2 Introduction to MultilinearAlgebra 9
2.1 Higher-ordertensors . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2 Basictensoroperations . . . . . . . . . . . . . . . . . . . . . . 13
2.3 Multiplicationof ahigher-ordertensorbyamatrix . . . . . . . 14
2.4 Scalarproduct,orthogonality,norm . . . . . . . . . . . . . . . 16
2.5 Matrixrepresentationofahigher-ordertensor . . . . . . . . . . 17
xi
xii Contents Contents xiii
2.6 Rankpropertiesofahigher-ordertensor . . . . . . . . . . . . . 19 4.3 DerivationoftheHOSVD-theorem . . . . . . . . . . . . . . . . 50
2.7 Super-symmetrictensors . . . . . . . . . . . . . . . . . . . . . . 22 4.4 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.8 Tensorsaslineartransformations . . . . . . . . . . . . . . . . . 23 4.5 Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.8.1 Lineartransformations. . . . . . . . . . . . . . . . . . . 24 4.6 Higher-OrderEigenvalueDecomposition . . . . . . . . . . . . . 55
2.8.2 Unittensor . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.7 First-orderperturbationanalysis . . . . . . . . . . . . . . . . . 58
2.8.3 EigenvalueDecomposition . . . . . . . . . . . . . . . . . 26 4.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.8.4 SingularValueDecomposition. . . . . . . . . . . . . . . 27
5 Best Rank-1 and Rank-(R1;R2;::: ;RN) Approximation 63
2.9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5.1 Powermethodandorthogonaliteration . . . . . . . . . . . . . 64
3 Introductionto Higher-OrderStatistics 29 5.2 Higher-orderpoweriteration. . . . . . . . . . . . . . . . . . . . 65
3.1 Characteristicfunctions . . . . . . . . . . . . . . . . . . . . . . 29 5.2.1 Bestrank-1approximation . . . . . . . . . . . . . . . . 66
3.2 Moments,cumulantsandspectra . . . . . . . . . . . . . . . . . 30 5.2.2 Apoweralgorithm . . . . . . . . . . . . . . . . . . . . . 68
3.2.1 Moments . . . . . . . . . . . . . . . . . . . . . . . . . . 30 5.2.3 Startingvalue. . . . . . . . . . . . . . . . . . . . . . . . 72
3.2.2 Cumulants . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.2.4 Gradientexpressions . . . . . . . . . . . . . . . . . . . . 76
3.2.3 Spectra . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 5.3 Higher-orderorthogonaliteration . . . . . . . . . . . . . . . . . 77
3.2.4 Relationsbetween momentsandcumulants . . . . . . . 33 5.3.1 Bestrank-(R1;R2;::: ;RN)approximation . . . . . . . 78
3.2.5 Propertiesofmomentsandcumulants . . . . . . . . . . 34 5.3.2 Anorthogonaliteration . . . . . . . . . . . . . . . . . . 80
3.3 Shapeoftheprobabilitydensityfunction . . . . . . . . . . . . 38 5.3.3 Gradientexpressions . . . . . . . . . . . . . . . . . . . . 84
3.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 5.4 Higher-OrderHessenbergDecomposition . . . . . . . . . . . . . 85
3.5 EstimationofHOS . . . . . . . . . . . . . . . . . . . . . . . . . 40 5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
3.5.1 Estimationofmoments . . . . . . . . . . . . . . . . . . 40
6 The Canonical Decomposition 91
3.5.2 Estimationofcumulants . . . . . . . . . . . . . . . . . . 42
6.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
6.2 CANDECOMPandsimultaneousEVD . . . . . . . . . . . . . 95
4 The Higher-OrderSingularValue Decomposition 45 6.3 CANDECOMPandsimultaneousgeneralizedSchurdecomposition 99
4.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 6.4 Algorithmsforthesimultaneousgeneralized Schurdecomposition101
4.2 TheHigher-OrderSingularValueDecomposition . . . . . . . . 46 6.4.1 ExtendedQZ-iteration . . . . . . . . . . . . . . . . . . . 101
xiv Contents Contents xv
6.4.2 One-sidedGivensiterations . . . . . . . . . . . . . . . . 102 7.8 Literatureoverview . . . . . . . . . . . . . . . . . . . . . . . . . 140
6.4.3 Two-sidedJacobiiterations . . . . . . . . . . . . . . . . 105 7.9 ICAbymerePCA?. . . . . . . . . . . . . . . . . . . . . . . . . 144
6.4.4 Gradient-basedoptimization . . . . . . . . . . . . . . . 109 7.10 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
6.5 Amatrixrepresentation . . . . . . . . . . . . . . . . . . . . . . 110
8 ICA and Higher-OrderBest Rank-1 Approximation 153
6.6 Least-squaresmodel(cid:12)tting . . . . . . . . . . . . . . . . . . . . 112
8.1 TheMaximalDiagonalityapproachtoICA . . . . . . . . . . . 154
6.6.1 ALSdescent . . . . . . . . . . . . . . . . . . . . . . . . 112
8.1.1 Basicidea . . . . . . . . . . . . . . . . . . . . . . . . . . 154
6.6.2 Gradient. . . . . . . . . . . . . . . . . . . . . . . . . . . 113
8.1.2 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.7 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
8.2 Fourth-orderJacobi-rotationsandbest rank-1approximation . 160
6.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
8.2.1 DeterminationofaJacobi-rotation . . . . . . . . . . . . 161
8.2.2 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . 164
7 IndependentComponent Analysis and (HO)SVD 121
8.2.3 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.1 IndependentComponentAnalysis. . . . . . . . . . . . . . . . . 122
8.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.2 Atwo-stageprocedure . . . . . . . . . . . . . . . . . . . . . . . 123
7.2.1 Step1: prewhitening . . . . . . . . . . . . . . . . . . . . 123
9 ICA and (Simultaneous)Third-Order Tensor Diagonalization171
7.2.2 Step2: determinationofQfromthehigher-orderstatis-
9.1 TheMDtechnique forthird-ordercumulants . . . . . . . . . . 172
tics ofY . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
9.2 ICAbySimultaneousThird-OrderTensorDiagonalization . . . 174
7.3 Identi(cid:12)ability . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
9.2.1 Basicidea . . . . . . . . . . . . . . . . . . . . . . . . . . 174
7.4 PCAversusICA . . . . . . . . . . . . . . . . . . . . . . . . . . 128
9.2.2 Computation . . . . . . . . . . . . . . . . . . . . . . . . 176
7.5 Contrastfunctions . . . . . . . . . . . . . . . . . . . . . . . . . 129
9.2.3 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.6 PerformanceofICA . . . . . . . . . . . . . . . . . . . . . . . . 130
9.2.4 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.6.1 Measuresofperformance . . . . . . . . . . . . . . . . . 130
9.3 TheJADE-algorithm. . . . . . . . . . . . . . . . . . . . . . . . 182
7.6.2 Invarianceanduniformperformance . . . . . . . . . . . 131
9.4 AnalgebraicframeworkforICA . . . . . . . . . . . . . . . . . 185
7.6.3 E(cid:11)ect ofprewhitening . . . . . . . . . . . . . . . . . . . 132
9.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.7 ICAbymeansof HOSVD . . . . . . . . . . . . . . . . . . . . . 135
7.7.1 Principle . . . . . . . . . . . . . . . . . . . . . . . . . . 135 10ICA and CANDECOMP 187
7.7.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . 135 10.1 Higher-order-onlyICA . . . . . . . . . . . . . . . . . . . . . . . 187
7.7.3 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . 138 10.1.1 Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
xvi Contents Contents xvii
10.1.2 Identi(cid:12)ability . . . . . . . . . . . . . . . . . . . . . . . . 188 Bibliography 235
10.1.3 SimultaneousgeneralizedSchurdecompositionvsJADE 189
10.1.4 TheequivalentofPCAinhigher-order-onlyICA . . . . 190
10.2 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
10.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
11 Applications 195
11.1 Factoranalysisof tongueshapes . . . . . . . . . . . . . . . . . 195
11.1.1 Modellingthevocaltract duringvowelproduction . . . 195
11.1.2 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
11.1.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 197
11.2 Blindbeamforminginwireless communications . . . . . . . . . 199
11.3 FECGextractionbyBSSS. . . . . . . . . . . . . . . . . . . . . 201
11.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 201
11.3.2 Extractionof theFECGfromabdominalrecordings . . 203
11.3.3 Extractionof theFECGwithBSSS . . . . . . . . . . . 204
11.3.4 Example. . . . . . . . . . . . . . . . . . . . . . . . . . . 206
11.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
12 Conclusion 211
12.1 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
12.2 Suggestionsforfurtherresearch . . . . . . . . . . . . . . . . . . 215
A Matrix De(cid:12)nitions 219
B The MultivariateGaussian Distribution 225
C Derivations 227