18 TEXTSANDREADINGS INMATHEMATICS T oeplitz Matrices, Asymptotic Linear Algebra and Functional Analysis Texts and Readings in Mathematics Advisory Editor C. S. Seshadri, SPIC Seienee Foundation, Chennai. Managing Editor Rajendra Bhatia, Indian Statistical Institute, New Delhi. Editors V. S. Borkar, Indian Institute of Seience, Bangalore. R. L. Karandikar, Indian Statistieallnstitute, New Delhi. C. Musili, University of Hyderabad, Hyderabad. K. H. Paranjape, Institute of Mathematical Sciences, Chennai. T. R. Ramadas, Tala Institute of Fundamental Research, Mumbai. V. S. Sunder, Institute of Mathematical Seiences, Chennai. A1ready Published Volumes R. B. Bapat: Linear Algebra and Linear Models (Second Edition) R. Bhatia: Fourier Senes C. Musili: Representations of Finite Groups H. Helson: Linear Algebra (Second Edition) D. Sarason: Notes on Complex FUßetion Theory M. G. Nadkarni: Basic Ergodie Theory (Second Edition) H. Helson: Harmonie Analysis ( Seco.,d Edition) K. Chandrasekharan: A Course on Integration Theory K. Chandrasekharan: A Course on Topological Groups R. Bhatia (ed.): Analysis, Geometry and Probability K. R. Davidson: C· - Algebras by Example M. Bhattacharjee el al.: Notes on Infinite Pennutation Groups V. S. Sunder: Functional Analysis - Spectral Theory V. S. Varadarajan: Algebra in Ancient and Modem Times M. G. Nadkarni: Spectral Theory of Dynamical Systems A. Borei: Semisimple Groups and Riemannian Symmetrie Spaces M. Marcolli: Seiberg-WiHen Gauge Theory T oeplitz Matrices, Asymptotic Linear Algebra and Functional Analysis Albrecht Böttcher Technical University o[ Chemnitz Germany and Sergei M. Grudsky Rostov-on-Don State University Russ ian F ederation rftCloUfßHINDUSTAN BOOKAGENCY Published by Hindustan Book Agency (India) P 19 Green Park Extension, New Delhi 110016 Copyright © 2000 by Hindustan Book Agency ( India) No part of the material protected by this copyright notice may be reproduced or utilized in any form or by any means, electronic or mechanical,including photocopying, record ing or by any information storage and retrieval system, without written permission from the copyright owner, who has also the sole right to grant licences for translation into other languages and publication thereof. All export rights for this edition vest exclusively with Hindustan Book Agency (India). Unauthorized export is a violation of Copyright Law and is subject to legal action. ISBN 978-81-85931-24-1 ISBN 978-93-86279-04-0 (eBook) DOI 10.1007/978-93-86279-04-0 Contents Preface vii 1 Infinite Toeplits Matrices 1 1.1 Boundedness .. . . . . . 1 1.2 Compactness and SelflWljointness ........... . 3 1.3 C·-Algebras ...................... . 4 1.4 Fcedholm Operators . . . . . . . . . . . . . . . . . . 6 1.5 Continuous Symbols . . . . . . 8 1.6 Notes ............. . 13 2 C·-Algebras in Action 14 2.1 Finite Section Method 14 2.2 Perturbed Toeplitz Matrices .......... . 16 2.3 Algebraization of Stability ........... . . . .. 18 2.4 Stability Criteria . . . . . . . . . . . . .' . . . . 21 2.5 Asymptotic Inverses . . . . . . . . . . 23 2.6 Nonns ........ . 24 2.7 Nonns of Inverses. . . 24 2.8 Condition Numbers .. . . . . . .. 25 2.9 Eigenvalues of Hermitian Matrices ... . 26 2.10 Singular Values . . . . . .... . 28 2.11 Pseudospectra. . . . . . . . . . .. 30 2.12 Notes ........ . 33 3 Instability 36 3.1 Some Standard Tricks . . . . . . . . . . . . . . . . .. 36 3.2 At Least Polynomial Growth . . . . . . . . . . . . .. 38 3.3 At Most Polynomial Growth. . . . . . . . . . . . . .. 41 3.4 Semi-Definite Hermitian Matrices . . . . . . . . . . .. 46 vi Contents 3.5 Exponential Growth 47 3.6 Notes ....... 49 4 Condition Numbers 52 4.1 Norms of Pure Toeplitz Matrices 52 4.2 Structure of the Inverse . . . . . 56 4.3 Perturbed Toeplitz Band Matrices . 58 4.4 NOrmB of the Inverses of Toeplitz Matrices . . . 67 oe 4.5 Condition Numbers Toeplitz Matrices . . . . 73 4.6 Condition Numbers of Toeplitz-Like Matrices . 75 4.7 Notes ....................... 77 5 Singular Values 78 5.1 Basic Facts . 78 5.2 The Splitting Phenomenon 80 5.3 Extreme Singular Values .. 84 5.4 The First Szegö Limit Theorem. 88 5.5 The Avram-Parter Theorem . 92 5.6 Circulants............. 94 5.7 Toeplitz Band Matrices ..... 97 5.8 Zizler, Zuid wijk, Taylor, Arimoto . 98 5.9 Notes .............. . 104 Bibliography 106 Notation Index 113 Subject Index 115 PPrreeffaaccee TThhee ssuubbjjeecctt ooff tthhiiss tteexxtt iiss tthhee rreellaattiioonn bbeettwweeeenn tthhee pprrooppeerrttiieess ooff iinnffiinniittee TTooeepplliittzz mmaattrriicceess aaoo aa--1l aa--22 aall aaoo aa--ll = = A (aj-k)j);=o aaoo aa22 aall •, II •' aanndd tthheeiirr llaarrggee ffiinniittee sseeccttiioonnss ao ao "' ,,' oa_-<{nan-:l'o} -l)} ). AAnn == ((aajj--kk))j,jnk.=;-~Ol o == (( ::. :. . On'-l On-i ao TThhiiBB iiss vveerryy bbiigg aanndd eevveenn iinneexxbhaauussttiibbllee ssuubbjjeecctt,, aanndd tthheerreeffoorree wwee IrDolulSstt lliimmiitt oouurrsseellvveess ttoo aa ffeeww ccoonnccrreettee pprroobblleemmss hheerree., WWee wwiillll ffooccuuss oouurr aatttteennttiioonn oonn ssiinngguullaarr vvaalluueess.. TThhee ssiinngguullaarr vvaalluueess sl(An) ~ s2(An) $ ... ~ sn(An ) ooff AAnn aarree tthhee eeiiggeennvvaalluueess ooff ((~~AAnn)) 11//22., TThhee pprrooppeerrttiieess ooff tthhee ssiinngguullaarr vvaalluueess ooff AAnn ffoorr ffiixxeedd nn ((oorr,, aass iinn ssoo--ccaalllleedd iinntteerrllaacciinngg tthheeoorreemmss,, ffoorr ssoommee ccoonDBBeeCcuuttiivvee nn)) aarree ssttuuddiieedd iinn lliinneeaarr aallggeebbrraa., TThhee pprroobblleemm ooff = ddeetteennnniinniinngg ttbhee ssiinngguullaarr vvaalluueess ooff AAnn ffoorr llaarrggee nn ((ssaayy nn = 770000)) iiss aa bbuussiinneessss ooff nnwumneerriiccaa1l lliinneeaarr aallggeebbrraa.. TThhee bbeehhaavviioorr ooff tthhee ssiinngguullaarr = vvaalluueess ooff AAnn ffoorr nn --++ 0000 ((oorr,, ssaayy,, ffoorr nn = 11002233)) iiss aa ccoonncceerrnn ooff aassyymmppttoottiicc lliinneeaarr aallggeebbrraa.. FFiinnaallllyy,, tthhee iinnvveessttiiggaattiioonn ooff tthhee pprrooppeerrttiieess ooff tthhee iinnffiinniittee mmaattrriixx AA iiss aa ttaasskk ooff ffuunnccttiioonnaall aannaallyyssiiss., TToo ggeett aann iiddeeaa ooff wwhhaatt tthhiiss tteexxtt ijas aabboouutt,, wwee ceiittee aa ffeeww qquueessttiioonnss wwee wwiillll ccoonnssiiddeerr., vviilüi PPrreeJJooccee QQuueessttiioonn 11.. DDooeess tthhee ssmmaalllleesstt ssiinngguullaarr vvaalluuee 8811((..44,,..)) ssttaayy aawwaayy ffrroomm zzeerroo aass nn --++ oooo?? BBeeccaauussee == "811 ((AAn,.)) 11II~~1111l1--1I,, 11llAA;; 1111 tthhiiss iiss tthhee qquueeasttiiooDn wwhheetthheerr tthhee nDoOrrmmss 11 aarree uunniiffoorrmmllyy bboouunnddeedd ffoorr aa1lll ssuuff6fi.cciieennttllyy llaarrggee RR.. WWee rreemmaarrkk tthhaatt tthhiias iiss aallssoo tthhee ccrruucciiaa11 qquueesstt iioonn wwhheenn ssttuuddyyiinngg tthhee ffiinniittee saeeccttiioonn mmeetthhoodd ffoorr tthhee ssoolluuttiioonn ooff tthhee iinnffiinniittee ssyysstteemm AAxx == 1111,, tthhaatt iiss,, tthhee rreeppllaacceemmeenntt ooff tthhee ssyysstteemm AAxx == 1J1I bbyy tthhee ssyysstteemm 7 ( :~~ a_(~_l»)( r:)=(~l). tIn-l . . . 00 ::t'n tln QQuueessttiioonn 22.. TThhee mm&a.yyjjmmaall ssiinngguullaarr vvaalluuee ssnn((AAnn)) ccooiinncciiddeess wwiitthh IIIIAAnnIIll,, aanndd iitt iiss eeaassiillyy sseeeenn tthhaatt I!ttAAnnIIll ~~ U"AAUU aass nn -~+ 0000.. TThhee nnoorrmm IIIIAAIIII iiss aavvaallllaabbllee iinn mmaannyy ccaasaee8s,, bbuutt IIIIAAnnIIll iiss iinn ggeenneerraall ddiifflliiccuulltt ttoo 66nndd~~ TThhuuss,, aarree tthheerree ggoooodd eesattiimmaatteess ffoorr tthhee ssppeeeedd ooff tthhee ccoonnvveerrggeennccee ooff IIIIAAnnllll IIIIAAIIII?? ttoo QQuueessttiioonn 33.. IIfr tthhee ssmmaalllleesstt ssiinngguullaarr vvaalluuee "8l1((AAnn)) aapppprrooaacchheess aa lliimmiitt dd,, wwhhaatt ccaann bbee ssaaiidd aabboouutt dd aanndd aabboouutt tthhee ssppeeeedd wwiitthh wwhhiicchh SSII ((AAnn)) ggooeess ttoo dä?! FFoorr eexxaammppllee,, iiff dd >> 00,, iiss iitt ttrruuee tthhaatt nA-llI- d = I, oorr,, eeqquuiivvaalleennttllyy,, iiss iitt ttrruuee tthhaatt IIA-llI? 1I~11l-+ 1IA; 11 AAnndd iiff tthhee aannsswweerr iiss iinn tthhee aaffffiirrmmaattiivvee,, hhooww ffaasstt ddooeess 1I~111l ccoonnvveerrggee ttoo IIIIAA --lIllII?? NNoottiiccee tthhaatt tthhee nnoorrmm IIIIAA --1I1n1 iiss aatt oouurr ddiissppoossaall iinn rraarree ccaasseess oonnllyy,, wwhhiillee 11IIAA;;1111ll ccaann bbee ccoommppuutteedd nnuummeerriiccaallllyy,, s8a&yY ffoorr nn == 770000,, aanndd IIIIAA-1-1ll1l.. tthhee qquueessttii oonn iiss wwhheetthheerr IIIIAA7700~~11II iiss iinnddeeeedd cc1Io0ssee ttoo IInn tthhee ccaassee == dd 00,, tthhee qquueessttiioonn ccoonnssiiddeerreedd hheerree a&mmoouunnttss ttoo eessttiimmaattiinngg tthhee ggrroowwtthh ooff I1IIA~1; 111l1 ttoo iinnffiinniittyy.. QQuueessttiioonn 44.. TThhee ccoonnddiittiioonn mnuumnbbeerr ooff AAnn iiss IC(An) = sn(An)/SI(An) = IIAnllll~lll· PPrreeffaaccee 11XX 1la8 iitt ttrruuee tthhaatt ,,,,((AAnn)) --+t IIIIAAIIIIIIIIAA--111111 aaBB nn --++ 0000,, aanndd iiff yyeeBs,, ccaann oonnee eessttiimmaattee tthhee ssppeeeedd ooff ccoonnvveerrggeennccee?? CClleeaarrllyy,, tthhiiss qquueesstti ioonn ssuubbssuummeess QQuueessttiioonnas 22 aanndd 33.. QQuueessttiioonn 55.. TThhee aahboovvee qquueessttiiooßllB8 ccoonncceerrnn tthhee eexxttrreemmee ssiinngguullaarr vvaalluueess Ss I1 ((AAnn)) aanndd SSnn ((AAnn)).. WWhhaatt ccaann bbee asaaiidd aabboouutt tthhee ccoolllleeccttiivvee bbeehhaavviioorr ooff tthhee ssiinngguullaarr vvaalluueess?? D00o tthheeyy 661111 oouutt aa cceerrttaaiinn lliimmiittiinngg sseett aaBs nn --++ 0o0o1? HH yyeess,, ccaann oonnee iiddeennttiiffyy tthhiiss lliimmiittiinngg sseett aanndd ccaann oonnee eevveenn ddeessccrriibbee tthhee aassyymmppttoottiicc ddiissttrriibbuuttiioonn ooff tthhee ssiinngguullaarr vvaalluueess aalloonngg tthhiias lliimmiittiinngg sseett?? DDeessppiittee tthhee mmaannyy ooppeenn pprroobblleemmss wwee wwiillll bbee JJeeIttt wwiitthh,, wwee wwiillll bbee aabbllee ttoo ggiivvee aannsswweerrss ttoo tthhee qquueessttiioollllBB rraaiisseedd aabboovvee tthhaatt aarree aaJlwwaayyss bbeeaauuttiiffuull aanndd iinn mmaannyy ssiittuuaattiioonnss aallssoo uusseeffuull.. TThhee ddiifflliiccuullttyy wwiitthh tthhee ttooppiicc iiss tthhaatt TTooeepplliittzz mmaattrriicceess ccaannnnoott bbee ttaacckklleedd bbyy tthhee ttooooIlss ooff ffuunnccttiioonnaaII aannaallyyssiiss wwhhiicchh aarree uUsBuUaallllyy eemmppllooyyeedd wwhheenn wwoorrkkiinngg wwiitthh sseellffaaddjjooiinntt oorr ccoommppaaectt ooppeerraattoorrss.. TThhee Craasscciinnaattiioonn ooff tthhee mmaatttteerr iiss tthhaatt oonnee ccaann ggaaiinn aa wweeaalltthh ooff iinnssiigghhttss iinnttoo tthhee aassyymmppttoottiicc lliinneeaarr aallggeebbrraa ooff TTooeepplliittzz mmaattrriicceess bbyy hhaavviinngg rreeccoouurrssee ttoo ssoommee aaddvvaanncceedd ttooppiiccss ooff ffuunnccttiioonnaall aannaallyyssiiss,, ssuucchh aass CC·· --aallggeebbrraass aanndd iinnddeexx tthheeoorryy ooff FFrreeddhhoollmm ooppeerraattoorrss.. TThhiiss tteexxtt iiss aann iinnttrroodduuccttiioonn ttoo tthhee ttooppiicc aanndd iiss tthheerreeffoorree aaddddrreesssseedd ttoo bbeeggiinnnneerrss.. WWee 8a8ss8uummee tthhaatt tthhee rreeaaddeerr iiss ffaammiilliiaarr wwiitthh tthhee hbaassiiccss ooff rreeaall aanndd ccoommpplleexx aannaallyyssiiss,, lliinneeaarr aallggeebbrraa,, aanndd ffWunlccttiioonnaall aannaallyyssiiss.. AAllmmoosstt aallll rreessuullttss ooff tthhiiss tteexxtt aarree aaccccoommppaanniieedd bbyy ffuullll pprrooooffBB.. IItt iiss oonnllyy ssttaannddaarrdd rreessuullttss ffrroomm tthhee tthheeoorryy ooff CC··--aallggeebbrraass aanndd tthhee tthheeoorryy ooff FFrreeddhhoollmm ooppeerraattoorrss tthhaatt aarree cciitteedd wwiitthhoouutt pprrooooffBs ((bbeeccaauussee tthheessee aMree iinn tthhee wweellll kknnoowwnn tteexxttbbooookkss)).. IItt sshhoouulldd aallssoo bbee eemmpphhaassiizzeedd tthhaatt mmaannyy rreessuullttss ooff tthhiiss tteexxtt ccaann bbee eesssseennttiiaallllyy ggeenneerraalliizzeedd,, ffoorr eexxaammppllee,, ttoo TTooeepplliittzz ooppeerraattoorrss wwiitthh ppiieeccee wwiissee ccoonnttiinnuuoouuss ssyymmbboollss,, ttoo bblloocckk TTooeepplliittzz ooppeerraattoorrss,, oorr ttoo ooppeerraattoorrss oonn IIPP ssppaacceess.. WWee nneevveerrtthheelleessss rreessttrriieett oouurrsseellvveess ttoo ssccaallaarr TTooeepplliittzz oopp eerraattoorrss wwiitthh rraattiioonnaall ssyymmbboollss oonn l122,, bbeeccaauussee tthheessee ooppeerraattoorrss eemmeerrggee iinn ssuuffffiicciieennttllyy mmaannyy aapppplliiccaattiioonnss aanndd bbeeccaauussee sseevveerraall iinntteerreessttiinngg pphhee nnoommeennaa ~~ aaJlrreeaaddyy bbee ddeemmoonnssttrraatteedd wwiitthh ssuucchh ""ssiimmppllee"" TTooeepplliittzz ooppeerraattoorrss.. WWee hhooppee tthhaatt tthhiiss rreessttrriieettiioonn iiss iinn tthhee bbeeggiinnnneerr''ss iinntteerr eesstt.. TThhoossee wwhhoo wwaanntt ttoo kknnooww mmoorree oonn tthhee aassyymmppttoottiicc lliinneeaarr aallggeebbrraa