SSSppprrriiinnngggeeerrr SSSeeerrriiieeesss iiinnn SSStttaaatttiiissstttiiicccsss AAAdddvvviiisssooorrrsss::: PPP... BBBiiiccckkkeeelll,,, PPP... DDDiiiggggggllleee,,, SSS... FFFiiieeennnbbbeeerrrggg,,, KKK... KKKrrriiiccckkkeeebbbeeerrrggg,,, III... OOOlllkkkiiinnn,,, NNN... WWWeeennnnnnuuuttthhh,,, SSS... ZZZeeegggeeerrr SSSppprrriiinnngggeeerrr SSSccciiieeennnccceee+++BBBuuusssiiinnneeessssss MMMeeedddiiiaaa,,, LLLLLLCCC SSpprriinnggeerr SSeerriieess iinn SSttaattiissttiiccss AAnnddeerrsseennllBBoorrggaannllGGiillllllKKeeiiddiinngg:: SSttaattiissttiiccaall MMooddeellss BBaasseedd oonn CCoouunnttiinngg PPrroocceesssseess.. AAnnddrreewwssllHHeerrzzbbeerrgg:: DDaattaa:: AA CCoolllleeccttiioonn ooff PPrroobblleemmss ffrroomm MMaannyy FFiieellddss ffoorr tthhee SSttuuddeenntt aanndd RReesseeaarrcchh WWoorrkkeerr.. AAnnssccoommbbee:: CCoommppuuttiinngg iinn SSttaattiissttiiccaall SScciieennccee tthhrroouugghh AAPPLL.. BBeerrggeerr:: SSttaattiissttiiccaall DDeecciissiioonn TThheeoorryy aanndd BBaayyeessiiaann AAnnaallyyssiiss,, 22nndd eeddiittiioonn.. BBoolljjaarriinneellZZaacckkss:: PPrreeddiiccttiioonn TThheeoorryy ffoorr FFiinniittee PPooppuullaattiioonnss.. BBoorrggllGGrrooeenneenn:: MMooddeemm MMuullttiiddiimmeennssiioonnaall SSccaalliinngg:: TThheeoorryy aanndd AApppplliiccaattiioonnss BBrrbbnnaauudd:: PPooiinntt PPrroocceesssseess aanndd QQuueeuueess:: MMaarrttiinnggaallee DDyynnaammiiccss.. BBrroocckkwweellllllDDaavviiss:: TTiimmee SSeerriieess:: TThheeoorryy aanndd MMeetthhooddss,, 22nndd eeddiittiioonn.. DDaalleeyyllVVeerree--JJoonneess:: AAnn IInnttrroodduuccttiioonn ttoo tthhee TThheeoorryy ooff PPooiinntt PPrroocceesssseess.. DDzzhhaappaarriiddzzee:: PPaarraammeetteerr EEssttiimmaattiioonn aanndd HHyyppootthheessiiss TTeessttiinngg iinn SSppeeccttrraall AAnnaallyyssiiss ooff SSttaattiioonnaarryy TTiimmee SSeerriieess.. FFaahhrrmmeeiirrllTTuuttzz:: MMuullttiivvaarriiaattee SSttaattiissttiiccaall MMooddeelllliinngg BBaasseedd oonn GGeenneerraalliizzeedd LLiinneeaarr MMooddeellss.. FFaarrrreellll:: MMuullttiivvaarriiaattee CCaallccuullaattiioonn.. FFeeddeerreerr:: SSttaattiissttiiccaall DDeessiiggnn aanndd AAnnaallyyssiiss ffoorr IInntteerrccrrooppppiinngg EExxppeerriimmeennttss.. FFiieennbbeerrggllHHooaagglliinn//KKrruusskkaallllTTaannuurr ((EEddss..)):: AA SSttaattiissttiiccaall MMooddeell:: FFrreeddeerriicckk MMoosstteelllleerr''ss CCoonnttrriibbuuttiioonnss ttoo SSttaattiissttiiccss,, SScciieennccee aanndd PPuubblliicc PPoolliiccyy.. FFiisshheerrllSSeenn:: TThhee CCoolllleecctteedd WWoorrkkss ooff WWaassssiillyy HHooeeffffddiinngg.. GGoooodd:: PPeerrmmuuttaattiioonn TTeessttss:: AA PPrraaccttiiccaall GGuuiiddee ttoo RReessaammpplliinngg MMeetthhooddss ffoorr TTeessttiinngg HHyyppootthheesseess.. GGooooddmmaannllKKrruusskkaall:: MMeeaassuurreess ooff AAssssoocciiaattiioonn ffoorr CCrroossss CCllaassssiiffiiccaattiioonnss.. GGoouurriieerroouuxx:: AARRCCHH MMooddeellss aanndd FFiinnaanncciiaall AApppplliiccaattiioonnss.. GGrraannddeellll:: AAssppeeccttss ooff RRiisskk TThheeoorryy.. HHaabbeerrmmaann:: AAddvvaanncceedd SSttaattiissttiiccss,, VVoolluummee II:: DDeessccrriippttiioonn ooff PPooppuullaattiioonnss.. HHaallll:: TThhee BBoooottssttrraapp aanndd EEddggeewwoorrtthh EExxppaannssiioonn.. HHaarrddiiee:: SSmmooootthhiinngg TTeecchhnniiqquueess:: WWiitthh IImmpplleemmeennttaattiioonn iinn SS.. HHaarrtt:: NNoonnppaarraammeettrriicc SSmmooootthhiinngg aanndd LLaacckk--ooff--FFiitt TTeessttss.. HHaarrttiiggaann:: BBaayyeess TThheeoorryy.. HHeeyyddee:: QQuuaassii--LLiikkeelliihhoooodd aanndd IIttss AApppplliiccaattiioonn:: AA GGeenneerraall AApppprrooaacchh ttoo OOppttiimmaall PPaarraammeetteerr EEssttiimmaattiioonn.. HHeeyyeerr:: TThheeoorryy ooff SSttaattiissttiiccaall EExxppeerriimmeennttss.. HHuueettllBBoouuvviieerrllGGrruueettlllloolliivveett:: SSttaattiissttiiccaall TToooollss ffoorr NNoonnlliinneeaarr RReeggrreessssiioonn:: AA PPrraaccttiiccaall GGuuiiddee wwiitthh SS--PPLLUUSS EExxaammpplleess.. JJoolllliiffffee:: PPrriinncciippaall CCoommppoonneenntt AAnnaallyyssiiss.. KKoolleenn//BBrreennnnaann:: TTeesstt EEqquuaattiinngg:: MMeetthhooddss aanndd PPrraaccttiicceess.. KKoottzz//JJoohhnnssoonn ((EEddss..)):: BBrreeaakktthhrroouugghhss iinn SSttaattiissttiiccss VVoolluummee II.. KKoottzz//JJoohhnnssoonn ((EEddss..)):: BBrreeaakktthhrroouugghhss iinn SSttaattiissttiiccss VVoolluummee IIII.. KKoottzz//JJoohhnnssoonn ((EEddss..)):: BBrreeaakktthhrroouugghhss iinn SSttaattiissttiiccss VVoolluummee IIIIII.. KKrreess:: SSttaattiissttiiccaall TTaabblleess ffoorr MMuullttiivvaarriiaattee AAnnaallyyssiiss.. KKuucchhlleerrIISS;;rreennsseenn:: EExxppoonneennttiiaall FFaammiilliieess ooff SSttoocchhaassttiicc PPrroocceesssseess.. LLee CCaamm:: AAssyymmppttoottiicc MMeetthhooddss iinn SSttaattiissttiiccaall DDeecciissiioonn TThheeoorryy.. LLee CCaammllYYaanngg:: AAssyymmppttoottiiccss iinn SSttaattiissttiiccss:: SSoommee BBaassiicc CCoonncceeppttss.. LLoonnggffoorrdd:: MMooddeellss ffoorr UUnncceerrttaaiinnttyy iinn EEdduuccaattiioonnaall TTeessttiinngg.. MMaannoouukkiiaann:: MMooddeemm CCoonncceeppttss aanndd TThheeoorreemmss ooff MMaatthheemmaattiiccaall SSttaattiissttiiccss.. MMiilllleerr,, JJrr..:: SSiimmuullttaanneeoouuss SSttaattiissttiiccaall IInnffeerreennccee,, 22nndd eeddiittiioonn.. ((ccoonnttiinnllUUdd aafftteerr iinnddeexx)) JJeeffffrreeyy DD.. HHaarrtt NN oonnppaarraammeettrriicc SSmmooootthhiinngg aanndd LLaacckk--ooff--FFiitt TTeessttss WWiitthh 4477 FFiigguurreess Springer " Springer Jeffrey D. Hart Department of Statistics Texas A&M University College Station, TX 77843-3143 USA Library of Congress Cataloging-in-Publication Data Hart, Jeffrey D. Nonparametric smoothing and lack-of-fit tests I Jeffrey D. Hart p. cm. - (Springer series in statistics) Includes bibliographical references (p - ) and indexes. 1. Smoothing (Statistics) 2. Nonparametric statistics. 3. Goodness-of-fit tests. I. Title. II. Series QA278.H357 1997 519.5-dc21 97-10931 Printed on acid-free paper. ISBN 978-1-4757-2724-1 ISBN 978-1-4757-2722-7 (eBook) DOl 10.1007/978-1-4757-2722-7 © 1997 Springer Science+Business Media New York Originally published by Springer-Verlag New York Inc. in 1997. Softcover reprint of the hardcover 1s t edition 1997 All rights reserved. This work may not be translated or copied in whole or in part without the written permission of the publisher Springer Science+Business Media, LLC, except for brief excerpts in connection with reviews or scholarly analysis. Use in connection with any form of information storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now known or hereafter developed is forbidden. The use of general descriptive names, trade names, trademarks, etc., in this publication, even if the former are not especially identified, is not to be taken as a sign that such names, as understood by the Trade Marks and Merchandise Marks Act, may accordingly be used freely by anyone. Production managed by Steven Pisano; manufacturing supervised by Joe Quatela. Photocomposed pages prepared from the author's LaTeX files. 9 8 7 6 5 4 3 2 1 SPIN 10568296 For Michelle and Kayley PPrreeffaaccee TThhee pprriimmaarryy aaiimm ooff tthhiiss bbooookk iiss ttoo eexxpplloorree tthhee uussee ooff nnoonnppaarraammeettrriicc rreeggrreess ssiioonn ((ii..ee..,, ssmmooootthhiinngg)) mmeetthhooddoollooggyy iinn tteessttiinngg tthhee ffiitt ooff ppaarraammeettrriicc rreeggrreessssiioonn mmooddeellss.. IItt iiss aannttiicciippaatteedd tthhaatt tthhee bbooookk wwiillll bbee ooff iinntteerreesstt ttoo aann aauuddiieennccee ooff ggrraadduuaattee ssttuuddeennttss,, rreesseeaarrcchheerrss aanndd pprraaccttiittiioonneerrss wwhhoo ssttuuddyy oorr uussee ssmmooootthh iinngg mmeetthhooddoollooggyy.. CChhaapptteerrss 22--44 sseerrvvee aass aa ggeenneerraall iinnttrroodduuccttiioonn ttoo ssmmooootthhiinngg iinn tthhee ccaassee ooff aa ssiinnggllee ddeessiiggnn vvaarriiaabbllee.. TThhee eemmpphhaassiiss iinn tthheessee cchhaapptteerrss iiss oonn eessttiimmaattiioonn ooff rreeggrreessssiioonn ccuurrvveess,, wwiitthh hhaarrddllyy aannyy mmeennttiioonn ooff tthhee llaacckk--ooff ffiitt pprroobblleemm.. AAss ssuucchh,, CChhaapptteerrss 22--44 ccoouulldd bbee uusseedd aass tthhee ffoouunnddaattiioonn ooff aa ggrraadduuaattee lleevveell ssttaattiissttiiccss ccoouurrssee oonn nnoonnppaarraammeettrriicc rreeggrreessssiioonn.. TThhee ppuurrppoossee ooff CChhaapptteerr 22 iiss ttoo ccoonnvveeyy ssoommee iimmppoorrttaanntt bbaassiicc pprriinncciipplleess ooff ssmmooootthhiinngg iinn aa nnoonntteecchhnniiccaall wwaayy.. IItt sshhoouulldd bbee ooff iinntteerreesstt ttoo pprraaccttiittiioonneerrss wwhhoo aarree nneeww ttoo ssmmooootthhiinngg aanndd wwaanntt ttoo lleeaarrnn ssoommee ffuunnddaammeennttaallss wwiitthhoouutt hhaavviinngg ttoo ssiifftt tthhrroouugghh aa lloott ooff mmaatthheemmaattiiccss.. CChhaapptteerr 33 ddeeaallss wwiitthh ssttaattiissttiiccaall pprrooppeerrttiieess ooff ssmmooootthheerrss aanndd iiss ssoommeewwhhaatt mmoorree tthheeoorreettiiccaall tthhaann CChhaapptteerr 22.. CChhaapptteerr 44 ddeessccrriibbeess tthhee pprriinncciippaall mmeetthhooddss ooff ssmmooootthhiinngg ppaarraammeetteerr sseelleeccttiioonn aanndd iinnvveessttiiggaatteess tthheeiirr llaarrggee--ssaammppllee pprrooppeerrttiieess.. TThhee rreemmaaiinnddeerr ooff tthhee bbooookk eexxpplloorreess tthhee pprroobblleemm ooff tteessttiinngg tthhee ffiitt ooff pprroobb aabbiilliittyy mmooddeellss.. TThhee eemmpphhaassiiss iiss oonn tteessttiinngg tthhee ffiitt ooff ppaarraammeettrriicc rreeggrreessssiioonn mmooddeellss,, bbuutt ootthheerr ttyyppeess ooff mmooddeellss aarree aallssoo ccoonnssiiddeerreedd ((iinn CChhaapptteerr 99)).. CChhaapp tteerr 55 iiss aa rreevviieeww ooff ccllaassssiiccaallllaacckk--ooff--ffiitt tteessttss,, iinncclluuddiinngg lliikkeelliihhoooodd rraattiioo tteessttss,, tthhee rreedduuccttiioonn mmeetthhoodd ffrroomm lliinneeaarr mmooddeellss,, aanndd ssoommee nnoonnppaarraammeettrriicc tteessttss.. TThhee ssuubbjjeecctt ooff CChhaapptteerr 66 iiss tthhee eeaarrlliieesstt wwoorrkk oonn uussiinngg lliinneeaarr ssmmooootthheerrss ttoo tteesstt tthhee ffiitt ooff mmooddeellss.. TThheessee tteessttss aassssuummee tthhaatt aa ssttaattiissttiicc''ss ssmmooootthhiinngg ppaarraammeetteerr iiss nnoonnssttoocchhaassttiicc,, wwhhiicchh eennttaaiillss aa cceerrttaaiinn ddeeggrreeee ooff aarrbbiittrraarriinneessss iinn ppeerrffoorrmmiinngg aa tteesstt.. TThhee rreeaall hheeaarrtt ooff tthhiiss bbooookk iiss CChhaapptteerrss 77 tthhrroouugghh 1100,, iinn wwhhiicchh llaacckk--ooff ffiitt tteessttss bbaasseedd oonn ddaattaa--ddrriivveenn ssmmooootthhiinngg ppaarraammeetteerrss aarree ssttuuddiieedd.. IItt iiss mmyy ooppiinniioonn tthhaatt ssuucchh tteessttss wwiillll hhaavvee tthhee ggrreeaatteesstt aappppeeaall ttoo bbootthh pprraaccttiittiioonneerrss aanndd rreesseeaarrcchheerrss.. CChhaapptteerrss 77 aanndd 88 aarree aa ccaarreeffuull ttrreeaattmmeenntt ooff ddiissttrriibbuuttiioonnaall pprrooppeerrttiieess ooff vvaarriioouuss ""ddaattaa--ddrriivveenn"" tteesstt ssttaattiissttiiccss.. CChhaapptteerr 99 sshhoowwss tthhaatt mmaannyy ooff tthhee iiddeeaass lleeaarrnneedd iinn CChhaapptteerrss 77 aanndd 88 hhaavvee iimmmmeeddiiaattee aapppplliiccaattiioonnss iinn mmoorree ggeenneerraall sseettttiinnggss,, iinncclluuddiinngg mmuullttiippllee rreeggrreessssiioonn,, ssppeeccttrraall aannaallyyssiiss aanndd vviiii vviiiiii PPrreeffaaccee tteessttiinngg tthhee ggooooddnneessss ooff ffiitt ooff aa pprroobbaabbiilliittyy ddiissttrriibbuuttiioonn.. AApppplliiccaattiioonnss aarree iilllluussttrraatteedd iinn CChhaapptteerr 1100 bbyy mmeeaannss ooff sseevveerraall rreeaall--ddaattaa eexxaammpplleess.. TThheerree aarree aa nnuummbbeerr ooff ppeeooppllee wwhhoo iinn vvaarriioouuss wwaayyss hhaavvee hhaadd aann iinnfflluueennccee oonn tthhiiss bbooookk ((mmaannyy ooff wwhhoomm wwoouulldd pprroobbaabbllyy jjuusstt aass ssoooonn nnoott ttaakkee aannyy ccrreeddiitt)).. II''dd lliikkee ttoo tthhaannkk SSccootttt BBeerrrryy,, JJiimm CCaallvviinn,, CChhiieenn--FFeenngg CChheenn,, RRaayy CChheenn,, CChheerrnngg--LLuueenn LLeeee,, GGeeuunngg--HHeeee LLeeee,, FFrreedd LLoommbbaarrdd,, MMaannnnyy PPaarrzzeenn,, SSeeoonnggbbaaeekk YYii aanndd ttwwoo aannoonnyymmoouuss rreevviieewweerrss ffoorr rreeaaddiinngg ppoorrttiioonnss ooff tthhee bbooookk aanndd mmaakkiinngg vvaalluuaabbllee ccoommmmeennttss,, ccrriittiicciissmmss aanndd ssuuggggeessttiioonnss.. II aallssoo wwaanntt ttoo tthhaannkk AAnnddyy LLiiaaww ffoorr sshhaarriinngg hhiiss eexxppeerrttiissee iinn ggrraapphhiiccss aanndd tthhee ffiinneerr ppooiinnttss ooff TTEEXX.. TToo tthhee eexxtteenntt tthhaatt tthheerree aarree aannyy nneeww iiddeeaass iinn tthhiiss bbooookk,, II hhaavvee ttoo sshhaarree mmuucchh ooff tthhee ccrreeddiitt wwiitthh tthhee mmaannyy ccoolllleeaagguueess,, ssmmoooott hheerrss aanndd nnoonnssmmooootthheerrss aalliikkee,, wwhhoo hhaavvee ttaauugghhtt mmee ssoo mmuucchh oovveerr tthhee yyeeaarrss.. IInn ppaarrttiiccuullaarr,, II wwaanntt ttoo eexxpprreessss mmyy ggrraattiittuuddee ttoo RRaannddyy EEuubbaannkk,, BBuuddddyy GGrraayy,, aanndd BBiillll SScchhuuccaannyy,, wwhhoossee iiddeeaass,, eennccoouurraaggeemmeenntt aanndd ffrriieennddsshhiipp hhaavvee pprrooffoouunnddllyy aaffffeecctteedd mmyy ccaarreeeerr.. FFiinnaallllyy,, mmyy bbiiggggeesstt tthhaannkkss ggoo ttoo mmyy wwiiffee MMiicchheellllee aanndd mmyy ddaauugghhtteerr KKaayylleeyy.. WWiitthhoouutt yyoouurr lloovvee aanndd uunnddeerrssttaannddiinngg,, ffiinniisshhiinngg tthhiiss bbooookk wwoouulldd hhaavvee bbeeeenn iimmppoossssiibbllee.. JJeeffffrreeyy DD.. HHaarrtt CCoonntteennttss PPrreeffaaccee vviiii 11.. IInnttrroodduuccttiioonn 11 22.. SSoommee BBaassiicc IIddeeaass ooff SSmmooootthhiinngg 44 22..11.. IInnttrroodduuccttiioonn 44 22..22.. LLooccaall AAvveerraaggiinngg 55 22..33.. KKeerrnneell SSmmooootthhiinngg 66 22..33..11 FFuunnddaammeennttaallss 66 22..33..22 VVaarriiaabbllee BBaannddwwiiddtthhss 1144 22..33..33 TTrraannssffoorrmmaattiioonnss ooff xx 1166 22..44.. FFoouurriieerr SSeerriieess EEssttiimmaattoorrss 1199 22..55.. DDeeaalliinngg wwiitthh EEddggee EEffffeeccttss 2288 22..55..11 KKeerrnneell SSmmooootthheerrss 2299 22..55..22 FFoouurriieerr SSeerriieess EEssttiimmaattoorrss 3322 22..66.. OOtthheerr SSmmooootthhiinngg MMeetthhooddss 3355 22..66..11 TThhee DDuuaalliittyy ooff AApppprrooxxiimmaattiioonn aanndd EEssttiimmaattiioonn 3355 22..66..22 LLooccaall PPoollyynnoommiiaallss 3377 22..66..33 SSmmooootthhiinngg SSpplliinneess 4400 22..66..44 RRaattiioonnaall FFuunnccttiioonnss 4411 22..66..55 WWaavveelleettss 4444 33.. SSttaattiissttiiccaall PPrrooppeerrttiieess ooff SSmmoooott h heerrss 5500 33..11.. IInnttrroodduuccttiioonn 5500 33..22.. MMeeaann SSqquuaarreedd EErrrroorr ooff GGaasssseerr--MMuulllleerr EEssttiimmaattoorrss 5511 33..22..11 MMeeaann SSqquuaarreedd EErrrroorr aatt aann IInntteerriioorr PPooiinntt 5511 33..22..22 MMeeaann SSqquuaarreedd EErrrroorr iinn tthhee BBoouunnddaarryy RReeggiioonn 5599 33..22..33 MMeeaann IInntteeggrraatteedd SSqquuaarreedd EErrrroorr 6611 33..22..44 HHiigghheerr OOrrddeerr KKeerrnneellss 6622 33..22..55 VVaarriiaabbllee BBaannddwwiiddtthh EEssttiimmaattoorrss 6633 33..22..66 EEssttiimmaattiinngg DDeerriivvaattiivveess 6644 iixx xx CCoonntteennttss 33..33.. MMIISSEE ooff TTrriiggoonnoommeettrriicc SSeerriieess EEssttiimmaattoorrss 6655 33..33..11 TThhee SSiimmppllee TTrruunnccaatteedd SSeerriieess EEssttiimmaattoorr 6666 33..33..22 SSmmooootthhnneessss AAddaappttaabbiilliittyy ooff SSiimmppllee SSeerriieess EEssttiimmaattoorrss 7700 33..33..33 TThhee RRooggoossiinnsskkii SSeerriieess EEssttiimmaattoorr 7711 33..44.. AAssyymmppttoottiicc DDiissttrriibbuuttiioonn TThheeoorryy 7766 33..55.. LLaarrggee--SSaammppllee CCoonnffiiddeennccee IInntteerrvvaallss 7788 44.. DDaattaa--DDrriivveenn CChhooiiccee ooff SSmmooootthhiinngg PPaarraammeetteerrss 8844 44..1l.. IInnttrroodduuccttiioonn 8844 44..22.. DDeessccrriippttiioonn ooff MMeetthhooddss 8855 44..22..11 CCrroossss--VVaalliiddaattiioonn 8855 44..22..22 RRiisskk EEssttiimmaattiioonn 8866 44..22..33 PPlluugg--iinn RRuulleess 8888 44..22..44 TThhee HHaallll--JJoohhnnssttoonnee EEffffiicciieenntt MMeetthhoodd 9900 44..22..55 OOnnee--SSiiddeedd CCrroossss--VVaalliiddaattiioonn 9900 44..22..66 AA DDaattaa AAnnaallyyssiiss 9922 44..33.. TThheeoorreettiiccaall PPrrooppeerrttiieess ooff DDaattaa--DDrriivveenn SSmmooootthheerrss 9933 44..33..11 AAssyymmppttoottiiccss ffoorr CCrroossss--VVaalliiddaattiioonn,, PPlluugg--IInn aanndd HHaallll--JJoohhnnssttoonnee MMeetthhooddss 9944 44..33..22 OOnnee--SSiiddeedd CCrroossss--VVaalliiddaattiioonn 9988 44..33..33 FFoouurriieerr SSeerriieess EEssttiimmaattoorrss 110055 44..44.. AA SSiimmuullaattiioonn SSttuuddyy 110077 44..55.. DDiissccuussssiioonn 111133 55.. CCllaassssiiccaall LLaacckk--ooff--FFiitt TTeessttss 111177 55..1l.. IInnttrroodduuccttiioonn 111177 55..22.. LLiikkeelliihhoooodd RRaattiioo TTeessttss 111199 55..22..11 TThhee GGeenneerraall CCaassee 111199 55..22..22 GGaauussssiiaann EErrrroorrss 112211 55..33.. PPuurree EExxppeerriimmeennttaall EErrrroorr aanndd LLaacckk ooff FFiitt 112222 55..44.. TTeessttiinngg tthhee FFiitt ooff LLiinneeaarr MMooddeellss 112244 55..44..11 TThhee RReedduuccttiioonn MMeetthhoodd 112244 55..44..22 UUnnssppeecciiffiieedd AAlltteerrnnaattiivveess 112266 55..44..33 NNoonn--GGaauussssiiaann EErrrroorrss 112299 55..55.. NNoonnppaarraammeettrriicc LLaacckk--ooff--FFiitt TTeessttss 113311 55..55..11 TThhee vvoonn NNeeuummaannnn TTeesstt 113322 55..55..22 AA CCuussuumm TTeesstt 113344 55..55..33 VVoonn NNeeuummaannnn aanndd CCuussuumm TTeessttss aass WWeeiigghhtteedd SSuummss ooff SSqquuaarreedd FFoouurriieerr CCooeeffffiicciieennttss 113366 55..55..44 LLaarrggee SSaammppllee PPoowweerr 113377 55..66.. NNeeyymmaann SSmmooootthh TTeessttss 114400 CCoonntteennttss xxii 66.. LLaacckk--ooff--FFiitt TTeessttss BBaasseedd oonn LLiinneeaarr SSmmooootthheerrss 114444 66..1l.. IInnttrroodduuccttiioonn 114444 66..22.. TTwwoo BBaassiicc AApppprrooaacchheess 114455 66..22..11 SSmmooootthhiinngg RReessiidduuaallss 114455 66..22..22 CCoommppaarriinngg PPaarraammeettrriicc aanndd NNoonnppaarraammeettrriicc MMooddeellss 114477 66..22..33 AA CCaassee ffoorr SSmmooootthhiinngg RReessiidduuaallss 114488 66..33.. TTeessttiinngg tthhee FFiitt ooff aa LLiinneeaarr MMooddeell 114499 66..33..11 RRaattiiooss ooff QQuuaaddrraattiicc FFoorrmmss 114499 66..33..22 OOrrtthhooggoonnaall SSeerriieess 115511 66..33..33 AAssyymmppttoottiicc DDiissttrriibbuuttiioonn TThheeoorryy 115522 66..44.. TThhee EEffffeecctt ooff SSmmooootthhiinngg PPaarraammeetteerr 115577 66..44..11 PPoowweerr 115588 66..44..22 TThhee SSiiggnniiffiiccaannccee TTrraaccee 116600 66..55.. HHiissttoorriiccaall aanndd BBiibblliiooggrraapphhiiccaall NNootteess 116633 77.. TTeessttiinngg ffoorr AAssssoocciiaattiioonn vviiaa AAuuttoommaatteedd OOrrddeerr SSeelleeccttiioonn 116644 77..1l.. IInnttrroodduuccttiioonn 116644 77..22.. DDiissttrriibbuuttiioonnaall PPrrooppeerrttiieess ooff SSaammppllee FFoouurriieerr CCooeeffffiicciieennttss 116666 77..33.. TThhee OOrrddeerr SSeelleeccttiioonn TTeesstt 116688 77..44.. EEqquuiivvaalleenntt FFoorrmmss ooff tthhee OOrrddeerr SSeelleeccttiioonn TTeesstt 117744 77..44..11 AA CCoonnttiinnuuoouuss--VVaalluueedd TTeesstt SSttaattiissttiicc 117744 77..44..22 AA GGrraapphhiiccaall TTeesstt 117755 77..55.. SSmmaallll--SSaammppllee NNuullll DDiissttrriibbuuttiioonn ooff TTnn 117766 77..55..11 GGaauussssiiaann EErrrroorrss wwiitthh KKnnoowwnn VVaarriiaannccee 117777 77..55..22 GGaauussssiiaann EErrrroorrss wwiitthh UUnnkknnoowwnn VVaarriiaannccee 117777 77..55..33 NNoonn--GGaauussssiiaann EErrrroorrss aanndd tthhee BBoooottssttrraapp 118811 77..55..44 AA DDiissttrriibbuuttiioonn--FFrreeee TTeesstt 118833 77..66.. VVaarriiaattiioonnss oonn tthhee OOrrddeerr SSeelleeccttiioonn TThheemmee 118855 77..66..11 DDaattaa--DDrriivveenn NNeeyymmaann SSmmooootthh TTeessttss 118855 77..66..22 FF--RRaattiioo wwiitthh RRaannddoomm DDeeggrreeeess ooff FFrreeeeddoomm 118877 77..66..33 MMaaxxiimmuumm VVaalluuee ooff EEssttiimmaatteedd RRiisskk 118888 77..66..44 TTeesstt BBaasseedd oonn RRooggoossiinnsskkii SSeerriieess EEssttiimmaattee 118888 77..66..55 AA BBaayyeess TTeesstt 118899 77..77.. PPoowweerr PPrrooppeerrttiieess 119955 77..77..11 CCoonnssiisstteennccyy 119966 77..77..22 PPoowweerr ooff OOrrddeerr SSeelleeccttiioonn,, NNeeyymmaann SSmmooootthh aanndd CCuussuumm TTeessttss 119977 77..77..33 LLooccaall AAlltteerrnnaattiivveess 220011 77..77..44 AA BBeesstt TTeesstt?? 220033 77..88.. CChhoooossiinngg aann OOrrtthhooggoonnaall BBaassiiss 220055 77..99.. HHiissttoorriiccaall aanndd BBiibblliiooggrraapphhiiccaall NNootteess 220066