Dynamische Systeme und Zeitreihenanalyse Autoregressive moving average Modelle Kapitel 12 StatistikundMathematik–WUWien MichaelHauser [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.0/?? Lernziele Stationäreundnicht-stationäreProzesse: whitenoiseundrandomwalk ARMA:AutoregressivemovingaverageModelle Modellbildung SchätzungvonARMAModellen ModellwahlundModellüberprüfung Prognose IntegrierteARMAModelle:ARIMA [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.1/?? Stationäre Prozesse [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.2/?? Schwach stationäre Prozesse WirbetrachtennunZufallsvariable y undnennendieFolge t y , t=..., 2, 1,0,1,2,... t { } − − einenstochastischenProzessindiskreterZeit. ProzessemitdenfolgendenEigenschaftenheißenkovarianzoder schwachstationa¨r: E(y )=E(y )=µ mittelwertstationa¨r t t s − kovarianzstationa¨r V(y )= E(y µ)2 =V(y )=σ2 t t− t−s y Cov(y ,y )= E(y µ)(y µ)=Cov(y ,y )=γ t t−s t− t−s− t−j t−s−j s µ, σy2, γs sindkonstantundunabhängigvont. [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.3/?? ACF DieKovarianzistsymmetrisch: Cov(yt,yt s)=Cov(yt s,yt)=Cov(yt,yt+s)=γs − − DieAutokorrelationzwischen y und y istdefiniertals t t s − γ ρs = γ0s =Corr(yt,yt−s) γ =σ2. γ sinddieKovarianzen. 0 y s ImSpeziellengilt: ρ =1 und 1<ρ <1. 0 s − Fasstmandieρs, s 0zusammen,nenntmansie ≥ Autokorrelationsfunktion,ACF: 1, ρ , ρ , ρ , ... 1 2 3 [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.4/?? Beispiel: White noise, WN EinProzess y y =ǫ mit t t t { } E(ǫt)=0, V(ǫt)=σǫ2, ρ =1, ρ =0, ρ =0, ρ =0, ... 0 1 2 3 heißtwhitenoise,WN,oderWeißesRauschen. DerwhitenoiseProzessist(kovarianz)stationär. Bemerkung:Fürǫ gilt: t V(ǫ)= E[(ǫ E[ǫ])2]=E[ǫ2] t t− t t Fürs =0: 6 γ(s)=Cov(ǫt,ǫt+s)=E[(ǫt E[ǫt])(ǫt+s E[ǫt+s]) − − =E(ǫtǫt+s)=0 [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.5/?? Wold Darstellung WoldDarstellungeinesstationa¨renProzesses JederschwachstationäreProzess y lässtsichalsunendliche t { } gewichteteSummeeinesvergangenenwhitenoiseProzesses darstellen. ∞ (cid:229) y µ= ψǫ t− j t−j j=0 Dieψ heißenImpulse-response-KoeffizientenoderalsGanzes j ψ, j 0 Transferfunktion,Impuls-Antwort-Funktion.Sie { j ≥ } erfüllendieBedingung ∞ (cid:229) ψ2 <∞ j j=0 Dh,dieψ sindquadratischsummierbar. j [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.6/?? Wold Darstellung (Fs) AusE(ǫt)=0folgt E(y )=µ t AusderquadratischenSummierbarkeitderψ folgt j V(y )=(cid:229) ψ2σ2 =σ2(cid:229) ψ2 t j ǫ ǫ j dadieǫ unkorreliertsind. t [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.7/?? Lagoperator, Differenzenoperator DerLagoperator Listdefiniertals(vgl∆beiLDGen) Lyt = yt 1, L2yt = yt 2, L3yt = yt 3, ... − − − ZumBeispielist (1 L)yt = yt yt 1, oder − − − (1 α1L α2L2 α3L3)yt = yt α1yt 1 α2yt 2 α3yt 3. − − − − − − − − − (1 α L α L2 α L3) heißtauchLagpolynomderOrdnung3. 1 2 3 − − − DerDifferenzenoperatoristdefiniertals ∆=1 L − ∆yt =(1 L)yt = yt yt 1 − − − ∆2yt =(1 L)2yt =(1 2L+L2)yt = yt 2yt 1+yt 2 − − − − − [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.8/?? Wold Darstellung mittels Lagoperator DieWoldDarstellungkannauchmitHilfeeinesunendlichen LagpolynomsΨ(L)angegebenwerden. ∞ ∞ ∞ y µ= (cid:229) ψǫ = (cid:229) ψ (Ljǫ)= (cid:229) (ψ Lj)ǫ =Ψ(L)ǫ t− j t−j j t j t t j=0 j=0 j=0 wobei (cid:229) ∞ ψ Lj =Ψ(L) ist. j=0 j [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.9/?? Ein nicht-stationärer Prozess: Der random walk, RW [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.10/?? Rekursion für den random walk Seiǫ whitenoise.EinProzess y mit t t { } y = y +ǫ t t 1 t − heißtrandomwalk,RW,(ohneDrift). EinProzess y mit t { } y =c+y +ǫ t t 1 t − heißtrandomwalkmitDrift.cistderDriftparameter. DerProzessistinrekursiverDarstellunggegeben. Einrandomwalkistnichtstationa¨r. [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.11/?? Explizite Darstellung des RWs GehenwirvoneinemRWaus,derint=0mit y (fix)startet: 0 y 0 y = y +ǫ 1 0 1 y = y +ǫ =(y +ǫ )+ǫ = y +(ǫ +ǫ ) 2 1 2 0 1 2 0 1 2 y = y +ǫ =(y +ǫ )+ǫ = y +(ǫ +ǫ +ǫ ) 3 2 3 1 2 3 0 1 2 3 ... y = y +ǫ = y +(cid:229) t ǫ t t 1 t 0 j=1 j − ExpliziteDarstellungdesRWs: t (cid:229) y = y + ǫ t 0 j j=1 [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.12/?? Bedingte und unbedingte Erwartung SeidieInformationsmenge I t It = yt,ǫt, yt 1,ǫt 1,...,y1,ǫ1, y0 { − − } DiebedingteErwartungvon y bezüglichderInformationsmengen t I , I und I ist t 1 t s 0 − − E(y I )= y t t 1 t 1 | − − E(y I )= y t t s t s | − − E(y I )= y t 0 0 | DieAbhängigkeitderbedingtenErwartungvomAnfangswert verschwindetnichtmits ∞. → DieunbedingteErwartungE(y )existiertnicht. t [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.13/?? Berechnungen Esgiltfürǫ, y und2beliebigeZVenXundY: t t E(ǫ I )=E(ǫ)=0, s>1 t t s t | − Cov(ǫt,ǫt s)=Cov(ǫt,yt s)=0 s>1 − − E(a+bX+cY)= a+bE(X)+cE(Y) V(a+bX+cY)=b2V(X)+2bcCov(X,Y)+c2V(Y) [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.14/?? Berechnungen (Fs) I : y = y +ǫ t 1 t t 1 t − − E(y y )= y +E(ǫ)= y t t 1 t 1 t t 1 | − − − V(y y )=σ2 t t 1 ǫ | − I : y = y +(cid:229) t ǫ 0 t 0 j=1 j E(y y )= y +E((cid:229) t ǫ)= y t| 0 0 j=1 j 0 V(y y )=V((cid:229) t ǫ)=E((cid:229) t ǫ)2 = E((cid:229) t ǫ2)=tσ2 t| 0 j=1 j j=1 j j=1 j ǫ γ(t,t+s)=Cov(yt,yt+s): yt+s = yt+(cid:229) sj=1ǫt+j Cov(yt,yt+s)=Cov(yt,yt+(cid:229) sj=1ǫt+j)=Cov(yt,yt)=V(yt) [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.15/?? Bedingte und unbedingte Varianz DiebedingteVarianzist V(y I )=σ2 t t 1 ǫ | − V(y I )=sσ2 t t s ǫ | − V(y I )=tσ2 t 0 ǫ | DiebedingteVarianzistnichtkonstantundnimmtausgehendvon t=0mittzu. DieunbedingteVarianzexistiertnicht. DieKovarianzCov(yt,yt+s I0)ist tσǫ2. | DieKorrelationCorr(yt,yt+s I0)=√t/√t+s. | [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.16/?? Explizite Darstellung des RWs mit Drift GehenwirvoneinemRWmitDriftaus,derint=0mit y fix 0 startet: y 0 y =c+y +ǫ 1 0 1 y =c+y +ǫ =c+(c+y +ǫ )+ǫ =2c+y +(ǫ +ǫ ) 2 1 2 0 1 2 0 1 2 y =c+y +ǫ =c+(c+y +ǫ )+ǫ =3c+y +(ǫ +ǫ +ǫ ) 3 2 3 1 2 3 0 1 2 3 ... y =c+y +ǫ = y +ct+(cid:229) t ǫ t t 1 t 0 j=1 j − ExpliziteDarstellungdesRWsmitDrift: t (cid:229) y = y +ct+ ǫ t 0 j j=1 [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.17/?? Bedingte/unbed Erwartung, RW mit Drift SeidieInformationsmenge I t It = yt,ǫt, yt 1,ǫt 1,...,y1,ǫ1, y0 { − − } DiebedingteErwartungvon y bezüglichderInformationsmengen t I , I und I ist t 1 t s 0 − − E(y I )=c+y t t 1 t 1 | − − E(y I )=sc+y t t s t s | − − E(y I )=tc+y t 0 0 | DieAbhängigkeitderbedingtenErwartungvomAnfangswert verschwindetnichtmits ∞.(vglLDG y y =c) t t 1 → − − DieunbedingteErwartungE(y )existiertnicht. t [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.18/?? Bedingte/unbed Varianz, RW mit Drift DiebedingteVarianzist V(y I )=σ2 t t 1 ǫ | − V(y I )=sσ2 t t s ǫ | − V(y I )=tσ2 t 0 ǫ | DiebedingteVarianzistnichtkonstantundnimmtausgehendvon t=0mittzu. DieunbedingteVarianzexistiertnicht. DieKovarianzzwischent,t+sisttσ2 ǫ [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.19/?? RW und dynamische Multiplikator DerrandomwalkProzesshatdieEigenschaft,dassvergangene Schocksnichtvergessenwerden.Jeder(vergangene)Schock, ǫ ,gehtzurGänzeindasaktuelleNiveau, y ,ein.KeinSchock t s t − wirdvergessen.DerdynamischeMultiplikatoristEins. yt = y0+ct+ (cid:229) t ǫj : ¶ ǫ¶ yt =1 j=1 t−s MansagtauchdiePersistenzeinesSchocksistEins. MitdiesemModellkönnenirreversibleo¨konomischeEntscheidungen beschriebenwerden. [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.20/?? Der ARMA Prozess [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.21/?? ARMA GehorchteinschwachstationärerProzessdemBildungsgesetz α (L)(y µ)=β(L)ǫ p t q t − soheißterARMA(p,q),autoregressivermovingaverageProzess derOrdnung(p,q). Wobei αp(L)=1 α1L ... αpLp − − − β(L)=1 β L ... β Lq q 1 q − − − α (L)dasAR-PolynomderOrdnung pund p β(L)dasMA-PolynomderOrdnungqist. q ǫ istwhitenoise. t [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.22/?? Beispiele Seiǫ WN. t ARMA(0,0),µ=0: y =ǫ whitenoise t t ARMA(0,0),µ=0: y =µ+ǫ t t 6 AR(1): (1 α1L)(yt µ)=ǫt − − MA(1): (y µ)=(1 β L)ǫ t 1 t − − ARMA(1,1): (1 α1L)(yt µ)=(1 β1L)ǫt − − − ARMA(1,2): (1 α1L)(yt µ)=(1 β1L β2L2)ǫt − − − − AR(12): (1 α L ... α L12)(y µ)=ǫ 1 12 t t − − − − zBfürMonatsdatenmitSaison [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.23/?? Vergleich ARMA und Wold Darstellung ARMAModellelieferneineApproximationderΨ(L)-Polynomsaus derWoldDarstellungmittelseinerrationalenFunktion. DividiertmandieDefinitionsgleichungeinesARMAModellsdurch dasAR-Polynom(soferndaszulässigist),soerhältmanmit α (L)(y µ)=β(L)ǫ p t q t − β(L) y µ= ǫ =Ψ(L)ǫ t− α(L) t t EigentlichwerdenwirdaswahreΨ(L),daswiriAnichtkennen,nur durchdierationaleFunktionapproximieren. [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.24/?? Vergleich ARMA und Wold Darstellung (Fs) Beispiele: ∞ ARMA(1,0): y µ= 1 ǫ = (cid:229) αjǫ =Ψ(L)ǫ t− 1−α1L t j=0 1 t−j t 1 β L ARMA(1,1): y µ= − 1 ǫ =Ψ(L)ǫ t− 1 α L t t 1 − MA(∞): y µ=(1 β L β L2 ...)ǫ t 1 2 t − − − − yt µ=β∞(L)ǫt =Ψ(L)ǫt − Bemerkung:(cid:229) ∞ qi =1/(1 q) i=0 − [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.25/?? Vergleich ARMA und Wold Darstellung (Fs) MittelsARMA-Modellenkönnenalle(schwach)stationären Prozessedargestelltwerden,soferndieOrdnungderPolynome großgenuggewähltwird: p ∞oderq ∞. → → InderRegelmussmanannehmen,dassderzugrundeliegende Prozesssehrkompliziertist,dasseigentlicheinMA(∞)zur Modellierungnotwendigist. [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.26/?? Kürzende Wurzeln Zubeachtenist,dasseszukeinerKu¨rzungderFaktorenim Zähler-undimNennerpolynomkommt. Zerlegungvonα (L)undβ(L)inLinearfaktoren: p q αp(L)=(1−zα1 L)·...·(1−zαpL) βq(L)=(1−zβ1 L)·...·(1−zβq L) β(L) (1 zβL) ... (1 zβL) y µ= q ǫ = − 1 · · − q ǫ t− α (L) t (1 zαL) ... (1 zαL) t p − 1 · · − p KürzendeWurzelnliegenvor,wennfüreinibzw jgilt: zα= zβ i j [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.27/?? Kürzende Wurzeln - Beispiel Beispiel:ARMA(1,1)mitα =β isteinARMA(0,0). 1 1 1 β L y µ= − 1 ǫ =ǫ t− 1 α L t t 1 − DieParameterα undβ sindnichtidentifiziert. 1 1 [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.28/?? Modellbildung, principle of parsimony Modellbildung DaszentraleKonzeptderModellbildungist,den zugrundeliegendenProzessdurcheinsparsamparametrisiertes ARMA-Modell(ARMA-ModellmitniedrigerOrdnung)zu approximieren:principleofparsimony. DasProblembestehtdarinein“gutes”undzugleichsparsam parametrisiertesModellzufinden. (Parsimony...Sparsamkeit) [email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.29/??
Description: