Quantitative Analytics A Practical Guide To Quantitative Portfolio Trading

842 Pages·2015·7.48 MB·English

Quantitative Analytics
A Practical Guide To Quantitative Portfolio
Trading
Daniel Bloch
30th of December 2014
The copyright to this computer software and documentation is the property of Quant Finance Ltd. It may be
used and/or copied only with the written consent of the company or in accordance with the terms and conditions
stipulated in the agreement/contract under which the material has been supplied.
Copyright © 2015 Quant Finance Ltd
Quantitative Analytics, London
Created: 18 November 2015
A Practical Guide To Quantitative Portfolio Trading
1
Daniel BLOCH
QUANT FINANCE LTD
eBook
30th of December 2014
Version 1.3.1
1
Abstract
We discuss risk, preference and valuation in classical economics, which led academics to develop a theory of
market prices, resulting in the general equilibrium theories. However, in practice, the decision process does not follow
that theory since the qualitative aspect coming from human decision making process is missing. Further, a large
number of studies in empirical finance showed that financial assets exhibit trends or cycles, resulting in persistent
inefficiencies in the market, that can be exploited. The uneven assimilation of information emphasised the multifractal
nature of the capital markets, recognising complexity. New theories to explain financial markets developed, among
which is a multitude of interacting agents forming a complex system characterised by a high level of uncertainty.
Recently, with the increased availability of data, econophysics emerged as a mix of physical sciences and economics
to get the best of both world, in view of analysing more deeply assets’ predictability. For instance, data mining and
machine learning methodologies provide a range of general techniques for classification, prediction, and optimisation
of structured and unstructured data. Using these techniques, one can describe financial markets through degrees
of freedom which may be both qualitative and quantitative in nature. In this book we detail how the growing use
of quantitative methods changed finance and investment theory. The most significant benefit being the power of
automation, enforcing a systematic investment approach and a structured and unified framework. We present in a
chronological order the necessary steps to identify trading signals, build quantitative strategies, assess expected returns,
measure and score strategies, and allocate portfolios.
Quantitative Analytics
I would like to thank my wife and children for their patience and support during this adventure.
1
Quantitative Analytics
I would like to thank Antoine Haddad and Philippe Ankaoua for giving me the opportunity, and
the means, of completing this book. I would also like to thank Sebastien Gurrieri for writing a
section on CUDA programming in finance.
2
Contents
0.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
0.1.1 Preamble . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
0.1.2 An overview of quantitative trading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
I Quantitative trading in classical economics 26
1 Risk, preference, and valuation 27
1.1 A brief history of ideas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.2 Solving the St. Petersburg paradox . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.2.1 The simple St. Petersburg game . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.2.2 The sequential St. Petersburg game . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.2.3 Using time averages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.2.4 Using option pricing theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.3 Modelling future cashflows in presence of risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.3.1 Introducing the discount rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.3.2 Valuing payoffs in continuous time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.3.3 Modelling the discount factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.4 The pricing kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.4.1 Defining the pricing kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.4.2 The empirical pricing kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.4.3 Analysing the expected risk premium . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.4.4 Infering risk premium from option prices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
1.5 Modelling asset returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
1.5.1 Defining the return process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
1.5.2 Valuing potfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.5.3 Presenting the factor models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
1.5.3.1 The presence of common factors . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
1.5.3.2 Defining factor models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
1.5.3.3 CAPM: a one factor model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
1.5.3.4 APT: a multi-factor model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.6 Introducing behavioural finance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.6.1 The Von Neumann and Morgenstern model . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
1.6.2 Preferences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
1.6.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
1.6.4 Some critics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
1.7 Predictability of financial markets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.7.1 The martingale theory of asset prices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.7.2 The efficient market hypothesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3
Quantitative Analytics
1.7.3 Some major critics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
1.7.4 Contrarian and momentum strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
1.7.5 Beyond the EMH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
1.7.6 Risk premia and excess returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
1.7.6.1 Risk premia in option prices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
1.7.6.2 The existence of excess returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
2 Introduction to asset management 65
2.1 Portfolio management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.1.1 Defining portfolio management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.1.2 Asset allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.1.2.1 Objectives and methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.1.2.2 Active portfolio strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.1.2.3 A review of asset allocation techniques . . . . . . . . . . . . . . . . . . . . . . . . 70
2.1.3 Presenting some trading strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.1.3.1 Some examples of behavioural strategies . . . . . . . . . . . . . . . . . . . . . . . 71
2.1.3.2 Some examples of market neutral strategies . . . . . . . . . . . . . . . . . . . . . 72
2.1.3.3 Predicting changes in business cycles . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.1.4 Risk premia investing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.1.5 Introducing technical analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
2.1.5.1 Defining technical analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
2.1.5.2 Presenting a few trading indicators . . . . . . . . . . . . . . . . . . . . . . . . . . 78
2.1.5.3 The limitation of indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
2.1.5.4 The risk of overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
2.1.5.5 Evaluating trading system performance . . . . . . . . . . . . . . . . . . . . . . . . 81
2.2 Portfolio construction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.2.1 The problem of portfolio selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
2.2.1.1 Minimising portfolio variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
2.2.1.2 Maximising portfolio return . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
2.2.1.3 Accounting for portfolio risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
2.3 A market equilibrium theory of asset prices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
2.3.1 The capital asset pricing model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
2.3.1.1 Markowitz solution to the portfolio allocation problem . . . . . . . . . . . . . . . . 86
2.3.1.2 The Sharp-Lintner CAPM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
2.3.1.3 Some critics and improvements of the CAPM . . . . . . . . . . . . . . . . . . . . 90
2.3.2 The growth optimal portfolio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
2.3.2.1 Discrete time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
2.3.2.2 Continuous time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
2.3.2.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
2.3.2.4 Comparing the GOP with the MV approach . . . . . . . . . . . . . . . . . . . . . 100
2.3.2.5 Time taken by the GOP to outperfom other portfolios . . . . . . . . . . . . . . . . 103
2.3.3 Measuring and predicting performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
2.3.4 Predictable variation in the Sharpe ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2.4 Risk and return analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
2.4.1 Some financial meaning to alpha and beta . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
2.4.1.1 The financial beta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
2.4.1.2 The financial alpha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
2.4.2 Performance measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
2.4.2.1 The Sharpe ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
2.4.2.2 More measures of risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4
Quantitative Analytics
2.4.2.3 Alpha as a measure of risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
2.4.2.4 Empirical measures of risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
2.4.2.5 Incorporating tail risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
2.4.3 Some downside risk measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
2.4.4 Considering the value at risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
2.4.4.1 Introducing the value at risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
2.4.4.2 The reward to VaR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
2.4.4.3 The conditional Sharpe ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
2.4.4.4 The modified Sharpe ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
2.4.4.5 The constant adjusted Sharpe ratio . . . . . . . . . . . . . . . . . . . . . . . . . . 116
2.4.5 Considering drawdown measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
2.4.6 Some limitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
2.4.6.1 Dividing by zero . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
2.4.6.2 Anomaly in the Sharpe ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
2.4.6.3 The weak stochastic dominance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
3 Introduction to financial time series analysis 120
3.1 Prologue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
3.2 An overview of data analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.2.1 Presenting the data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.2.1.1 Data description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.2.1.2 Analysing the data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.2.1.3 Removing outliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.2.2 Basic tools for summarising and forecasting data . . . . . . . . . . . . . . . . . . . . . . . . 122
3.2.2.1 Presenting forecasting methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
3.2.2.2 Summarising the data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
3.2.2.3 Measuring the forecasting accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.2.2.4 Prediction intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
3.2.2.5 Estimating model parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
3.2.3 Modelling time series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
3.2.3.1 The structural time series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
3.2.3.2 Some simple statistical models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
3.2.4 Introducing parametric regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
3.2.4.1 Some rules for conducting inference . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.2.4.2 The least squares estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.2.5 Introducing state-space models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
3.2.5.1 The state-space form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
3.2.5.2 The Kalman filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
3.2.5.3 Model specification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
3.3 Asset returns and their characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
3.3.1 Defining financial returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
3.3.1.1 Asset returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
3.3.1.2 The percent returns versus the logarithm returns . . . . . . . . . . . . . . . . . . . 142
3.3.1.3 Portfolio returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
3.3.1.4 Modelling returns: The random walk . . . . . . . . . . . . . . . . . . . . . . . . . 143
3.3.2 The properties of returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
3.3.2.1 The distribution of returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
3.3.2.2 The likelihood function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
3.3.3 Testing the series against trend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
3.3.4 Testing the assumption of normally distributed returns . . . . . . . . . . . . . . . . . . . . . 147
5
Quantitative Analytics
3.3.4.1 Testing for the fitness of the Normal distribution . . . . . . . . . . . . . . . . . . . 147
3.3.4.2 Quantifying deviations from a Normal distribution . . . . . . . . . . . . . . . . . . 148
3.3.5 The sample moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
3.3.5.1 The population mean and volatility . . . . . . . . . . . . . . . . . . . . . . . . . . 150
3.3.5.2 The population skewness and kurtosis . . . . . . . . . . . . . . . . . . . . . . . . 151
3.3.5.3 Annualisation of the first two moments . . . . . . . . . . . . . . . . . . . . . . . . 152
3.4 Introducing the volatility process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.4.1 An overview of risk and volatility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.4.1.1 The need to forecast volatility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.4.1.2 A first decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
3.4.2 The structure of volatility models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
3.4.2.1 Benchmark volatility models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
3.4.2.2 Some practical considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
3.4.3 Forecasting volatility with RiskMetrics methodology . . . . . . . . . . . . . . . . . . . . . . 158
3.4.3.1 The exponential weighted moving average . . . . . . . . . . . . . . . . . . . . . . 158
3.4.3.2 Forecasting volatility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
3.4.3.3 Assuming zero-drift in volatility calculation . . . . . . . . . . . . . . . . . . . . . 160
3.4.3.4 Estimating the decay factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
3.4.4 Computing historical volatility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
II Statistical tools applied to finance 165
4 Filtering and smoothing techniques 166
4.1 Presenting the challenge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
4.1.1 Describing the problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
4.1.2 Regression smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
4.1.3 Introducing trend filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
4.1.3.1 Filtering in frequency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
4.1.3.2 Filtering in the time domain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
4.2 Smooting techniques and nonparametric regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
4.2.1 Histogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
4.2.1.1 Definition of the Histogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
4.2.1.2 Smoothing the histogram by WARPing . . . . . . . . . . . . . . . . . . . . . . . . 173
4.2.2 Kernel density estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
4.2.2.1 Definition of the Kernel estimate . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
4.2.2.2 Statistics of the Kernel density . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
4.2.2.3 Confidence intervals and confidence bands . . . . . . . . . . . . . . . . . . . . . . 177
4.2.3 Bandwidth selection in practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
4.2.3.1 Kernel estimation using reference distribution . . . . . . . . . . . . . . . . . . . . 178
4.2.3.2 Plug-in methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
4.2.3.3 Cross-validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
4.2.4 Nonparametric regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
4.2.4.1 The Nadaraya-Watson estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
4.2.4.2 Kernel smoothing algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
4.2.4.3 The K-nearest neighbour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
4.2.5 Bandwidth selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
4.2.5.1 Estimation of the average squared error . . . . . . . . . . . . . . . . . . . . . . . . 188
4.2.5.2 Penalising functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
4.2.5.3 Cross-validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
6
Quantitative Analytics
4.3 Trend filtering in the time domain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
4.3.1 Some basic principles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
4.3.2 The local averages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
4.3.3 The Savitzky-Golay filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
4.3.4 The least squares filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
4.3.4.1 The L2 filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
4.3.4.2 The L1 filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
4.3.4.3 The Kalman filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
4.3.5 Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
4.3.6 Introducing linear prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
5 Presenting time series analysis 203
5.1 Basic principles of linear time series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
5.1.1 Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
5.1.2 The autocorrelation function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
5.1.3 The portmanteau test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
5.2 Linear time series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
5.2.1 Defining time series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
5.2.2 The autoregressive models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
5.2.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
5.2.2.2 Some properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
5.2.2.3 Identifying and estimating AR models . . . . . . . . . . . . . . . . . . . . . . . . 209
5.2.2.4 Parameter estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
5.2.3 The moving-average models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
5.2.4 The simple ARMA model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
5.3 Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
5.3.1 Forecasting with the AR models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
5.3.2 Forecasting with the MA models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
5.3.3 Forecasting with the ARMA models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
5.4 Nonstationarity and serial correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
5.4.1 Unit-root nonstationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
5.4.1.1 The random walk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
5.4.1.2 The random walk with drift . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
5.4.1.3 The unit-root test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
5.4.2 Regression models with time series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
5.4.3 Long-memory models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
5.5 Multivariate time series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
5.5.1 Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
5.5.2 Introduction to a few models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
5.5.3 Principal component analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
5.6 Some conditional heteroscedastic models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
5.6.1 The ARCH model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
5.6.2 The GARCH model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
5.6.3 The integrated GARCH model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
5.6.4 The GARCH-M model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
5.6.5 The exponential GARCH model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
5.6.6 The stochastic volatility model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
5.6.7 Another approach: high-frequency data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
5.6.8 Forecasting evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
5.7 Exponential smoothing and forecasting data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
7