Introduction to Mathematical Systems Theory

169 Pages·1935·1.37 MB·english

by  Heij

Christiaan Heij
André Ran
Freek van Schagen
Operator Theory
and Indefi nite
Introduction to
Inner Product Spaces
Mathematical
Presented on the occasion of the retirement of Heinz Langer in the
SColloyquisum tone Opemrator Tsheo rTy, Viehnnae, Maorch r20y04
Linear Systems, Identification
and Control
Matthias Langer
Annemarie Luger
Harald Woracek
Editors
Birkhäuser Verlag
. .
Basel Boston Berlin
Authors:
Christiaan Heij Freek van Schagen
Econometric Institute Department of Mathematics
Faculty of Economics Faculty of Exact Sciences
Erasmus University Rotterdam Vrije Universiteit Amserdam
P.O. Box 1738 De Boelelaan 1081a
3000 DR Rotterdam 1081 HV Amsterdam
The Netherlands The Netherlands
e-mail: [email protected] e-mail: [email protected]
André Ran
Department of Mathematics
Faculty of Exact Sciences
Vrije Universiteit Amserdam
De Boelelaan 1081a
1081 HV Amsterdam
The Netherlands
e-mail: [email protected]
(cid:21)(cid:19)(cid:19)(cid:19)(cid:3)(cid:48)(cid:68)(cid:87)(cid:75)(cid:72)(cid:80)(cid:68)(cid:87)(cid:76)(cid:70)(cid:68)(cid:79)(cid:3)(cid:54)(cid:88)(cid:69)(cid:77)(cid:72)(cid:70)(cid:87)(cid:3)(cid:38)(cid:79)(cid:68)(cid:86)(cid:86)(cid:76)(cid:191)(cid:70)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:3)(cid:28)(cid:22)(cid:16)(cid:19)(cid:20)(cid:15)(cid:3)(cid:28)(cid:22)(cid:37)(cid:19)(cid:24)(cid:15)(cid:3)(cid:28)(cid:22)(cid:37)(cid:19)(cid:26)(cid:15)(cid:3)(cid:28)(cid:22)(cid:37)(cid:20)(cid:24)(cid:15)(cid:3)(cid:28)(cid:22)(cid:37)(cid:21)(cid:19)(cid:15)(cid:3)(cid:28)(cid:22)(cid:37)(cid:24)(cid:24)(cid:15)(cid:3)(cid:28)(cid:22)(cid:38)(cid:19)(cid:24)(cid:15)(cid:3)(cid:28)(cid:22)(cid:38)(cid:22)(cid:24)(cid:15)(cid:3)(cid:28)(cid:22)(cid:39)(cid:20)(cid:24)(cid:15)(cid:3)
(cid:28)(cid:22)(cid:40)(cid:19)(cid:22)(cid:15)(cid:3)(cid:28)(cid:22)(cid:40)(cid:20)(cid:21)(cid:15)(cid:3)(cid:28)(cid:22)(cid:40)(cid:21)(cid:19)(cid:15)(cid:3)(cid:23)(cid:28)(cid:38)(cid:21)(cid:19)(cid:15)(cid:3)(cid:23)(cid:28)(cid:49)(cid:20)(cid:19)
(cid:47)(cid:76)(cid:69)(cid:85)(cid:68)(cid:85)(cid:92)(cid:3)(cid:82)(cid:73)(cid:3)(cid:38)(cid:82)(cid:81)(cid:74)(cid:85)(cid:72)(cid:86)(cid:86)(cid:3)(cid:38)(cid:82)(cid:81)(cid:87)(cid:85)(cid:82)(cid:79)(cid:3)(cid:49)(cid:88)(cid:80)(cid:69)(cid:72)(cid:85)(cid:29)(cid:3)(cid:3)(cid:21)(cid:19)(cid:19)(cid:25)(cid:28)(cid:22)(cid:23)(cid:21)(cid:20)(cid:26)
Bibliographic information published by Die Deutsche Bibliothek
(cid:39)(cid:76)(cid:72)(cid:3)(cid:39)(cid:72)(cid:88)(cid:87)(cid:86)(cid:70)(cid:75)(cid:72)(cid:3)(cid:37)(cid:76)(cid:69)(cid:79)(cid:76)(cid:82)(cid:87)(cid:75)(cid:72)(cid:78)(cid:3)(cid:79)(cid:76)(cid:86)(cid:87)(cid:86)(cid:3)(cid:87)(cid:75)(cid:76)(cid:86)(cid:3)(cid:83)(cid:88)(cid:69)(cid:79)(cid:76)(cid:70)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:3)(cid:76)(cid:81)(cid:3)(cid:87)(cid:75)(cid:72)(cid:3)(cid:39)(cid:72)(cid:88)(cid:87)(cid:86)(cid:70)(cid:75)(cid:72)(cid:3)(cid:49)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:68)(cid:79)(cid:69)(cid:76)(cid:69)(cid:79)(cid:76)(cid:82)(cid:74)(cid:85)(cid:68)(cid:191)(cid:72)(cid:30)(cid:3)(cid:71)(cid:72)(cid:87)(cid:68)(cid:76)(cid:79)(cid:72)(cid:71)(cid:3)(cid:69)(cid:76)(cid:69)(cid:79)(cid:76)(cid:82)(cid:74)(cid:85)(cid:68)(cid:83)(cid:75)(cid:76)(cid:70)(cid:3)(cid:71)(cid:68)(cid:87)(cid:68)(cid:3)(cid:76)(cid:86)(cid:3)
available in the Internet at <http://dnb.ddb.de>.
(cid:44)(cid:54)(cid:37)(cid:49)(cid:16)(cid:20)(cid:22)(cid:29)(cid:3)(cid:28)(cid:26)(cid:27)(cid:16)(cid:22)(cid:16)(cid:26)(cid:25)(cid:23)(cid:22)(cid:16)(cid:26)(cid:24)(cid:23)(cid:27)(cid:16)(cid:24)(cid:3)(cid:37)(cid:76)(cid:85)(cid:78)(cid:75)(cid:108)(cid:88)(cid:86)(cid:72)(cid:85)(cid:3)(cid:57)(cid:72)(cid:85)(cid:79)(cid:68)(cid:74)(cid:15)(cid:3)(cid:37)(cid:68)(cid:86)(cid:72)(cid:79)(cid:3)(cid:177)(cid:3)(cid:37)(cid:82)(cid:86)(cid:87)(cid:82)(cid:81)(cid:3)(cid:177)(cid:3)(cid:37)(cid:72)(cid:85)(cid:79)(cid:76)(cid:81)(cid:3)
(cid:55)(cid:75)(cid:76)(cid:86)(cid:3)(cid:90)(cid:82)(cid:85)(cid:78)(cid:3)(cid:76)(cid:86)(cid:3)(cid:86)(cid:88)(cid:69)(cid:77)(cid:72)(cid:70)(cid:87)(cid:3)(cid:87)(cid:82)(cid:3)(cid:70)(cid:82)(cid:83)(cid:92)(cid:85)(cid:76)(cid:74)(cid:75)(cid:87)(cid:17)(cid:3)(cid:36)(cid:79)(cid:79)(cid:3)(cid:85)(cid:76)(cid:74)(cid:75)(cid:87)(cid:86)(cid:3)(cid:68)(cid:85)(cid:72)(cid:3)(cid:85)(cid:72)(cid:86)(cid:72)(cid:85)(cid:89)(cid:72)(cid:71)(cid:15)(cid:3)(cid:90)(cid:75)(cid:72)(cid:87)(cid:75)(cid:72)(cid:85)(cid:3)(cid:87)(cid:75)(cid:72)(cid:3)(cid:90)(cid:75)(cid:82)(cid:79)(cid:72)(cid:3)(cid:82)(cid:85)(cid:3)(cid:83)(cid:68)(cid:85)(cid:87)(cid:3)(cid:82)(cid:73)(cid:3)(cid:87)(cid:75)(cid:72)(cid:3)(cid:80)(cid:68)(cid:87)(cid:72)(cid:85)(cid:76)(cid:68)(cid:79)(cid:3)(cid:76)(cid:86)(cid:3)(cid:70)(cid:82)(cid:81)(cid:70)(cid:72)(cid:85)(cid:81)(cid:72)(cid:71)(cid:15)(cid:3)
(cid:86)(cid:83)(cid:72)(cid:70)(cid:76)(cid:191)(cid:70)(cid:68)(cid:79)(cid:79)(cid:92)(cid:3)(cid:87)(cid:75)(cid:72)(cid:3)(cid:85)(cid:76)(cid:74)(cid:75)(cid:87)(cid:86)(cid:3)(cid:82)(cid:73)(cid:3)(cid:87)(cid:85)(cid:68)(cid:81)(cid:86)(cid:79)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)(cid:85)(cid:72)(cid:83)(cid:85)(cid:76)(cid:81)(cid:87)(cid:76)(cid:81)(cid:74)(cid:15)(cid:3)(cid:85)(cid:72)(cid:16)(cid:88)(cid:86)(cid:72)(cid:3)(cid:82)(cid:73)(cid:3)(cid:76)(cid:79)(cid:79)(cid:88)(cid:86)(cid:87)(cid:85)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:86)(cid:15)(cid:3)(cid:85)(cid:72)(cid:70)(cid:76)(cid:87)(cid:68)(cid:87)(cid:76)(cid:82)(cid:81)(cid:15)(cid:3)(cid:69)(cid:85)(cid:82)(cid:68)(cid:71)(cid:70)(cid:68)(cid:86)(cid:87)(cid:76)(cid:81)(cid:74)(cid:15)(cid:3)(cid:85)(cid:72)(cid:83)(cid:85)(cid:82)(cid:71)(cid:88)(cid:70)(cid:87)(cid:76)(cid:82)(cid:81)(cid:3)(cid:82)(cid:81)(cid:3)
(cid:80)(cid:76)(cid:70)(cid:85)(cid:82)(cid:191)(cid:79)(cid:80)(cid:86)(cid:3)(cid:82)(cid:85)(cid:3)(cid:76)(cid:81)(cid:3)(cid:82)(cid:87)(cid:75)(cid:72)(cid:85)(cid:3)(cid:90)(cid:68)(cid:92)(cid:86)(cid:15)(cid:3)(cid:68)(cid:81)(cid:71)(cid:3)(cid:86)(cid:87)(cid:82)(cid:85)(cid:68)(cid:74)(cid:72)(cid:3)(cid:76)(cid:81)(cid:3)(cid:71)(cid:68)(cid:87)(cid:68)(cid:3)(cid:69)(cid:68)(cid:81)(cid:78)(cid:86)(cid:17)(cid:3)(cid:41)(cid:82)(cid:85)(cid:3)(cid:68)(cid:81)(cid:92)(cid:3)(cid:78)(cid:76)(cid:81)(cid:71)(cid:3)(cid:82)(cid:73)(cid:3)(cid:88)(cid:86)(cid:72)(cid:3)(cid:83)(cid:72)(cid:85)(cid:80)(cid:76)(cid:86)(cid:86)(cid:76)(cid:82)(cid:81)(cid:3)(cid:82)(cid:73)(cid:3)(cid:87)(cid:75)(cid:72)(cid:3)(cid:70)(cid:82)(cid:83)(cid:92)(cid:85)(cid:76)(cid:74)(cid:75)(cid:87)(cid:3)(cid:82)(cid:90)(cid:81)(cid:72)(cid:85)(cid:3)(cid:80)(cid:88)(cid:86)(cid:87)(cid:3)
be obtained.
(cid:139)(cid:3)(cid:21)(cid:19)(cid:19)(cid:26)(cid:3)(cid:37)(cid:76)(cid:85)(cid:78)(cid:75)(cid:108)(cid:88)(cid:86)(cid:72)(cid:85)(cid:3)(cid:57)(cid:72)(cid:85)(cid:79)(cid:68)(cid:74)(cid:15)(cid:3)(cid:51)(cid:17)(cid:50)(cid:17)(cid:3)(cid:37)(cid:82)(cid:91)(cid:3)(cid:20)(cid:22)(cid:22)(cid:15)(cid:3)(cid:38)(cid:43)(cid:16)(cid:23)(cid:19)(cid:20)(cid:19)(cid:3)(cid:37)(cid:68)(cid:86)(cid:72)(cid:79)(cid:15)(cid:3)(cid:54)(cid:90)(cid:76)(cid:87)(cid:93)(cid:72)(cid:85)(cid:79)(cid:68)(cid:81)(cid:71)
Part of Springer Science+Business Media
Printed on acid-free paper produced from chlorine-free pulp. TCF (cid:102)
Printed in Germany
(cid:44)(cid:54)(cid:37)(cid:49)(cid:16)(cid:20)(cid:19)(cid:29)(cid:3)(cid:22)(cid:16)(cid:26)(cid:25)(cid:23)(cid:22)(cid:16)(cid:26)(cid:24)(cid:23)(cid:27)(cid:16)(cid:24)(cid:3) (cid:3) (cid:3) (cid:3) (cid:3) (cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:72)(cid:16)(cid:44)(cid:54)(cid:37)(cid:49)(cid:16)(cid:20)(cid:19)(cid:29)(cid:3)(cid:22)(cid:16)(cid:26)(cid:25)(cid:23)(cid:22)(cid:16)(cid:26)(cid:24)(cid:23)(cid:28)(cid:16)(cid:22)
(cid:44)(cid:54)(cid:37)(cid:49)(cid:16)(cid:20)(cid:22)(cid:29)(cid:3)(cid:28)(cid:26)(cid:27)(cid:16)(cid:22)(cid:16)(cid:26)(cid:25)(cid:23)(cid:22)(cid:16)(cid:26)(cid:24)(cid:23)(cid:27)(cid:16)(cid:24)(cid:3) (cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:72)(cid:16)(cid:44)(cid:54)(cid:37)(cid:49)(cid:16)(cid:20)(cid:22)(cid:29)(cid:3)(cid:28)(cid:26)(cid:27)(cid:16)(cid:22)(cid:16)(cid:26)(cid:25)(cid:23)(cid:22)(cid:16)(cid:26)(cid:24)(cid:23)(cid:28)(cid:16)(cid:21)
(cid:28)(cid:3)(cid:27)(cid:3)(cid:26)(cid:3)(cid:25)(cid:3)(cid:24)(cid:3)(cid:23)(cid:3)(cid:22)(cid:3)(cid:21)(cid:3)(cid:20)(cid:3) (cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:90)(cid:90)(cid:90)(cid:17)(cid:69)(cid:76)(cid:85)(cid:78)(cid:75)(cid:68)(cid:88)(cid:86)(cid:72)(cid:85)(cid:17)(cid:70)(cid:75)
Contents
Preface ix
1 Dynamical Systems 1
1.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Systems and Laws . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 State Representations . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Input-Output Systems 11
2.1 Inputs and Outputs in the Time Domain. . . . . . . . . . . . . . . 11
2.2 Frequency Domain and Transfer Functions . . . . . . . . . . . . . . 14
2.3 State Space Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4 Equivalent and Minimal Realizations . . . . . . . . . . . . . . . . . 20
3 State Space Models 25
3.1 Controllability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 Observability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3 Structure Theory of Realizations . . . . . . . . . . . . . . . . . . . 31
3.4 An Algorithm for Minimal Realizations . . . . . . . . . . . . . . . 34
4 Stability 39
4.1 Internal Stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2 Input-Output Stability . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3 Stabilization by State Feedback . . . . . . . . . . . . . . . . . . . . 45
4.4 Stabilization by Output Feedback . . . . . . . . . . . . . . . . . . 49
5 Optimal Control 53
5.1 Problem Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.2 Dynamic Programming . . . . . . . . . . . . . . . . . . . . . . . . 56
5.3 Linear Quadratic Control . . . . . . . . . . . . . . . . . . . . . . . 59
vi Contents
6 Stochastic Systems 67
6.1 Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.2 Stationary Processes . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.3 ARMA Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.4 State Space Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
6.5 Spectra and the Frequency Domain . . . . . . . . . . . . . . . . . . 79
6.6 Stochastic Input-Output Systems . . . . . . . . . . . . . . . . . . . 81
7 Filtering and Prediction 83
7.1 The Filtering Problem . . . . . . . . . . . . . . . . . . . . . . . . . 83
7.2 Spectral Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
7.3 The Kalman Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
7.4 The Steady State Filter . . . . . . . . . . . . . . . . . . . . . . . . 96
8 Stochastic Control 101
8.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8.2 Stochastic Dynamic Programming . . . . . . . . . . . . . . . . . . 102
8.3 LQG Control with State Feedback . . . . . . . . . . . . . . . . . . 105
8.4 LQG Control with Output Feedback . . . . . . . . . . . . . . . . . 108
9 System Identification 115
9.1 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
9.2 Regression Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
9.3 Maximum Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . 119
9.4 Estimation of Autoregressive Models . . . . . . . . . . . . . . . . . 121
9.5 Estimation of ARMAX Models . . . . . . . . . . . . . . . . . . . . 124
9.6 Model Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
9.6.1 Lag Orders . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
9.6.2 Residual Tests . . . . . . . . . . . . . . . . . . . . . . . . . 129
9.6.3 Inputs and Outputs . . . . . . . . . . . . . . . . . . . . . . 130
9.6.4 Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . 132
10 Cycles and Trends 133
10.1 The Periodogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
10.2 Spectral Identification . . . . . . . . . . . . . . . . . . . . . . . . . 138
10.3 Trends . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
10.4 Seasonality and Nonlinearities . . . . . . . . . . . . . . . . . . . . . 146
11 Further Developments 151
11.1 Continuous Time Systems . . . . . . . . . . . . . . . . . . . . . . . 151
11.2 Optimal Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
11.3 Nonlinear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
11.4 Infinite Dimensional Systems . . . . . . . . . . . . . . . . . . . . . 155
11.5 Robust and Adaptive Control . . . . . . . . . . . . . . . . . . . . . 156
Contents vii
11.6 Stochastic Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
11.7 System Identification . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Bibliography 161
Index 165
Preface
Thisbookhasgrownoutofmorethantenyearsofteachinganintroductorycourse
in system theory, control and identification for students in the areas of Business
MathematicsandComputerScience,EconometricsandMathematicsatthe ‘Vrije
Universiteit’ in Amsterdam. The interests and mathematical background of our
students motivated our choice to focus on systems in discrete time only, because
the topics can then be studied and understood without preliminary knowledge
of (deterministic and stochastic) differential equations. This book requires some
preliminary knowledge of calculus, linear algebra, probability and statistics, and
some parts use elementary results on Fourier series.
Thebooktreatsthestandardtopicsofintroductorycoursesinlinearsystems
and control theory. Deterministic systems are discussed in the first five chapters,
with the following main topics: realization theory, observability and controllabil-
ity, stability and stabilization by feedback, and linear-quadratic optimal control.
Stochastic systems are treated in Chapters six to eight, with main topics: realiza-
tion, filtering and prediction (including the Kalman filter), and linear-quadratic
Gaussianoptimalcontrol.Chaptersnineandtendiscusssystemidentificationand
modellingfromdata,andChapterelevenconcludeswithabriefoverviewoffurther
topics.
Exercises form an essential ingredient of any successful course in this area.
The exercises are not printed in the book and are instead incorporated on the
accompanying CD-Rom. The exercises are of two types, i.e., theory exercises to
trainmathematicalskillsinsystemtheoryandpracticalexercisesapplyingsystem
and control methods to data sets that are also included on the CD-Rom. Many
exercises require the use of Matlab or a similar software package.
Webenefittedgreatlyfromcommentsofmanycolleagueswho,overtheyears,
participated in teaching from this book. In particular, we mention the contribu-
tions of (in alphabetical order) Sanne ter Horst, Rien Kaashoek, Derk Pik and
Alistair Vardy.We thank them for their comments, whichhaveimprovedthe text
considerably.Inaddition,manystudentshelpedusinimprovingthetextbyasking
questions and pointing out misprints.
Chapter 1
Dynamical Systems
1.1 Introduction
Many phenomena investigated in such diverse areas as physics, biology, engineer-
ing, and economics show a dynamical evolution over time. Examples are thermo-
dynamics and electromagnetism in physics, chemical processes and adaptation in
biology,control systems in engineering, and decision making in macro economics,
finance,andbusinesseconomics.Themainquestionsanalysedinthisbookarethe
following.
• What type of mathematical models can be used to study such dynamical
processes?
• Once a model class is selected and we know the parameters in the model,
howcanweachievespecificobjectivessuchasstability,uncertaintyreduction
and optimal decision making?
• If wedonotknowthe parametersinthe modelexactly,howcanweestimate
them from available data and how reliable is the obtained model?
The first question is the topic of Chapters 2, 3 and 6, the second one of Chapters
4, 5, 7, 8 and 9, and the third one of Chapters 9 and 10. The answers to these
questions will in general depend on accidental particularities of the problem at
hand. However, there are important common characteristics of these problems
which can be expressed in terms of mathematical models. We first give some
examples to illustrate the main ideas in modelling, estimation, forecasting and
control.
Example1.1.Supposethatforacertaingoodthemarketfunctionsasfollows.The
quantity currently produced will be supplied to the market in the next period.
Supply and demand determine the market price. Let D denote the quantity de-
manded,S thequantitysupplied,P themarketprice,Pˆ theanticipatedpriceused
2 Chapter 1. Dynamical Systems
by the suppliers in their productiondecisions,and lett denote the time period. A
simple market model is given by the equations
D(t) = α +α P(t), (1.1)
0 1
S(t) = β +β Pˆ(t), (1.2)
0 1
Pˆ(t) = f(P(s);s≤t−1), (1.3)
S(t) = D(t). (1.4)
Here(1.1)and(1.2)are(linearized)behaviouralequations,ingeneralwithα <0
1
and β >0. Equation (1.3) describes how the suppliers predict future prices, and
1
equation (1.4) expresses the equilibrium condition of market clearing. In practice
the equations (1.1) and (1.2) are of course only approximations, and the same
holds true for the equilibrium condition (1.4). The precise form of the forecasting
function (1.3) will in general also be unknown. Depending on the specification of
(1.3), different dynamical systems result with corresponding different evolutions
of prices and quantities. Adaptive forecasts can be described as follows, with 0<
λ<1,
Pˆ(t)=Pˆ(t−1)+λ{P(t−1)−Pˆ(t−1)}. (1.5)
Another specification is to let the price consist of an unobservedpermanent com-
ponent, denoted by X, that is affected by stochastic disturbances, u and v,
P(t)=X(t)+u(t); X(t)=X(t−1)+v(t). (1.6)
Thepriceforecastcouldbeobtainedbyminimizingtheexpectedquadraticforecast
errorE(P(t)−Pˆ(t))2,whereE(·)denotesthe expectationoperator.Thisiscalled
a prediction or filtering problem.
If the form of (1.3) has been specified, then the dynamicalevolutionof price
andquantitydependsonthemodelparameters.Inpracticetheseparametersarein
generalunknown. Let us denote the model error in D(t) by ε (t), and the model
D
error in S(t) by ε (t). Such model errors ε and ε arise for several reasons,
S D S
for example neglected relevant variables and misspecification of the functional
form and of the dynamics. Incorporating these model errors into the behavioural
equations (1.1, 1.2) leads to the model
D(t) = α +α P(t)+ε (t), (1.7)
0 1 D
S(t) = β +β Pˆ(t)+ε (t). (1.8)
0 1 S
Systemidentificationisconcernedwiththeestimationoftheunknownmodel
parameters from available data on quantity and prices.
Example 1.2. National governments are confronted with the task of designing a
macroeconomic policy. A much simplified versionof this problem is the following
model of the business cycle. Let C denote consumption expenditures, Y national
1.1. Introduction 3
income,I investments andG governmentexpenditure. We assume that consump-
tion depends on the income of the last period and that investments are based on
the so-called accelerator principle. This gives the model
C(t) = α+βY(t−1), (1.9)
I(t) = γ+δ{C(t)−C(t−1)}, (1.10)
Y(t) = C(t)+I(t)+G(t). (1.11)
Here(1.11)isadefinitionalequality,andequations(1.9)and(1.10)arebehavioural
equations.FromtheviewpointofmacroeconomicpolicythisleavesthevariableG
as policy or controlvariable. In econometrics this is called an exogenous variable,
insystemstheoryaninputvariable.TheothervariablesY, C andI arethepolicy
targets. In econometrics these are called endogenous variables, in systems theory
output variables.
The government could be interested in regulating income, consumption and
investments. A possible objective is to keep these macro economic variables as
close as possible to pre-assigned target trajectories,denoted by Y∗, C∗ and I∗. If
N denotes the planning horizon, then deviations from these objectives could, for
instance, be measured by the cost function
(cid:1)N
J = [g {Y(t)−Y∗(t)}2+g {C(t)−C∗(t)}2+g {I(t)−I∗(t)}2]. (1.12)
1 2 3
t=1
Here the coefficients g ,i = 1,2,3, reflect the relative importance of the objec-
i
tives.This is an example of a dynamic optimization problem,knownas the linear
quadratic control problem.
We should mention that in modern economics control theory plays a role
mainly in the following two areas. First, in micro economic theory to model the
behaviour of individual economic agents. Second, in business applications, for ex-
ampleinproductionplanningandfinancialdecisionmaking.Macroeconomicmod-
els and control theory play only a minor role in government decisions. Originally
such an approach was inspired by the wish to smooth business cycles. However,
macroeconomic policy depends on many factors that are not easily captured in a
model.
Example1.3. Considerafirmproducingasinglegood.Theproductionisorganized
in planning periods of three months. At the beginning of each period the produc-
tion quantity is determined. In order to meet random fluctuations in demand the
firm also holds inventories of the good. Let D denote demand, Q the quantity
produced, and X the inventory of the good. The inventory develops according to
X(t+1)=X(t)+Q(t)−D(t). (1.13)
We assume that a negative inventory corresponds to excess demand that will be
satisfiedbytheproductioninthenextperiod.Letf(X)denotethecostofholding