Numerical methods for inverse problems

234 Pages·2016·2.536 MB·English

by  Kern, Michel

Numerical Methods for Inverse Problems
To my wife Elisabeth,
to my children David and Jonathan
Series Editor
Nikolaos Limnios
Numerical Methods for
Inverse Problems

Michel Kern
First published 2016 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc.
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced,
stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentioned address:
ISTE Ltd John Wiley & Sons, Inc.
27-37 St George’s Road 111 River Street
London SW19 4EU Hoboken, NJ 07030
UK USA
www.iste.co.uk www.wiley.com

© ISTE Ltd 2016
The rights of Michel Kern to be identified as the author of this work have been asserted by him in
accordance with the Copyright, Designs and Patents Act 1988.
Library of Congress Control Number: 2016933850

British Library Cataloguing-in-Publication Data
A CIP record for this book is available from the British Library
ISBN 978-1-84821-818-5
Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix
Part1.IntroductionandExamples . . . . . . . . . . . . . . . . . . . . . . 1
Chapter1.OverviewofInverseProblems . . . . . . . . . . . . . . . . . 3
1.1.Directandinverseproblems . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.Well-posedandill-posedproblems . . . . . . . . . . . . . . . . . . . . 4
Chapter2.ExamplesofInverseProblems . . . . . . . . . . . . . . . . . 9
2.1.Inverseproblemsinheattransfer . . . . . . . . . . . . . . . . . . . . . . 10
2.2.Inverseproblemsinhydrogeology . . . . . . . . . . . . . . . . . . . . . 13
2.3.Inverseproblemsinseismicexploration. . . . . . . . . . . . . . . . . . 16
2.4.Medicalimaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5.Otherexamples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Part2.LinearInverseProblems . . . . . . . . . . . . . . . . . . . . . . . . 29
Chapter3.IntegralOperatorsandIntegralEquations . . . . . . . . . 31
3.1.Definitionandfirstproperties. . . . . . . . . . . . . . . . . . . . . . . . 31
3.2.Discretizationofintegralequations . . . . . . . . . . . . . . . . . . . . 36
3.2.1.Discretizationbyquadrature–collocation . . . . . . . . . . . . . . . 36
3.2.2.DiscretizationbytheGalerkinmethod . . . . . . . . . . . . . . . . 39
3.3.Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Chapter4.LinearLeastSquaresProblems–SingularValue
Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.1.Mathematicalpropertiesofleastsquaresproblems. . . . . . . . . . . . 45
4.1.1.Finitedimensionalcase . . . . . . . . . . . . . . . . . . . . . . . . . 50
vi NumericalMethodsforInverseProblems
4.2.Singularvaluedecompositionformatrices . . . . . . . . . . . . . . . . 52
4.3.Singularvalueexpansionforcompactoperators . . . . . . . . . . . . . 57
4.4.ApplicationsoftheSVDtoleastsquaresproblems . . . . . . . . . . . 60
4.4.1.Thematrixcase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.4.2.Theoperatorcase . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.5.Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Chapter5.RegularizationofLinearInverseProblems . . . . . . . . . 71
5.1.Tikhonov’smethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.1.1.Presentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.1.2.Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.1.3.TheL-curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.2.ApplicationsoftheSVE . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.2.1.SVEandTikhonov’smethod . . . . . . . . . . . . . . . . . . . . . . 84
5.2.2.RegularizationbytruncatedSVE . . . . . . . . . . . . . . . . . . . 85
5.3.Choiceoftheregularizationparameter . . . . . . . . . . . . . . . . . . 88
5.3.1.Morozov’sdiscrepancyprinciple. . . . . . . . . . . . . . . . . . . . 88
5.3.2.TheL-curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.3.3.Numericalmethods . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.4.Iterativemethods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.5.Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
Part3.NonlinearInverseProblems . . . . . . . . . . . . . . . . . . . . . 103
Chapter6.NonlinearInverseProblems–Generalities . . . . . . . . . 105
6.1.Thethreefundamentalspaces . . . . . . . . . . . . . . . . . . . . . . . 106
6.2.Leastsquaresformulation. . . . . . . . . . . . . . . . . . . . . . . . . . 111
6.2.1.Difficultiesofinverseproblems . . . . . . . . . . . . . . . . . . . . 114
6.2.2.Optimization,parametrization,discretization. . . . . . . . . . . . . 114
6.3.Methodsforcomputingthegradient–theadjointstatemethod . . . . 116
6.3.1.Thefinitedifferencemethod . . . . . . . . . . . . . . . . . . . . . . 116
6.3.2.Sensitivityfunctions. . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.3.3.Theadjointstatemethod . . . . . . . . . . . . . . . . . . . . . . . . 119
6.3.4.ComputationoftheadjointstatebytheLagrangian . . . . . . . . . 120
6.3.5.Theinnerproducttest . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.4.Parametrizationandgeneralorganization . . . . . . . . . . . . . . . . . 123
6.5.Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
Chapter7.SomeParameterEstimationExamples . . . . . . . . . . . 127
7.1.Ellipticequationinonedimension . . . . . . . . . . . . . . . . . . . . . 127
7.1.1.Computationofthegradient . . . . . . . . . . . . . . . . . . . . . . 128
7.2.Stationarydiffusion: ellipticequationintwodimensions . . . . . . . . 129
Contents vii
7.2.1.Computationofthegradient: applicationofthegeneral
method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
7.2.2.ComputationofthegradientbytheLagrangian . . . . . . . . . . . 134
7.2.3.Theinnerproducttest . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7.2.4.Multiscaleparametrization . . . . . . . . . . . . . . . . . . . . . . . 135
7.2.5.Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.3.Ordinarydifferentialequations . . . . . . . . . . . . . . . . . . . . . . . 137
7.3.1.Anapplicationexample . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.4.Transientdiffusion: heatequation . . . . . . . . . . . . . . . . . . . . . 147
7.5.Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
Chapter8.FurtherInformation . . . . . . . . . . . . . . . . . . . . . . . . 155
8.1.Regularizationinothernorms . . . . . . . . . . . . . . . . . . . . . . . 155
8.1.1.Sobolevsemi-norms. . . . . . . . . . . . . . . . . . . . . . . . . . . 155
8.1.2.Boundedvariationregularizationnorm . . . . . . . . . . . . . . . . 157
8.2.Statisticalapproach: Bayesianinversion . . . . . . . . . . . . . . . . . 157
8.2.1.Leastsquaresandstatistics . . . . . . . . . . . . . . . . . . . . . . . 158
8.2.2.Bayesianinversion. . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
8.3.Othertopics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
8.3.1.Theoreticalaspects: identifiability . . . . . . . . . . . . . . . . . . . 163
8.3.2.Algorithmicdifferentiation . . . . . . . . . . . . . . . . . . . . . . . 163
8.3.3.Iterativemethodsandlarge-scaleproblems . . . . . . . . . . . . . . 164
8.3.4.Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Appendices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Appendix1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Appendix2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Appendix3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213