From photon to pixel : the digital camera handbook

465 Pages·2015·16.572 MB·English

by  Maître, Henri

9781848218475-Case.qxp_Layout 1 18/09/2015 10:21 Page 1
DIGITAL SIGNAL AND IMAGE PROCESSING SERIES
While some sides of photographic “culture” remain wholly H
e
unchanged – art photography, journalistic and advertising n
r
i
photography, scientific photography, etc. – new facets M From Photon to Pixel
a
emerge: leisure or travel photography, everyday life î
t
r
photography, anecdotal, observational or unusual e
photography, and microcosm, or micro-community,
The Digital Camera Handbook
photography with its culmination in the narcissistic selfie.
These new forms combine an often simplified manner of
photographing and modern means of instantaneous,
remote and mass communication.
This book does not extend into the sociological study of
photography; instead it explains how the digital camera
F
works by examining in detail each of the components that
r
o
constitutes it to provide the reader with a preliminary guide
into the inner workings of this device. m Henri Maître

P
h
o
t
o
Henri Maître is Emeritus Professor at Télécom ParisTech in
n
France. He specializes in image processing and pattern

recognition, exploring aspects of computing and digital t
o
signal processing.

P
i
x
e
l
Z(7ib8e8-CBIEHF(
www.iste.co.uk

From Photon to Pixel

From Photon to Pixel

The Digital Camera Handbook

Henri Maître
First published 2015 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc.
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced,
stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentioned address:
ISTE Ltd John Wiley & Sons, Inc.
27-37 St George’s Road 111 River Street
London SW19 4EU Hoboken, NJ 07030
UK USA
www.iste.co.uk www.wiley.com

© ISTE Ltd 2015
The rights of Henri Maître to be identified as the author of this work have been asserted by him in
accordance with the Copyright, Designs and Patents Act 1988.
Library of Congress Control Number: 2015951439

British Library Cataloguing-in-Publication Data
A CIP record for this book is available from the British Library
ISBN 978-1-84821-847-5
Contents
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Chapter1.FirstContact . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.Towardasocietyoftheimage . . . . . . . . . . . . . . . . . . . 1
1.1.1.Abitofvocabularyintheformofzoology . . . . . . . . . . 4
1.1.2.Abriefhistoryofphotography . . . . . . . . . . . . . . . . . 7
1.2.Thereasonforthisbook . . . . . . . . . . . . . . . . . . . . . . 10
1.3.Physicalprincipleofimageformation . . . . . . . . . . . . . . . 11
1.3.1.Light . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.2.Electromagneticradiation: waveandparticle. . . . . . . . . 12
1.3.3.Thepinhole. . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.4.Frompinholestophotocameras . . . . . . . . . . . . . . . . 14
1.4.Camerablockdiagram . . . . . . . . . . . . . . . . . . . . . . . 21
Chapter2.ThePhotographicObjectiveLens . . . . . . . . . . . 25
2.1.Focusing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.1.1.Fromfocusingtoblurring. . . . . . . . . . . . . . . . . . . . 26
2.1.2.Focusingcomplexscenes . . . . . . . . . . . . . . . . . . . . 28
2.2.Depthoffield. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.2.1.Long-distancephotography. . . . . . . . . . . . . . . . . . . 36
2.2.2.Macrophotography . . . . . . . . . . . . . . . . . . . . . . . 36
2.2.3.Hyperfocal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.3.Angleofview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.1.Angleofviewandhumanvisualsystem . . . . . . . . . . . 38
2.3.2.Angleofviewandfocallength. . . . . . . . . . . . . . . . . 39
2.4.Centeredsystems . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.4.1.Oftheimportanceofglassesinlenses. . . . . . . . . . . . . 42
vi FromPhotontoPixel
2.4.2.Chromaticcorrections. . . . . . . . . . . . . . . . . . . . . . 45
2.4.3.Thechoiceofanopticalsystem . . . . . . . . . . . . . . . . 47
2.4.4.Diaphragmsandapertures . . . . . . . . . . . . . . . . . . . 50
2.4.5.Zoom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.4.6.Zoomandmagnification . . . . . . . . . . . . . . . . . . . . 54
2.5.Fisheyesystems . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.5.1.Projectionfunctions . . . . . . . . . . . . . . . . . . . . . . . 57
2.5.2.Circularanddiagonalfisheyes . . . . . . . . . . . . . . . . . 59
2.5.3.Fisheyesinpractice . . . . . . . . . . . . . . . . . . . . . . . 61
2.6.Incoherentdiffraction . . . . . . . . . . . . . . . . . . . . . . . . 62
2.6.1.Coherence: incoherence . . . . . . . . . . . . . . . . . . . . 62
2.6.2.Definitionsandnotations . . . . . . . . . . . . . . . . . . . . 64
2.6.3.Forasinglewavelength . . . . . . . . . . . . . . . . . . . . . 66
2.6.4.Circulardiaphragm . . . . . . . . . . . . . . . . . . . . . . . 67
2.6.5.Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.6.6.Caseofawidespectrum . . . . . . . . . . . . . . . . . . . . 70
2.6.7.Separationpower . . . . . . . . . . . . . . . . . . . . . . . . 72
2.7.Cameracalibration. . . . . . . . . . . . . . . . . . . . . . . . . . 73
2.7.1.Somegeometryofimageformation . . . . . . . . . . . . . . 73
2.7.2.Multi-imagecalibration: bundleadjustment . . . . . . . . . 76
2.7.3.Fisheyecameracalibration . . . . . . . . . . . . . . . . . . . 77
2.8.Aberrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
2.8.1.Chromaticaberration . . . . . . . . . . . . . . . . . . . . . . 78
2.8.2.Geometricalaberrations. . . . . . . . . . . . . . . . . . . . . 79
2.8.3.Internalreflections. . . . . . . . . . . . . . . . . . . . . . . . 81
2.8.4.Vignetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
2.8.5.Thecorrectionoftheaberrations. . . . . . . . . . . . . . . . 85
Chapter3.TheDigitalSensor . . . . . . . . . . . . . . . . . . . . . 87
3.1.Sensorsize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.1.1.Sensoraspectratio. . . . . . . . . . . . . . . . . . . . . . . . 88
3.1.2.Sensordimensions. . . . . . . . . . . . . . . . . . . . . . . . 89
3.1.3.Pixelsize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
3.2.Thephotodetector . . . . . . . . . . . . . . . . . . . . . . . . . . 91
3.2.1.Imagedetectionmaterials. . . . . . . . . . . . . . . . . . . . 91
3.2.2.CCDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.2.3.CMOSs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.2.4.Back-sideilluminatedarrangement(BSI),stacked
arrangement . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
3.2.5.Stackedarrangements . . . . . . . . . . . . . . . . . . . . . . 100
3.2.6.Influenceofthechoiceoftechnologyonnoise . . . . . . . . 101
Contents vii
3.2.7.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
3.3.Integratedfiltersinthesensor . . . . . . . . . . . . . . . . . . . 102
3.3.1.Microlenses . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.3.2.Anti-aliasingfilters . . . . . . . . . . . . . . . . . . . . . . . 104
3.3.3.Chromaticselectionfilters . . . . . . . . . . . . . . . . . . . 107
Chapter4.RadiometryandPhotometry . . . . . . . . . . . . . . 109
4.1.Radiometry: physicalparameters . . . . . . . . . . . . . . . . . 110
4.1.1.Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.1.2.Radiatingobjects: emissivityandsourcetemperature . . . . 114
4.1.3.Industriallightingsources . . . . . . . . . . . . . . . . . . . 120
4.1.4.Reflectingobjects: reflectanceandradiosity . . . . . . . . . 121
4.2.Subjectiveaspects: photometry. . . . . . . . . . . . . . . . . . . 124
4.2.1.Luminousefficiencycurve . . . . . . . . . . . . . . . . . . . 125
4.2.2.Photometricquantities . . . . . . . . . . . . . . . . . . . . . 125
4.3.Realsystems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.3.1.Etendue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.3.2.Cameraphotometry . . . . . . . . . . . . . . . . . . . . . . . 128
4.4.Radiometryandphotometryinpractice . . . . . . . . . . . . . . 132
4.4.1.Measurementwithaphotometer . . . . . . . . . . . . . . . . 132
4.4.2.Integratedmeasurements . . . . . . . . . . . . . . . . . . . . 135
4.5.FromthewatttotheISO . . . . . . . . . . . . . . . . . . . . . . 136
4.5.1.ISOsensitivity: definitions . . . . . . . . . . . . . . . . . . . 137
4.5.2.StandardoutputISOsensitivitySOS . . . . . . . . . . . . . 140
4.5.3.Recommendedexposureindex . . . . . . . . . . . . . . . . . 142
4.5.4.Exposurevalue. . . . . . . . . . . . . . . . . . . . . . . . . . 142
Chapter5.Color . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.1.Fromelectromagneticradiationtoperception . . . . . . . . . . 147
5.1.1.Thecolorofobjects . . . . . . . . . . . . . . . . . . . . . . . 147
5.1.2.Colorperception . . . . . . . . . . . . . . . . . . . . . . . . . 149
5.2.Colorspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
5.2.1.TheCIE1931RGBspace . . . . . . . . . . . . . . . . . . . 153
5.2.2.Otherchromaticspaces . . . . . . . . . . . . . . . . . . . . . 160
5.2.3.TheLabspace . . . . . . . . . . . . . . . . . . . . . . . . . . 162
5.2.4.Othercolorimetricspaces . . . . . . . . . . . . . . . . . . . . 163
5.2.5.TVspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
5.2.6.ThesRGBspace . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.2.7.ICCprofile . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.2.8.Chromaticthresholds . . . . . . . . . . . . . . . . . . . . . . 169
5.3.Thewhitebalance . . . . . . . . . . . . . . . . . . . . . . . . . . 170
viii FromPhotontoPixel
5.3.1.Presettings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
5.3.2.Colorcalibration . . . . . . . . . . . . . . . . . . . . . . . . . 172
5.3.3.Graytestpatternusage . . . . . . . . . . . . . . . . . . . . . 173
5.3.4.Automaticwhitebalancetechniques. . . . . . . . . . . . . . 173
5.3.5.TheRetinexmodel . . . . . . . . . . . . . . . . . . . . . . . 175
5.4.Acquiringcolor . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
5.4.1.“Truecolor”images . . . . . . . . . . . . . . . . . . . . . . . 180
5.4.2.Chromaticarrays . . . . . . . . . . . . . . . . . . . . . . . . 186
5.4.3.Chromaticselectionofthearrays . . . . . . . . . . . . . . . 192
5.5.Reconstructingcolor: demosaicing . . . . . . . . . . . . . . . . 195
5.5.1.Linearinterpolationdemosaicing . . . . . . . . . . . . . . . 196
5.5.2.Perchannel,nonlinearinterpolations . . . . . . . . . . . . . 199
5.5.3.Interchannel,non-linearinterpolations . . . . . . . . . . . . 199
Chapter6.ImageQuality . . . . . . . . . . . . . . . . . . . . . . . . 205
6.1.Qualitativeattributes . . . . . . . . . . . . . . . . . . . . . . . . 206
6.1.1.Thesignal-noiseratio . . . . . . . . . . . . . . . . . . . . . . 207
6.1.2.Resolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
6.1.3.Themodulationtransferfunction . . . . . . . . . . . . . . . 215
6.1.4.Sharpness. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
6.1.5.Acutance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
6.2.Globalimagequalityassessment. . . . . . . . . . . . . . . . . . 226
6.2.1.Reference-basedevaluations . . . . . . . . . . . . . . . . . . 228
6.2.2.No-referenceevaluation. . . . . . . . . . . . . . . . . . . . . 230
6.2.3.Perceptionmodelevaluation . . . . . . . . . . . . . . . . . . 234
6.3.Informationcapacity . . . . . . . . . . . . . . . . . . . . . . . . 237
6.3.1.Thenumberofdegreesoffreedom . . . . . . . . . . . . . . 237
6.3.2.Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
6.3.3.Informationcapacityinphotography . . . . . . . . . . . . . 245
Chapter7.NoiseinDigitalPhotography . . . . . . . . . . . . . . 253
7.1.Photonnoise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
7.1.1.Fluctuationsintheopticalsignal . . . . . . . . . . . . . . . . 254
7.1.2.ThePoissonhypothesisinpractice . . . . . . . . . . . . . . 257
7.1.3.Fromphotonfluxtoelectricalcharge . . . . . . . . . . . . . 258
7.2.Electronicnoise . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
7.2.1.Darkcurrent . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
7.2.2.Pixelreadingnoise . . . . . . . . . . . . . . . . . . . . . . . 262
7.2.3.Crosstalknoise. . . . . . . . . . . . . . . . . . . . . . . . . . 262
7.2.4.Resetnoise . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
7.2.5.Quantizationnoise. . . . . . . . . . . . . . . . . . . . . . . . 263