optimizing the high dynamic range imaging pipeline ahmet o˘guz aky ¨uz

256 Pages·2007·17.11 MB·English

OPTIMIZING THE HIGH DYNAMIC RANGE IMAGING PIPELINE
by
˘ ¨
AHMET OGUZ AKYUZ
M.S. UniversityofCentral Florida, 2005
B.S. MiddleEastTechnical University,2003
A dissertation submittedinpartialfulfillmentoftherequirements
forthedegreeofDoctorofPhilosophy
intheSchool ofElectrical Engineeringand ComputerScience
intheCollegeofEngineeringand ComputerScience
attheUniversityofCentral Florida
Orlando,Florida
Fall Term
2007
MajorProfessor: ErikReinhard
c 2007 AHMETOG˘UZ AKYU¨Z
(cid:13)
ii
ABSTRACT
Highdynamicrange(HDR)imagingisarapidlygrowingfieldincomputergraphicsandimage
processing. It allowscapture, storage, processing,and displayofphotographicinformationwithin
ascene-referredframework. TheHDRimagingpipelineconsistsofthemajorstepsanHDRimage
is expected to go through from capture to display. It involves various techniques to create HDR
images,pixelencodingsandfileformatsforstorage,tonemappingfordisplayonconventionaldis-
playdevicesanddirectdisplayonHDRcapablescreens. Eachofthesestageshaveimportantopen
problems, which need to be addressed for a smoother transition to an HDR imaging pipeline. We
addressedsomeoftheseimportantproblemssuchasnoisereductioninHDRimagery,preservation
of color appearance, validation of tone mapping operators, and image display on HDR monitors.
Theaimofthisthesisis thus,topresent ourfindingsand describetheresearch wehaveconducted
withintheframework ofoptimizingtheHDRimagingpipeline.
iii
Tomy familywhoselove,support,and guidanceilluminatemy life.
iv
ACKNOWLEDGMENTS
The first and foremost, I would like to thank to my advisor Dr. Erik Reinhard, for being an
incredible mentor, having provided assistance in everything, regardless of being work related or
not, and making me love being a researcher and doing research. I cannot put my gratitude into
words,but merelythankhimforbeing alwaysthere.
I am also grateful to Prof. Dr. Heinrich H. Bu¨lthoff and Prof. Dr. Charles E. Hughes, for
creating me a unique opportunity to work in the Max Planck Institute for Biological Cybernetics
inTu¨bingen.
I was in no lack of advice either in Orlando or Tu¨bingen, thanks to the help and support of all
the following people: Prof. Dr. Charles E. Hughes, Dr. Hassan Foroosh, Dr. Sumanta Pattanaik,
Dr. Roland Fleming,Dr. Bernhard E. Riecke. Iappreciate thevaluabletimeyou allocatedforme.
Finally, I would like to thank to my family, Didem, and all the great friends I met along the
way, Murat Balcı, Faysal Bas¸c¸ı, KevinBoulanger, Martin Breidt, Narantuja Bujantogtoch,Franck
Caniard, Mark Colbert, Elena Erbiceanu, Reinhard Feiler, Guillaume Francois, Pascal Gautron,
ErumArifKhan, Saad MasoodKhan,MarioKleiner,Jaakko Konttinen,JaroslavKrivanek,Fatma
Naso¨z, Kıvanc¸ O¨ner, Darshan Purandare, Musawir Ali Shah, Gautami Shirhatti, Thomas Tanner,
Cengiz Terzibas¸, Hakan Terziog˘lu, and Harald Teufel. Your contributionsto my life and work are
immeasurable.
v
TABLE OF CONTENTS
LIST OFFIGURES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xii
LIST OFTABLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xx
CHAPTER 1 INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 AGlanceat theHDRIPipeline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 ApplicationsofHDRI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 ASummary ofMyWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
CHAPTER 2 THE HDRIPIPELINE . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1 HDRImageCreation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.1 MultipleExposuresTechnique . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.2 Camera Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.3 ExtensionsofMultipleExposureTechniques . . . . . . . . . . . . . . . . 23
2.1.4 Direct Capture ofHDR Data . . . . . . . . . . . . . . . . . . . . . . . . . 32
vi
2.1.5 HDR Generationby Rendering . . . . . . . . . . . . . . . . . . . . . . . . 34
2.1.6 HDR VideoCapture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2 Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.2.1 TheRGBE format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.2.2 TheTIFF format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2.3 TheOpenEXRformat . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.2.4 JPEG-HDR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.5 HDR VideoFormats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.3 ToneMapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.3.1 PhotographicToneReproduction . . . . . . . . . . . . . . . . . . . . . . 49
2.3.2 Gradient DomainCompression. . . . . . . . . . . . . . . . . . . . . . . . 53
2.3.3 Fast Bilateral FilteringforHDRCompression . . . . . . . . . . . . . . . . 54
2.3.4 Revised Tumblinand RushmeierOperator . . . . . . . . . . . . . . . . . . 56
2.3.5 ImageColorAppearance Model(iCAM) . . . . . . . . . . . . . . . . . . 58
2.3.6 HistogramAdjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.4 Display . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.4.1 LDR DisplayDevices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.4.2 HDR DisplayDevices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
vii
CHAPTER 3 NOISE IN HDRIMAGING . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.1 Sources ofNoise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.2 NoiseinHDR Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.3 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.4 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.5 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
3.6 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
3.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
CHAPTER 4 COLOR APPEARANCE IN HDRIMAGING . . . . . . . . . . . . . . . 97
4.1 ColorAppearance Phenomena . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.2 ColorAppearance Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.3 Colorin ToneReproduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.4 ImagePreparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.4.1 Calibrated Input Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.4.2 Uncalibrated InputData . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.5 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.6 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
viii
CHAPTER 5 VALIDATION OFTONEREPRODUCTION OPERATORS . . . . . . . . 129
5.1 PreviousWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.3 ToneReproduction Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.4 ExperimentalDesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.4.1 TheHDRInput Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
5.4.2 TheLDRReference Image . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.4.3 Tone-mapped Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.4.4 Stimuli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.4.5 Experimentalset-up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.4.6 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.5 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
5.5.1 Scanlines nextto blackstripes . . . . . . . . . . . . . . . . . . . . . . . . 160
5.5.2 Scanlines nextto whitestripes . . . . . . . . . . . . . . . . . . . . . . . . 162
5.5.3 Scanlines from smoothregions . . . . . . . . . . . . . . . . . . . . . . . . 164
5.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
5.7 ComparisonwithPreviousWork . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
5.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
5.9 Participants’Instructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
ix
CHAPTER 6 IMAGE DISPLAY ON HDRMONITORS . . . . . . . . . . . . . . . . . 176
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.2 PreviousStudies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
6.3 ExperimentOne: HDRvs. LDR . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
6.3.1 Stimuli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
6.3.2 ExperimentalDesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
6.3.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
6.4 ExperimentTwo: DynamicRangevs. Luminance . . . . . . . . . . . . . . . . . . 188
6.4.1 Stimuli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
6.4.2 ExperimentalDesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
6.4.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
6.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
6.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
CHAPTER 7 CONCLUSIONS ANDFUTURE WORK . . . . . . . . . . . . . . . . . . 199
7.1 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
7.2 FutureWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
7.2.1 Direct Capture ofHDR ImageswithStandard DigitalCameras . . . . . . . 206
7.2.2 Accurate Characterization ofDynamicRange . . . . . . . . . . . . . . . . 207
x