Graph Spectral Image Processing

325 Pages·2021·11.495 MB·English

by  Gene Cheung, Enrico Magli

Graph Spectral Image Processing

SCIENCES
Image, Field Director – Laure Blanc-Feraud
Compression, Coding and Protection of Images and Videos,
Subject Head – Christine Guillemot
Graph Spectral Image
Processing

Coordinated by
Gene Cheung
Enrico Magli
First published 2021 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc.
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced,
stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentioned address:
ISTE Ltd John Wiley & Sons, Inc.
27-37 St George’s Road 111 River Street
London SW19 4EU Hoboken, NJ 07030
UK USA
www.iste.co.uk www.wiley.com

© ISTE Ltd 2021
The rights of Gene Cheung and Enrico Magli to be identified as the author of this work have been
asserted by them in accordance with the Copyright, Designs and Patents Act 1988.
Library of Congress Control Number: 2021932054

British Library Cataloguing-in-Publication Data
A CIP record for this book is available from the British Library
ISBN 978-1-78945-028-6
ERC code:
PE7 Systems and Communication Engineering
PE7_7 Signal processing
Contents
IntroductiontoGraphSpectralImageProcessing . . . . . . . . . . . . xi
GeneCHEUNGandEnricoMAGLI
Part1.FundamentalsofGraphSignalProcessing . . . . . . . . . . . 1
Chapter1.GraphSpectralFiltering . . . . . . . . . . . . . . . . . . . . . 3
YuichiTANAKA
1.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.Review: filteringoftime-domainsignals. . . . . . . . . . . . . . . . . . 4
1.3.Filteringofgraphsignals . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.1.Vertexdomainfiltering . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.2.Spectraldomainfiltering . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.3.Relationshipbetweengraphspectralfilteringandclassical
filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4.Edge-preservingsmoothingofimagesasgraphspectralfilters . . . . . 11
1.4.1.Earlyworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.2.Edge-preservingsmoothing . . . . . . . . . . . . . . . . . . . . . . 12
1.5.Multiplegraphfilters: graphfilterbanks . . . . . . . . . . . . . . . . . . 15
1.5.1.Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5.2.Perfectreconstructioncondition . . . . . . . . . . . . . . . . . . . 17
1.6.Fastcomputation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.6.1.Subdivision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.6.2.Downsampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.6.3.PrecomputingGFT . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.6.4.Partialeigendecomposition . . . . . . . . . . . . . . . . . . . . . . 22
1.6.5.Polynomialapproximation . . . . . . . . . . . . . . . . . . . . . . 23
1.6.6.Krylovsubspacemethod. . . . . . . . . . . . . . . . . . . . . . . . 26
vi GraphSpectralImageProcessing
1.7.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.8.References. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Chapter2.GraphLearning . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
XiaowenDONG,DorinaTHANOU,MichaelRABBATandPascalFROSSARD
2.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.Literaturereview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.1.Statisticalmodels. . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.2.Physicallymotivatedmodels . . . . . . . . . . . . . . . . . . . . . 35
2.3.Graphlearning: asignalrepresentationperspective. . . . . . . . . . . . 36
2.3.1.Modelsbasedonsignalsmoothness . . . . . . . . . . . . . . . . . 38
2.3.2.Modelsbasedonspectralfilteringofgraphsignals . . . . . . . . . 43
2.3.3.Modelsbasedoncausaldependenciesongraphs . . . . . . . . . . 48
2.3.4.Connectionswiththebroaderliterature . . . . . . . . . . . . . . . 50
2.4.Applicationsofgraphlearninginimageprocessing . . . . . . . . . . . 52
2.5.Concludingremarksandfuturedirections . . . . . . . . . . . . . . . . . 55
2.6.References. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Chapter3.GraphNeuralNetworks . . . . . . . . . . . . . . . . . . . . . . 63
GiuliaFRACASTOROandDiegoVALSESIA
3.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.2.Spectralgraph-convolutionallayers . . . . . . . . . . . . . . . . . . . . 64
3.3.Spatialgraph-convolutionallayers . . . . . . . . . . . . . . . . . . . . . 66
3.4.Concludingremarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.5.References. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Part2.ImagingApplicationsofGraphSignalProcessing . . . . . . . 73
Chapter4.GraphSpectralImageandVideoCompression . . . . . . 75
HilmiE.EGILMEZ,Yung-HsuanCHAOandAntonioORTEGA
4.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.1.1.Basicsofimageandvideocompression . . . . . . . . . . . . . . . 77
4.1.2.Literaturereview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.1.3.Outlineofthechapter . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.2.Graph-basedmodelsforimageandvideosignals . . . . . . . . . . . . . 79
4.2.1.Graph-basedmodelsforresidualsofpredictedsignals . . . . . . . 81
4.2.2.DCT/DSTsasGFTsandtheirrelationto1Dmodels . . . . . . . . 87
4.2.3.Interpretationofgraphweightsforpredictivetransformcoding. . 88
4.3.Graphspectralmethodsforcompression. . . . . . . . . . . . . . . . . . 89
4.3.1.GL-GFTdesign. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.3.2.EA-GFTdesign. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.3.3.EmpiricalevaluationofGL-GFTandEA-GFT . . . . . . . . . . . 97
Contents vii
4.4.Conclusionandpotentialfuturework . . . . . . . . . . . . . . . . . . . 100
4.5.References. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Chapter5.GraphSpectral3DImageCompression . . . . . . . . . . . 105
ThomasMAUGEY,MiraRIZKALLAH,NavidMAHMOUDIANBIDGOLI,Aline
ROUMYandChristineGUILLEMOT
5.1.Introductionto3Dimages . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.1.1.3Dimagedefinition . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.1.2.Pointcloudsandmeshes. . . . . . . . . . . . . . . . . . . . . . . . 106
5.1.3.Omnidirectionalimages . . . . . . . . . . . . . . . . . . . . . . . . 107
5.1.4.Lightfieldimages . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.1.5.Stereo/multi-viewimages . . . . . . . . . . . . . . . . . . . . . . . 110
5.2.Graph-based3Dimagecoding: overview . . . . . . . . . . . . . . . . . 110
5.3.Graphconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.3.1.Geometry-basedapproaches . . . . . . . . . . . . . . . . . . . . . 117
5.3.2.Jointgeometryandcolor-basedapproaches . . . . . . . . . . . . . 121
5.3.3.Separabletransforms. . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.4.Concludingremarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.5.References. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Chapter6.GraphSpectralImageRestoration . . . . . . . . . . . . . . 133
JiahaoPANGandJinZENG
6.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.1.1.Asimpleimagedegradationmodel. . . . . . . . . . . . . . . . . . 133
6.1.2.Restorationwithsignalpriors . . . . . . . . . . . . . . . . . . . . . 135
6.1.3.Restorationviafiltering . . . . . . . . . . . . . . . . . . . . . . . . 137
6.1.4.GSPforimagerestoration . . . . . . . . . . . . . . . . . . . . . . . 140
6.2.Discrete-domainmethods . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2.1.Non-localgraph-basedtransformfordepthimagedenoising . . . 141
6.2.2.DoublystochasticgraphLaplacian . . . . . . . . . . . . . . . . . . 142
6.2.3.Reweightedgraphtotalvariationprior . . . . . . . . . . . . . . . . 145
6.2.4.LefteigenvectorsofrandomwalkgraphLaplacian . . . . . . . . . 150
6.2.5.Graph-basedimagefiltering . . . . . . . . . . . . . . . . . . . . . . 155
6.3.Continuous-domainmethods . . . . . . . . . . . . . . . . . . . . . . . . 155
6.3.1.Continuous-domainanalysisofgraphLaplacianregularization . . 156
6.3.2.Low-dimensionalmanifoldmodelforimagerestoration . . . . . . 163
6.3.3.LDMMasgraphLaplacianregularization . . . . . . . . . . . . . . 165
6.4.Learning-basedmethods . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
6.4.1.CNNwithGLR. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.4.2.CNNwithgraphwaveletfilter . . . . . . . . . . . . . . . . . . . . 171
6.5.Concludingremarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
6.6.References. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
viii GraphSpectralImageProcessing
Chapter7.GraphSpectralPointCloudProcessing . . . . . . . . . . . 181
WeiHU,SihengCHENandDongTIAN
7.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
7.2.Graphandgraph-signalsinpointcloudprocessing . . . . . . . . . . . . 183
7.3.Graphspectralmethodologiesforpointcloudprocessing . . . . . . . . 185
7.3.1.Spectral-domaingraphfilteringforpointclouds . . . . . . . . . . 185
7.3.2.Nodal-domaingraphfilteringforpointclouds . . . . . . . . . . . 188
7.3.3.Learning-basedgraphspectralmethodsforpointclouds . . . . . . 189
7.4.Low-levelpointcloudprocessing . . . . . . . . . . . . . . . . . . . . . . 190
7.4.1.Pointclouddenoising . . . . . . . . . . . . . . . . . . . . . . . . . 191
7.4.2.Pointcloudresampling . . . . . . . . . . . . . . . . . . . . . . . . 193
7.4.3.Datasetsandevaluationmetrics. . . . . . . . . . . . . . . . . . . . 198
7.5.High-levelpointcloudunderstanding . . . . . . . . . . . . . . . . . . . 199
7.5.1.Dataauto-encodingforpointclouds . . . . . . . . . . . . . . . . . 199
7.5.2.Transformationauto-encodingforpointclouds . . . . . . . . . . . 206
7.5.3.ApplicationsofGraphTERinpointclouds . . . . . . . . . . . . . 211
7.5.4.Datasetsandevaluationmetrics. . . . . . . . . . . . . . . . . . . . 211
7.6.Summaryandfurtherreading . . . . . . . . . . . . . . . . . . . . . . . . 213
7.7.References. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
Chapter8.GraphSpectralImageSegmentation . . . . . . . . . . . . . 221
MichaelNG
8.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
8.2.Pixelmembershipfunctions . . . . . . . . . . . . . . . . . . . . . . . . . 222
8.2.1.Two-classproblems . . . . . . . . . . . . . . . . . . . . . . . . . . 222
8.2.2.Multiple-classproblems . . . . . . . . . . . . . . . . . . . . . . . . 226
8.2.3.Multipleimages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
8.3.Matrixproperties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
8.4.Graphcuts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
8.4.1.TheMumford–Shahmodel . . . . . . . . . . . . . . . . . . . . . . 234
8.4.2.Graphcutsminimization . . . . . . . . . . . . . . . . . . . . . . . 235
8.5.Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
8.6.References. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
Chapter9.GraphSpectralImageClassification . . . . . . . . . . . . . 241
MinxiangYE,VladimirSTANKOVIC,LinaSTANKOVICandGeneCHEUNG
9.1.Formulationofgraph-basedclassificationproblems . . . . . . . . . . . 243
9.1.1.Graphspectralclassifierswithnoiselesslabels . . . . . . . . . . . 243
9.1.2.Graphspectralclassifierswithnoisylabels . . . . . . . . . . . . . 246
9.2.Towardpracticalgraphclassifierimplementation . . . . . . . . . . . . . 247
9.2.1.Graphconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
9.2.2.Experimentalsetupandanalysis . . . . . . . . . . . . . . . . . . . 249