Non-linear 3D-Volume Registration using a Local Affine Model

110 Pages·2006·2.46 MB·English

by  Stefan Kluckner

Graz University of Technology
Institute of Computer Graphics und Vision
Master Thesis
Non-linear 3D-Volume Registration
using a Local Affine Model
Stefan Kluckner
Graz, Austria, October 2006
Thesis supervisors
Prof. Dipl.-Ing. Dr. techn. Horst Bischof
Dipl.-Ing. Martin Urschler

Kurzfassung
Die Magisterarbeit besch¨aftigt sich mit der Implementierung einer nicht-linearen
Registrierungsmethode fu¨r medizinische CT Volumendaten unter der Verwendung eines
lokal affinen Modells.
Unter dem Begriff Registrierung versteht man die Bestimmung einer geometrischen
Transformation, die ein Objekt in einem Bild auf dasselbe oder ein ¨ahnliches Objekt in
einem anderen Bild ausrichtet. Die Dimension des Bildes und die Art der Transformation
legen die Anzahl der zu optimierenden Parameter fest. Eine nicht-lineare Registrierung von
Bildern ist ein hochdimensionales Optimierungsproblem.
Im Rahmen dieser Arbeit wird eine nicht-lineare Registrierung von 3D CT Daten von der
Lunge zu unterschiedlichen Atmungszust¨anden implementiert. Viele Ansa¨tze erlauben keine
genaue Registrierung von kleinen Gefa¨ßen, wie sie etwa in der Lunge vorhanden sind.
Ein lokal affines Registrierungsmodell berechnet in jeder Nachbarschaft eines Bildpunktes
die zugeho¨rigen Transformationsparameter. Als Gesamtes wird eine globale Deformation
mit lokalen Verschiebungen berechnet, welche eine genaue Registrierung von kleinen
Gefa¨ßen erlaubt. Zus¨atzlich erm¨oglicht das vorgeschlagene Modell eine Kompensation von
Intensit¨atswert-Variationen. Die vorgestellte Methode wird anhand von synthetischen und
realen Datens¨atzen evaluiert.
Stichworte. nicht-lineareRegistrierung, mono-modal, optischerFluss, lokalaffinesModell,
Intensit¨atsvariationen, medizinische Bildanalyse
iii

Abstract
This master thesis deals with the implementation of a non-linear registration method for
medical CT volume data by means of a local affine model.
Thetermregistrationdescribesadeterminationofageometricaltransformation,whichaligns
an object in an image with the same or a similar object in another image. The dimension
of the images and the type of the transformation specify the number of parameters to be
optimised. A non-linear registration of images is a high-dimensional optimisation problem.
In the context of this thesis a non-linear registration algorithm of three-dimensional CT
data is implemented to register the lungs at different respiratory states. Several approaches
do not obtain an exact registration of small structures, such as are for instance contained
within the lung. A local affine registration model computes the associated transformation
parameters in each neighbourhood of a voxel. A global deformation with local displacements
iscomputed,whichmakesanexactregistrationofsmallstructurespossible. Additionally,the
suggested model can compensate intensity variations. The presented methods are evaluated
on synthetic and real data sets.
Keywords. non-linear registration, mono-modal, optical flow, locally affine model, inten-
sity variations, medical computer vision
v

Contents
1 Introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Problem Description and Aim of the Work . . . . . . . . . . . . . . . . . . . . 3
1.3 Structure of the Master Thesis . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Medical Image Registration 5
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Medical Imaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3 Image Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3.1 Types of Image Registration . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.2 Modalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.3 Components of Image Registration . . . . . . . . . . . . . . . . . . . . 11
2.4 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1 Spline-based Registration . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4.2 Optical Flow Based Registration . . . . . . . . . . . . . . . . . . . . . 21
2.4.3 Elastic Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.4 Fluid- and Diffusion-Based Registration . . . . . . . . . . . . . . . . . 23
2.4.5 Biomechanical Registration . . . . . . . . . . . . . . . . . . . . . . . . 23
3 Elastic Registration in the Presence of Intensity Variations 25
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 Optical Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3 Local Affine Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4 Intensity Variations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.5 Smoothness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.6 Choosing the Model of Transformation . . . . . . . . . . . . . . . . . . . . . . 32
3.7 Computation of the Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.8 Computing the Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.9 Implementation Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4 Improvements 43
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2 Improving the Inverse Computations . . . . . . . . . . . . . . . . . . . . . . . 43
vii
viii CONTENTS
4.2.1 Computing the Inverse with LU Decomposition . . . . . . . . . . . . . 43
4.2.2 Estimating the Condition Number . . . . . . . . . . . . . . . . . . . . 44
4.2.3 Computing the Inverse with Cholesky Decomposition . . . . . . . . . 45
4.3 Reducing the number of Inverse Computations . . . . . . . . . . . . . . . . . 46
4.3.1 A Sub-Sampling Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.3.2 Interpolation of Missing Parameters . . . . . . . . . . . . . . . . . . . 47
4.3.3 Decomposing the Affine Matrix . . . . . . . . . . . . . . . . . . . . . . 48
4.3.4 Composing the Resulting Affine Matrix . . . . . . . . . . . . . . . . . 50
4.4 Replacing the Iterative Smoothing . . . . . . . . . . . . . . . . . . . . . . . . 51
5 Experiments and Results 53
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.2 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.3 Evaluation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.3.1 Intensity Differences . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.3.2 Displacement Vector Differences . . . . . . . . . . . . . . . . . . . . . 57
5.3.3 Normalised Mutual Information . . . . . . . . . . . . . . . . . . . . . . 57
5.4 Experiments on Improvements . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.4.1 SVD vs. LU and Cholesky decomposition . . . . . . . . . . . . . . . . 58
5.4.2 Experiments on Sub-Sampling . . . . . . . . . . . . . . . . . . . . . . 60
5.4.3 Experiments on Replacing the Iterative Smoothing . . . . . . . . . . . 62
5.5 Experiments on Number of Iterations . . . . . . . . . . . . . . . . . . . . . . 64
5.6 The Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.6.1 Results on Synthetic Data . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.6.2 Results on Real Data . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.6.3 Results on Real Data including Intensity Variations . . . . . . . . . . 74
6 Summary and Discussion 85
6.1 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
A Acronyms and Symbols 87
B Evaluation Framework 89
B.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
B.2 Configuration Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
B.3 Result Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
B.4 Extension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
C Outline of the B-Spline Deformable Registration Algorithm 93
Bibliography 95
List of Figures
1.1 Registration of three dimensional data sets at different respiratory states. . . 2
1.2 Location and structure of the lung. . . . . . . . . . . . . . . . . . . . . . . . . 2
2.1 Thorax images. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Sample slices of real CT-scan of sheep lungs. . . . . . . . . . . . . . . . . . . . 7
2.3 Sample slices of real CT-scans of the humans lungs . . . . . . . . . . . . . . . 8
2.4 Various MRT Images of the authors inside. . . . . . . . . . . . . . . . . . . . 8
2.5 Sonogram and fMRI images. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.6 Components of a registration process. . . . . . . . . . . . . . . . . . . . . . . 11
2.7 Examples of different types of transformations. . . . . . . . . . . . . . . . . . 13
2.8 The principle of a hierarchical multi-scale approach. . . . . . . . . . . . . . . 18
2.9 Integer and sub-pixel raster. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.10 Interpolation methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1 1D Gaussian distribution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2 Different resolutions of an image at inhalation and exhalation state. . . . . . 38
3.3 Convolution with and without padding. . . . . . . . . . . . . . . . . . . . . . 39
4.1 Sub-sampling the image in 3 dimensions. . . . . . . . . . . . . . . . . . . . . . 46
4.2 Interpolation scheme.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3 The principle of the smoothing scheme. . . . . . . . . . . . . . . . . . . . . . 51
5.1 Examples of input images. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.2 Comparison of difference fusion images. . . . . . . . . . . . . . . . . . . . . . 56
5.3 Synthetic Displacement fields . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.4 Evaluation of the time consumption using LU/Cholesky decomposition and SVD 59
5.5 Black box evaluation of the time consumption, RMSE and NMI using LU/C-
holesky decomposition and SVD. . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.6 Axial sample slices of difference fusion images before and after registration
using Model 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.7 Axial sample slices of difference fusion images before and after registration
using Model 4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.8 Diagram of the time consumption of no, decomposed and direct interpolation. 62
5.9 Diagram of the computed RMSE and NMI similarity measurements of no, de-
composed and direct interpolation. . . . . . . . . . . . . . . . . . . . . . . . . 63
ix
x LIST OF FIGURES
5.10 Sagittal sample slices of difference fusion images before and after registration. 63
5.11 Time consumption of iterative and Gaussian smoothing. . . . . . . . . . . . . 65
5.12 RMSE similarity measurements of iterative and Gaussian smoothing with vary-
ing σ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
5.13 Sample slices of resulting displacement fields for Model 2 using various σ. . . 66
5.14 Axial sample slices of resulting difference images. . . . . . . . . . . . . . . . . 66
5.15 Computation times and similarity measurements on experiments for varying
number of outer and smoothing loops. . . . . . . . . . . . . . . . . . . . . . . 68
5.16 Convergence behaviour of the sum of displacements in each iteration and level. 69
5.17 Evaluation results on 128 128 128 S10 data set. . . . . . . . . . . . . . . 71
× ×
5.18 Visual results on 128 128 128 S10 data set. . . . . . . . . . . . . . . . . . 72
× ×
5.19 Evaluation results on 128 128 128 S25 data set. . . . . . . . . . . . . . . 74
× ×
5.20 Visual results on 128 128 128 S25 data set. . . . . . . . . . . . . . . . . . 75
× ×
5.21 Time consumption on real data sets. . . . . . . . . . . . . . . . . . . . . . . . 76
5.22 RMSE and NMI comparison using a real 256 256 256 data set. . . . . . . . . 76
× ×
5.23 Moving, fixed, warped images and the displacement field in different views . . 77
5.24 Computed displacement field in vector representation. . . . . . . . . . . . . . 78
5.25 Sagittal sample slices of difference fusion images before and after registration
using various algorithms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.26 Visual image comparisons before and after registration of data set Intensity5. 79
5.27 GraphicalevaluationresultsofseveralmethodsperformedondatasetIntensity5. 81
5.28 Visual image comparisons before and after registration of data set Intensity2. 82
5.29 Time consumption and NMI measurements on data set Intensity2. . . . . . . . 83
5.30 An illustration of the displacement fields for data set Intensity2 and Intensity5. 83
B.1 The organisation of the parameters configuration file. . . . . . . . . . . . . . . 90
B.2 The organisation of the processing list configuration file. . . . . . . . . . . . . 91