Tools for Signal Compression

204 Pages·3.183 MB·English

by  Nicolas Moreau(auth.)

Tools for Signal Compression
Tools for Signal
Compression

Nicolas Moreau
First published 2011 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc.
Adapted and updated from Outils pour la compression des signaux: applications aux signaux
audioechnologies du stockage d’énergie published 2009 in France by Hermes Science/Lavoisier
© Institut Télécom et LAVOISIER 2009
Apart from any fair dealing for the purposes of research or private study, or criticism or review, as
permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced,
stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers,
or in the case of reprographic reproduction in accordance with the terms and licenses issued by the
CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the
undermentioned address:
ISTE Ltd John Wiley & Sons, Inc.
27-37 St George’s Road 111 River Street
London SW19 4EU Hoboken, NJ 07030
UK USA
www.iste.co.uk www.wiley.com
© ISTE Ltd 2011

The rights of Nicolas Moreau to be identified as the author of this work have been asserted by him in
accordance with the Copyright, Designs and Patents Act 1988.
____________________________________________________________________________________
Library of Congress Cataloging-in-Publication Data

Moreau, Nicolas, 1945-
[Outils pour la compression des signaux. English]
Tools for signal compression / Nicolas Moreau.
p. cm.
"Adapted and updated from Outils pour la compression des signaux : applications aux signaux
audioechnologies du stockage d'energie."
Includes bibliographical references and index.
ISBN 978-1-84821-255-8
1. Sound--Recording and reproducing--Digital techniques. 2. Data compression (Telecommunication) 3.
Speech processing systems. I. Title.
TK7881.4.M6413 2011
621.389'3--dc22
2011003206

British Library Cataloguing-in-Publication Data
A CIP record for this book is available from the British Library
ISBN 978-1-84821-255-8

Printed and bound in Great Britain by CPI Antony Rowe, Chippenham and Eastbourne.
Table of Contents
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
PART1.TOOLS FORSIGNALCOMPRESSION . . . . . . . . . . . . . . . . 1
Chapter1.ScalarQuantization . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2. Optimumscalarquantization . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1. Necessaryconditionsforoptimization. . . . . . . . . . . . . . . 5
1.2.2. Quantizationerrorpower . . . . . . . . . . . . . . . . . . . . . . 7
1.2.3. Furtherinformation . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.3.1. Lloyd–Maxalgorithm . . . . . . . . . . . . . . . . . . . . . 10
1.2.3.2. Non-lineartransformation . . . . . . . . . . . . . . . . . . 10
1.2.3.3. Scalefactor . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3. Predictivescalarquantization . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.1. Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.2. Remindersonthetheoryoflinearprediction . . . . . . . . . . . 12
1.3.2.1. Introduction:leastsquaresminimization . . . . . . . . . . 12
1.3.2.2. Theoreticalapproach . . . . . . . . . . . . . . . . . . . . . 13
1.3.2.3. Comparingthetwoapproaches. . . . . . . . . . . . . . . . 14
1.3.2.4. Whiteningfilter . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.2.5. Levinsonalgorithm . . . . . . . . . . . . . . . . . . . . . . 16
1.3.3. Predictiongain . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.3.1. Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.4. Asymptoticvalueofthepredictiongain . . . . . . . . . . . . . . 17
1.3.5. Closed-looppredictivescalarquantization . . . . . . . . . . . . 20
Chapter2.VectorQuantization . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2. Rationale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
vi ToolsforSignalCompression
2.3. Optimumcodebookgeneration . . . . . . . . . . . . . . . . . . . . . . 26
2.4. Optimumquantizerperformance . . . . . . . . . . . . . . . . . . . . . 28
2.5. Usingthequantizer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.1. Tree-structuredvectorquantization . . . . . . . . . . . . . . . . 31
2.5.2. Cartesianproductvectorquantization . . . . . . . . . . . . . . . 31
2.5.3. Gain-shapevectorquantization. . . . . . . . . . . . . . . . . . . 31
2.5.4. Multistagevectorquantization . . . . . . . . . . . . . . . . . . . 31
2.5.5. Vectorquantizationbytransform. . . . . . . . . . . . . . . . . . 31
2.5.6. Algebraicvectorquantization . . . . . . . . . . . . . . . . . . . 32
2.6. Gain-shapevectorquantization . . . . . . . . . . . . . . . . . . . . . . 32
2.6.1. Nearestneighborrule . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.2. Lloyd–Maxalgorithm . . . . . . . . . . . . . . . . . . . . . . . . 34
Chapter3.Sub-bandTransformCoding . . . . . . . . . . . . . . . . . . . 37
3.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2. Equivalenceoffilterbanksandtransforms . . . . . . . . . . . . . . . 38
3.3. Bitallocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3.1. Definingtheproblem . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3.2. Optimumbitallocation . . . . . . . . . . . . . . . . . . . . . . . 41
3.3.3. Practicalalgorithm. . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3.4. Furtherinformation . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.4. Optimumtransform . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.5. Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5.1. Transformgain . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5.2. Simulationresults . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Chapter4.EntropyCoding . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2. Noiselesscodingofdiscrete,memorylesssources . . . . . . . . . . . 54
4.2.1. Entropyofasource . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2.2. Codingasource . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.2.2.1. Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.2.2.2. Uniquelydecodableinstantaneouscode . . . . . . . . . . . 57
4.2.2.3. Kraftinequality . . . . . . . . . . . . . . . . . . . . . . . . 58
4.2.2.4. Optimalcode . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.2.3. Theoremofnoiselesscodingofamemorylessdiscrete
source . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.3.1. Proposition1 . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2.3.2. Proposition2 . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.2.3.3. Proposition3 . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.2.3.4. Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2.4. Constructingacode . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2.4.1. Shannoncode . . . . . . . . . . . . . . . . . . . . . . . . . 62
TableofContents vii
4.2.4.2. Huffmanalgorithm . . . . . . . . . . . . . . . . . . . . . . 63
4.2.4.3. Example1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.2.5. Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.2.5.1. Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.2.5.2. Example2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2.6. Arithmeticcoding . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.3. Noiselesscodingofadiscretesourcewithmemory . . . . . . . . . . 66
4.3.1. Newdefinitions . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.3.2. Theoremofnoiselesscodingofadiscretesourcewith
memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.3.3. ExampleofaMarkovsource . . . . . . . . . . . . . . . . . . . . 69
4.3.3.1. Generaldetails . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.3.3.2. Exampleoftransmittingdocumentsbyfax . . . . . . . . . 70
4.4. Scalarquantizerwithentropyconstraint. . . . . . . . . . . . . . . . . 73
4.4.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.4.2. Lloyd–Maxquantizer . . . . . . . . . . . . . . . . . . . . . . . . 74
4.4.3. Quantizerwithentropyconstraint . . . . . . . . . . . . . . . . . 75
4.4.3.1. Expressionfortheentropy . . . . . . . . . . . . . . . . . . 76
4.4.3.2. Jenseninequality. . . . . . . . . . . . . . . . . . . . . . . . 77
4.4.3.3. Optimumquantizer . . . . . . . . . . . . . . . . . . . . . . 78
4.4.3.4. Gaussiansource . . . . . . . . . . . . . . . . . . . . . . . . 78
4.5. Capacityofadiscretememorylesschannel . . . . . . . . . . . . . . . 79
4.5.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.5.2. Mutualinformation . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.5.3. Noisy-channelcodingtheorem . . . . . . . . . . . . . . . . . . . 82
4.5.4. Example:symmetricalbinarychannel. . . . . . . . . . . . . . . 82
4.6. Codingadiscretesourcewithafidelitycriterion . . . . . . . . . . . . 83
4.6.1. Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.6.2. Rate–distortionfunction. . . . . . . . . . . . . . . . . . . . . . . 84
4.6.3. Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.6.3.1. Sourcecodingtheorem . . . . . . . . . . . . . . . . . . . . 85
4.6.3.2. Combinedsource-channelcoding . . . . . . . . . . . . . . 85
4.6.4. Specialcase: quadraticdistortionmeasure . . . . . . . . . . . . 85
4.6.4.1. Shannon’slowerboundforamemorylesssource . . . . . 85
4.6.4.2. Sourcewithmemory . . . . . . . . . . . . . . . . . . . . . 86
4.6.5. Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
PART2.AUDIO SIGNALAPPLICATIONS . . . . . . . . . . . . . . . . . . . 89
Chapter5.IntroductiontoAudioSignals . . . . . . . . . . . . . . . . . . . 91
5.1. Speechsignalcharacteristics . . . . . . . . . . . . . . . . . . . . . . . 91
5.2. Characteristicsofmusicsignals . . . . . . . . . . . . . . . . . . . . . 92
5.3. Standardsandrecommendations . . . . . . . . . . . . . . . . . . . . . 93
viii ToolsforSignalCompression
5.3.1. Telephone-bandspeechsignals . . . . . . . . . . . . . . . . . . . 93
5.3.1.1. Publictelephonenetwork . . . . . . . . . . . . . . . . . . . 93
5.3.1.2. Mobilecommunication . . . . . . . . . . . . . . . . . . . . 94
5.3.1.3. Otherapplications . . . . . . . . . . . . . . . . . . . . . . . 95
5.3.2. Widebandspeechsignals . . . . . . . . . . . . . . . . . . . . . . 95
5.3.3. High-fidelityaudiosignals . . . . . . . . . . . . . . . . . . . . . 95
5.3.3.1. MPEG-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3.3.2. MPEG-2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3.3.3. MPEG-4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3.3.4. MPEG-7andMPEG-21. . . . . . . . . . . . . . . . . . . . 99
5.3.4. Evaluatingthequality . . . . . . . . . . . . . . . . . . . . . . . . 99
Chapter6.SpeechCoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.1. PCMandADPCMcoders. . . . . . . . . . . . . . . . . . . . . . . . . 101
6.2. The2.4bit/sLPC-10coder . . . . . . . . . . . . . . . . . . . . . . . . 102
6.2.1. Determiningthefiltercoefficients . . . . . . . . . . . . . . . . . 102
6.2.2. Unvoicedsounds . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6.2.3. Voicedsounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.2.4. Determiningvoicedandunvoicedsounds . . . . . . . . . . . . . 106
6.2.5. Bitrateconstraint . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.3. TheCELPcoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.3.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.3.2. Determiningthesynthesisfiltercoefficients . . . . . . . . . . . 109
6.3.3. Modelingtheexcitation . . . . . . . . . . . . . . . . . . . . . . . 111
6.3.3.1. Introducingaperceptualfactor . . . . . . . . . . . . . . . . 111
6.3.3.2. Selectingtheexcitationmodel . . . . . . . . . . . . . . . . 113
6.3.3.3. Filteredcodebook . . . . . . . . . . . . . . . . . . . . . . . 113
6.3.3.4. Leastsquaresminimization . . . . . . . . . . . . . . . . . . 115
6.3.3.5. Standarditerativealgorithm . . . . . . . . . . . . . . . . . 116
6.3.3.6. Choosingtheexcitationcodebook . . . . . . . . . . . . . . 117
6.3.3.7. Introducinganadaptivecodebook . . . . . . . . . . . . . . 118
6.3.4. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Chapter7.AudioCoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.1. Principlesof“perceptualcoders”. . . . . . . . . . . . . . . . . . . . . 123
7.2. MPEG-1layer1coder . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.2.1. Time/frequencytransform . . . . . . . . . . . . . . . . . . . . . 127
7.2.2. Psychoacousticmodelingandbitallocation. . . . . . . . . . . . 128
7.2.3. Quantization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.3. MPEG-2AACcoder. . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7.4. DolbyAC-3coder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.5. Psychoacousticmodel:calculatingamaskingthreshold . . . . . . . . 135
7.5.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
TableofContents ix
7.5.2. Theear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7.5.3. Criticalbands. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.5.4. Maskingcurves . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
7.5.5. Maskingthreshold . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Chapter8.AudioCoding: AdditionalInformation . . . . . . . . . . . . . 141
8.1. Lowbitrate/acceptablequalitycoders . . . . . . . . . . . . . . . . . . 141
8.1.1. Toolone:SBR . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
8.1.2. Tooltwo:PS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
8.1.2.1. Historicaloverview . . . . . . . . . . . . . . . . . . . . . . 143
8.1.2.2. PrincipleofPSaudiocoding . . . . . . . . . . . . . . . . . 143
8.1.2.3. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
8.1.3. Soundspaceperception . . . . . . . . . . . . . . . . . . . . . . . 145
8.2. Highbitratelosslessoralmostlosslesscoders . . . . . . . . . . . . . 146
8.2.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
8.2.2. ISO/IECMPEG-4standardization . . . . . . . . . . . . . . . . . 147
8.2.2.1. Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
8.2.2.2. Somedetails . . . . . . . . . . . . . . . . . . . . . . . . . . 147
Chapter9.StereoCoding: ASyntheticPresentation . . . . . . . . . . . . 149
9.1. Basichypothesisandnotation . . . . . . . . . . . . . . . . . . . . . . 149
9.2. Determiningtheinter-channelindices . . . . . . . . . . . . . . . . . . 151
9.2.1. Estimatingthepowerandtheintercovariance. . . . . . . . . . . 151
9.2.2. Calculatingtheinter-channelindices . . . . . . . . . . . . . . . 152
9.2.3. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
9.3. Downmixingprocedure . . . . . . . . . . . . . . . . . . . . . . . . . . 154
9.3.1. Developmentinthetimedomain . . . . . . . . . . . . . . . . . . 155
9.3.2. Inthefrequencydomain . . . . . . . . . . . . . . . . . . . . . . 157
9.4. Atthereceiver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
9.4.1. Stereosignalreconstruction . . . . . . . . . . . . . . . . . . . . 158
9.4.2. Poweradjustment . . . . . . . . . . . . . . . . . . . . . . . . . . 159
9.4.3. Phasealignment . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
9.4.4. Informationtransmittedviathechannel . . . . . . . . . . . . . . 161
9.5. DraftInternationalStandard . . . . . . . . . . . . . . . . . . . . . . . 161
PART3.MATLAB(cid:2) PROGRAMS . . . . . . . . . . . . . . . . . . . . . . . 163
Chapter10.ASpeechCoder . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
10.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
10.2.Scriptforthecallingfunction . . . . . . . . . . . . . . . . . . . . . . 165
10.3.Scriptforcalledfunctions . . . . . . . . . . . . . . . . . . . . . . . . 170
x ToolsforSignalCompression
Chapter11.AMusicCoder . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
11.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
11.2.Scriptforthecallingfunction . . . . . . . . . . . . . . . . . . . . . . 173
11.3.Scriptforcalledfunctions . . . . . . . . . . . . . . . . . . . . . . . . 176
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
Introduction
Ineverydaylife, we oftencomein contactwith compressedsignals: whenusing
mobiletelephones,mp3players,digitalcameras,orDVDplayers.Thesignalsineach
of these applications, telephone-bandspeech, high fidelity audio signal, and still or
videoimagesarenotonlysampledandquantizedtoputthemintoaformsuitablefor
savinginmassstoragedevicesortosendthemacrossnetworks,butalsocompressed.
Thefirstoperationisverybasicandispresentedinallcoursesandintroductorybooks
on signal processing. The second operation is more specific and is the subject of
this book: here, the standard tools for signal compression are presented, followed
byexamplesofhowthesetoolsareappliedincompressingspeechandmusicalaudio
signals. In the first partof thisbook, we focuson a problemwhich is theoreticalin
nature: minimizing the mean squared error. The second part is more concrete and
qualifies the previous steps in seeking to minimize the bit rate while respecting the
psychoacousticconstraints. We will see thatsignalcompressionconsists of seeking
notonlytoeliminateallredundantpartsoftheoriginalsignalbutalsotoattemptthe
eliminationofinaudiblepartsofthesignal.
Thecompressiontechniquespresentedinthisbookarenotnew.Theyareexplained
intheoreticalframework,informationtheory,andsourcecoding,aimingtoformalize
the first (and the last) element in a digital communication channel: the encoding
of an analog signal (with continuous times and continuous values) to a digital
signal (at discrete times and discrete values). The techniques come from the work
by C. Shannon, published at the beginning of the 1950s. However, except for the
development of speech encodings in the 1970s to promote an entirely digitally
switchedtelephonenetwork,thesetechniquesreallycameintousetowardtheendof
the1980sundertheinfluenceofworkinggroups,forexample,“GroupSpecialMobile
(GSM)”,“JointPhotographicExpertsGroup(JPEG)”,and“MovingPictureExperts
Group(MPEG)”.
The results of these techniques are quite impressive and have allowed the
developmentof the applications referred to earlier. Let us consider the example of