Speech signal processing by Praat - Phonetic Sciences, Amsterdam

328 Pages·2016·13.13 MB·English

by  David Weenink

extratitle

SpeechSignalProcessingwithPraat
Speech Signal Processing with Praat
David Weenink
12th May 2022
The Netherlands
ISBN-13:...
Copyright©2022byDavidWeenink. Allrightsreserved.
dedication

Contents
I. Introduction to Praat 1
1. Introduction 3
1.1. Conventionsusedinthisbook . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2. StartingandleavingPraat . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3. Howwespecifyacommandinthisbook . . . . . . . . . . . . . . . . . . . . 4
1.4. Howtomakepictures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.1. Drawingexamples . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5. HowtoselectobjectsinPraat . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6. Terminologyandbooklayout . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2. The sound signal 11
2.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2. Acoustics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2.1. Thenastydetailsofpuretonespecifications . . . . . . . . . . . . . . 17
2.3. Thesoundeditor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4. Howdoweanalyseasound? . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5. Howtomakesureasoundisplayedcorrectly?. . . . . . . . . . . . . . . . . 26
2.6. Removinganoffset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.7. Specialsoundsignals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.7.1. Creatingtones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.7.2. Creatingadampedsine(formant) . . . . . . . . . . . . . . . . . . . 28
2.7.3. Creatingnoisesignals . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.7.4. Creatinglinearsweeptones . . . . . . . . . . . . . . . . . . . . . . 30
2.7.5. Creatingagammatone . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.7.6. Creatingagammachirp . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.7.7. Creatingasoundwithonlyonepulse . . . . . . . . . . . . . . . . . 32
3. Sound and the computer 35
3.1. Makingarecordingatthecomputer . . . . . . . . . . . . . . . . . . . . . . 36
3.2. Makingarecordinginthestudio . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3. Makingarecordinginthefield . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.4. Guidelinesforrecordingspeech . . . . . . . . . . . . . . . . . . . . . . . . 37
3.5. Audiofileformats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.5.1. Theaiffandaifcformat. . . . . . . . . . . . . . . . . . . . . . . . . 38
3.5.2. Thewavformat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5.3. TheFLACformat. . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5.4. Alawformat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
vii
Contents
3.5.5. µlawformat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5.6. Rawformat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5.7. Themp3format. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.5.8. Theoggvorbisformat . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.6. Equipment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.6.1. Themicrophone . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.6.2. Thesoundcard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.6.2.1. Oversteeringandclipping(doityourself) . . . . . . . . . 44
3.6.2.2. Soundcardelectroniccircuitry . . . . . . . . . . . . . . . 45
3.6.3. Themixer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.6.4. AnalogtoDigitalConversion . . . . . . . . . . . . . . . . . . . . . 48
3.6.4.1. Aliasing . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.6.5. DigitaltoAnalogConversion . . . . . . . . . . . . . . . . . . . . . 51
3.6.6. TheDigitalSignalProcessor . . . . . . . . . . . . . . . . . . . . . . 52
4. Praat scripting 53
4.1. ExecutionofPraatcommandsinascript . . . . . . . . . . . . . . . . . . . . 54
4.2. DefininganewbuttoninPraat . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3. Removingthenewlydefinedbutton . . . . . . . . . . . . . . . . . . . . . . 56
4.4. Createandplayatone. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.4.1. Improvement1,introducingavariable . . . . . . . . . . . . . . . . . 61
4.4.2. Improvement2,definingaminimumform . . . . . . . . . . . . . . . 61
4.4.3. Improvement3,defaultvalueintheform . . . . . . . . . . . . . . . 62
4.4.4. Improvement4,fieldnamesstartwithuppercasecharacter . . . . . . 63
4.4.5. Finalform,inputvalueshaveunits . . . . . . . . . . . . . . . . . . . 63
4.4.6. Variation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.5. Moreonvariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.5.1. Predefinedconstants . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.5.2. PredefinedvariablesinPraat . . . . . . . . . . . . . . . . . . . . . . 66
4.5.2.1. Predefinedstringvariables. . . . . . . . . . . . . . . . . . 66
4.5.2.2. Numericalvariablesassociatedwithmatrices . . . . . . . . 67
4.5.2.3. Operatingsystemidentificationvariables.. . . . . . . . . . 69
4.5.3. Accessingqueries. . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.6. Conditionalexpressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.6.1. ConditionalexpressionswithinaFormula... . . . . . . . . . . . . . . 71
4.6.2. CreateastereosoundfromaFormula . . . . . . . . . . . . . . . . . 72
4.7. Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.7.1. Forloops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.7.1.1. Morevariables: anarrayofvariables . . . . . . . . . . . . 78
4.7.1.2. WhatgoesoninaFormula... . . . . . . . . . . . . . . . . 80
4.7.1.3. ModifyaMatrixwithaformula . . . . . . . . . . . . . . . 82
4.7.1.4. ReferencetootherSoundsinFormula... . . . . . . . . . . 83
4.7.1.5. UsematrixelementsoutsideaFormulacontext. . . . . . . 85
4.7.2. Repeatuntilloops . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.7.3. Whileloops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
viii
Contents
4.8. Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.8.1. MathematicalfunctionsinPraat . . . . . . . . . . . . . . . . . . . . 86
4.8.2. StringfunctionsinPraat . . . . . . . . . . . . . . . . . . . . . . . . 92
4.9. Thelayoutofascript . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.10.Mistakestoavoidinscripting . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5. Pitch analysis 97
5.1. Praat’spitchalgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.1.1. Findingpitchcandidatesbyautocorrelation . . . . . . . . . . . . . . 98
5.1.2. Parametersofthepitchalgorithm . . . . . . . . . . . . . . . . . . . 100
5.1.3. Howarethepitchstrengthscalculated? . . . . . . . . . . . . . . . . 102
5.1.4. UsingViterbitofindthebestcandidates . . . . . . . . . . . . . . . . 104
5.2. PulsesintheSoundEditor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.2.1. Challenges: Tonelanguages . . . . . . . . . . . . . . . . . . . . . . 106
5.2.1.1. MandarinChinese . . . . . . . . . . . . . . . . . . . . . . 106
6. Intensity analysis 107
6.1. Sound: ToIntensity... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.2. Intensityqueries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.3. Silencedetection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7. The Spectrum 111
7.1. Thespectrumofelementarysignals . . . . . . . . . . . . . . . . . . . . . . 112
7.1.1. Thespectrumofpuretonesofvaryingfrequency . . . . . . . . . . . 113
7.1.2. Thespectrumofpuretonesofvaryingamplitudeanddecibels . . . . 115
7.1.3. Thespectrumofpuretonesofvaryingphase . . . . . . . . . . . . . 117
7.1.4. Thespectrumofasimplemixtureoftones. . . . . . . . . . . . . . . 118
7.1.5. Thespectrumofatonecomplex . . . . . . . . . . . . . . . . . . . . 119
7.1.6. Thespectrumofpuretonesthatdon’t“fit” . . . . . . . . . . . . . . 124
7.1.7. Spectralresolution . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.1.8. Whydowealsoneedcosines? . . . . . . . . . . . . . . . . . . . . . 128
7.1.9. Isthephaseofasoundimportant? . . . . . . . . . . . . . . . . . . . 128
7.2. Fourieranalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.3. Thespectrumofpulses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
7.4. Praat’sinternalrepresentationoftheSpectrumobject . . . . . . . . . . . . . 132
7.5. Filteringwiththespectrum . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
7.5.1. Thespectrumeditor . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.5.2. Examplesofscriptsthatfilter . . . . . . . . . . . . . . . . . . . . . 136
7.5.3. Shiftingfrequencies: modulationanddemodulation . . . . . . . . . . 137
7.6. Thespectrumofafinitesound . . . . . . . . . . . . . . . . . . . . . . . . . 138
7.6.1. Thespectrumofarectangularblockfunction . . . . . . . . . . . . . 138
7.6.2. Thespectrumofashorttone . . . . . . . . . . . . . . . . . . . . . . 140
7.7. Technicalintermezzo: theDiscreteFourierTransform(DFT) . . . . . . . . . 141
7.7.1. TheFastFourierTransform(FFT) . . . . . . . . . . . . . . . . . . . 141
7.8. Sound: ToSpectrum... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
ix
Contents
8. The Spectrogram 145
8.1. Howtogetaspectrogramfromasound . . . . . . . . . . . . . . . . . . . . 145
8.2. Windowingfunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
9. Annotating sounds 149
9.1. Makingthefirstannotations. . . . . . . . . . . . . . . . . . . . . . . . . . . 151
9.2. Annotateanewinterval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
9.3. Findingzerocrossings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
9.4. Removinganinterval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
10.The vowel editor 155
11.Digital (cid:28)lters 159
11.1.Non-recursivefilters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
11.2.Theimpulseresponse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
11.3.Recursivefilters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
11.4.Theformantfilter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
11.5.Theantiformantfilter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
11.6.Applyingaformantandanantiformantfilter . . . . . . . . . . . . . . . . . . 170
12.The KlattGrid synthesizer 173
12.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
12.1.1. HowtocreateanemptyKlattGrid . . . . . . . . . . . . . . . . . . . 174
12.1.2. Howtocreatean/a/andan/au/sound . . . . . . . . . . . . . . . . . 176
12.2.Thephonationpart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
12.3.Thevocaltractpart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
12.4.Thecouplingbetweenphonationandvocaltract . . . . . . . . . . . . . . . . 186
12.5.Thefricationpart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
12.6.DifferencesbetweenKlattGridandtheKlattsynthesizer. . . . . . . . . . . . 189
13.Formant frequency analysis 191
13.1.Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
13.2.Whatisaformant? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
13.3.Howareformantsmeasured? . . . . . . . . . . . . . . . . . . . . . . . . . . 193
13.3.1. Formantfrequenciesfromtheoscillogram . . . . . . . . . . . . . . . 194
13.3.2. Formantfrequenciesfromthespectrogram . . . . . . . . . . . . . . 196
13.3.3. Formantfrequenciesfrombandfilteranalysis . . . . . . . . . . . . . 198
13.3.4. Formantfrequenciesfromlinearprediction . . . . . . . . . . . . . . 198
13.3.4.1. Whatarethecorrectformantfrequencies? . . . . . . . . . 203
13.3.4.2. Howdidweproducethevowels? . . . . . . . . . . . . . . 205
13.3.5. Practicalguidelinesformeasuringformantfrequencies . . . . . . . . 205
13.3.5.1. Filenaming . . . . . . . . . . . . . . . . . . . . . . . . . 206
13.3.5.2. Annotatingsegments . . . . . . . . . . . . . . . . . . . . 206
13.3.5.3. Scriptingexample . . . . . . . . . . . . . . . . . . . . . . 206
13.4.Whyareformantfrequenciesstillsodifficulttomeasure? . . . . . . . . . . . 206
x