Real Time Individualization of Interaural Time Differences for Dynamic Binaural Synthesis

103 Pages·2011·2.06 MB·English

by  Jorgos Estrella

R T I
EAL IME NDIVIDUALIZATION OF
I T D
NTERAURAL IME IFFERENCES FOR
D B S
YNAMIC INAURAL YNTHESIS
Echtzeitindividualisierung von interauralen
Laufzeitunterschieden in der dynamischen
Binauralsynthese
Diplomarbeit
durchgeführt am: FachgebietAudiokommunikation,
Institut fürSpracheund
Kommunikation
vorgelegt von: Jorgos Estrella
Studiengang: Elektrotechnik
Matrikelnummer: 228620
Gutachter: Prof.Dr.StefanWeinzierl
M.AAlexanderLindau
Abgabedatum: 17.Mai2011
Abstract
Under the premise that all cues required for spatial orientation in an acoustic environment
are present in the sound pressure at the ear drums, it is possible, with the aid of binaural
techniques, to virtually reproduce and/or synthesize acoustical environments by recreating
thesoundpressure asitwouldoccurinnaturalhearing.
LordRayleigh 1 onhistheory ofsound perception, stated thattwocues aremostlyrespon-
sible for providing spatial acoustic orientation: The interaural level difference (ILD) and
the interaural time difference (ITD), both are related to physiological characteristics, thus,
differentamongindividuals.
Headrelatedimpulse responses (HRIR)contain thosecuesandprovidethrough aconvolu-
tionprocess theauralized acoustic information. However,theuseofnonindividual HRIRs
inbinaural synthesis canleadtoseveredegradation ofthevirtualacoustical experience.2
Thisworkpresents anddiscusses thepracticalimplementation ofamethodtoachieveindi-
vidualization in the binaural synthesis bymeans of real-time ITDmanipulation. Moreover
itpresents and discusses the development ofan empirical formula toscale theforeign ITD
basedonanthropometric measures.
1Strutt1907
2Algazietal.1997;Wenzeletal.1988,1993
Eidesstattliche Erklärung
Eidesstattliche Erklärung
Dieselbständige undeigenständige Anfertigung versichert anEidesstatt.
Berlin,den17.Mai2011
JORGOS ESTRELLA
III
Scopeofthepresent work
Scope of the present work
Atthispointitisimportanttomentionthatsomeaspectsthatsupportthemethodsdescribed
inthisthesiswereaddressed theoretically bytheauthor inaprevious work(Estrella2010).
Therefore, theseareonlybrieflyexplained here.
Much ofthis thesis’ development work deal with technical implementation facets required
to accomplish the software application. The media CD accompanying this work contains
the code-sources and documentation of the mentioned software. These technical aspects
willnotbeextensively treatedinthisDiplomathesis.
In order to facilitate the reading of the digital version of this document, the media-CD
containsacopywithcolored hyper-references.
Chapter 1 describes the problematic use of non-individual auditory cues in the binaural
synthesis andintroduces theproposed individualization modelaswellasitsadvantages.
Chapter2brieflyexplainsseveralgeneralaspectsofbinauralsynthesistechnologytofinally
describesomeindividualization approaches.
Chapter3explains,usingsystemtheory,thefundamentalsoftheproposedindividualization
modelanditscomponents.
Functional requirements for the practical implementation as well as the software compo-
nents used and the most important implementation facets are explained in Chapter 4. A
flowchartandschematicsarealsopresented.
Once the software was developed a listening test was conducted, in order to establish a
quantitative relationship betweenindividual morphology andITDmanipulation. Chapter5
explainsthisapproach.
Chapter 6 presents a brief resume of this work and mentions the aspects that should be
addressed inafuturework.
The appendix contains brief resume in German language, the Matlab™ code for the data
setpreparation, theReadmefilesthat explain the usage ofthesoftware, and other software
applications writtentosupportthedevelopment ofthiswork.
IV
Contents
Contents
Abstract II
EidesstattlicheErklärung III
Scopeofthepresentwork IV
ListofFigures VIII
1. Motivation 1
1.1. Theuseofnonindividualized HRIRsinthebinaural synthesis . . . . . . . 2
1.2. Theproposed individualization model . . . . . . . . . . . . . . . . . . . . 3
2. Stateoftheart 6
2.1. Fundamentals ofbinaural synthesis . . . . . . . . . . . . . . . . . . . . . . 6
2.1.1. Encodingbinaural information . . . . . . . . . . . . . . . . . . . . 8
2.1.2. Decodingbinaural information . . . . . . . . . . . . . . . . . . . . 8
2.1.3. HRTFandlocalization cues . . . . . . . . . . . . . . . . . . . . . 9
2.1.3.1. Lowandhighfrequency ITD . . . . . . . . . . . . . . . 10
2.1.3.2. ITDestimation inbinaural datasets . . . . . . . . . . . . 11
2.1.3.3. ILDaslocalization cue . . . . . . . . . . . . . . . . . . 13
2.1.3.4. SCaslocalization cue . . . . . . . . . . . . . . . . . . . 14
2.1.4. Dynamicbinaural auralization . . . . . . . . . . . . . . . . . . . . 15
2.2. Individualization usinggeometricalmodels . . . . . . . . . . . . . . . . . 16
2.3. Anthropometric aidedindividualization . . . . . . . . . . . . . . . . . . . 17
3. Methods 19
3.1. Chapter’soverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2. Separateprocessing oftimeandspectral characteristics . . . . . . . . . . . 19
3.3. Extraction ofminimum-phase impulseresponses . . . . . . . . . . . . . . 20
3.4. Fractional delayfilters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.5. Chapter’sresume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4. Implementation 28
V
Contents
4.1. Datasetpre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.2. Functional requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3. Softwarecomponents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3.1. Low latency high priority audio thread: The JACK Audio applica-
tionprogramming interface (API) . . . . . . . . . . . . . . . . . . 30
4.3.2. Delay-lines basedonsamplerateconversion (SRC) . . . . . . . . . 32
4.3.3. Thelibsamplerate API . . . . . . . . . . . . . . . . . . . . . . . . 34
4.3.4. OSCcontrol: ThelibloAPI . . . . . . . . . . . . . . . . . . . . . 36
4.3.5. XMLscriptparsing: Thelibxml++-2.xAPI . . . . . . . . . . . . . 38
4.3.6. GUIcontrol: TheGTK+2.0Project . . . . . . . . . . . . . . . . . 40
4.4. Flowchartoftheaudioprocess . . . . . . . . . . . . . . . . . . . . . . . . 41
5. Anthropometry-based ITDindividualization 45
5.1. Listeningtest: ITDIndividualization byscaling . . . . . . . . . . . . . . . 45
5.1.1. Testsetup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.1.1.1. Stimulus . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.1.1.2. Listening-test’s software . . . . . . . . . . . . . . . . . . 48
5.1.1.3. Interface . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.1.2. Listeningtestprocedure . . . . . . . . . . . . . . . . . . . . . . . 50
5.2. Statistical analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.3. Anthropometry-based ITDindividualization formula . . . . . . . . . . . . 51
6. Summaryandconclusions 54
Bibliography 56
A. Zusammenfassung indeutscher Sprache i
A.1. Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i
A.1.1. DieVerwendungvonnicht-individuellen Lokalisationscues . . . . . i
A.1.2. Dasvorgeschlagene Individualisierungsmodell . . . . . . . . . . . ii
A.1.3. VorteiledesModells . . . . . . . . . . . . . . . . . . . . . . . . . iii
A.2. StandderForschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv
A.2.1. Individualisierung mitHilfevonanthropometrischen Maßen . . . . iv
A.3. Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
A.3.1. Ermittlung der ITD aus binauralen Datensätsen mittels Onset De-
tektion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
A.3.2. Extraktion von minimalphasigen Impulsantworten nach der Onset
DetektionMethode . . . . . . . . . . . . . . . . . . . . . . . . . . vii
A.3.3. Fraktionale Zeitverzögerung . . . . . . . . . . . . . . . . . . . . . vii
VI
Contents
A.4. Implementierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
A.4.1. Data-SetVorbereitung . . . . . . . . . . . . . . . . . . . . . . . . ix
A.4.2. Softwarekomponenten . . . . . . . . . . . . . . . . . . . . . . . . ix
A.5. Anthropometrie-basierte ITDIndividualisierung . . . . . . . . . . . . . . . xi
A.5.1. Hörversuch zurErmittlungdesindividuellen ITD-Skalierungsfaktors xi
A.5.1.1. Hörversuchsaufbau . . . . . . . . . . . . . . . . . . . . xi
A.5.1.2. Versuchsdurchführung . . . . . . . . . . . . . . . . . . . xiii
A.5.2. Statistische Auswertung . . . . . . . . . . . . . . . . . . . . . . . xiii
A.5.3. Anthropometrie-basierte ITD-Individualisierungsformel . . . . . . xv
A.6. Zusammenfassung undDiskussion . . . . . . . . . . . . . . . . . . . . . . xv
B. Matlabcodefordatasetpreparation xvii
C. ITD-Individualizerusage xxii
C.1. Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
C.1.1. Dependencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
C.1.2. Compilation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
C.2. Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
D. AsoftwareforcontrollingmultipleITDindividualizers xxvi
E. Asoftwaretocontrolthevolumeofaudiostreams xxx
F. AudibilityofDopplereffectduetoheadrotation xxxii
VII
ListofFigures
List of Figures
1.1. Kemarmanikintype45BA.SourceG.R.A.S . . . . . . . . . . . . . . . . . 2
1.2. Simplifiedschematicoftheproposed individualization model . . . . . . . . 4
2.1. Graphical example of the binaural synthesis concept. Up: Perception of a
real sound source. Down: reconstruction of the sound pressure at the ear-
drumsthrough binauralsynthesis. . . . . . . . . . . . . . . . . . . . . . . 7
2.2. Binaural data set acquisition using the head an torso simulator FABIAN
(Lindau2006). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3. HpTF dependency on headphone positioning and the individual morphol-
ogy. 10 successive headphone positions (Sennheiser D600) at the left ear
of a representative subject are shown. The curves are shifted by 5 dB for
legibilitypurposes. Notethedifferencesforfrequenciesabove5kHz. From
Nicol(2010). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4. Pathlengthdifferences causing theinteraural timedifference . . . . . . . . 10
2.5. ITD as a function of frequency on increasing azimuths (17◦ to 90◦) com-
putedusingHRTFsofselectedsubjects. 6soundsourcelocationsintheaz-
imuth plane were considered. Notethe low andhigh frequency ITD.From
(Nicol2010). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.6. ITDextractedusingtheonsetdetectionmethodwith10xup-sampling,thresh-
old -3dB. Data set: FABIAN’s HRIRs (elevation: 0◦, azimuth:−180◦ to
+180◦,resolution: 1◦) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.7. Subjective ITDvs. ITDextracted withtheEdgeDetection method. Means
of subject’s answers and standard deviations are plotted with continuous
lines. DottedlinerepresenttheITDestimationmethod. Onlythehorizontal
planeisconsidered. FromBussonetal.(2005). . . . . . . . . . . . . . . . 14
2.8. Acousticshadowingcausing theinteraural leveldifference . . . . . . . . . 15
2.9. WoodworthandSchlosberg’sITDcomputationmethodbasedonaspherical
headmodel. From(Kuhn1977). . . . . . . . . . . . . . . . . . . . . . . . 16
2.10. AnthropometricmeasuresusedtofindtheoptimalheadradiusinAlgazietal.
(2001b). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
VIII
ListofFigures
3.1. (up)HRTFswithandwithoutphasecomponent. (down)frequencyresponse
ofbothHRTFs. Source(Kulkarnietal.1999) . . . . . . . . . . . . . . . . 20
3.2. Results of ABX listening test of minimum-phase IRs (Hilbert method) vs.
original impulseresponses. . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.3. Results of ABX listening test of minimum-phase IRs (extracted with the
onsetdetection method)vs. original impulseresponses. . . . . . . . . . . . 23
3.4. Extraction of quasi minimum-phase impulse responses with the onset de-
tection method. Notethat the envelope has slightly changed due tomanip-
ulation. Itwasthesekindofdifferences thatwereassessed foraudibility in
thesecondlistening testofsection3.3. . . . . . . . . . . . . . . . . . . . . 24
3.5. Basicdiscretedelaysystem. . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.6. Ideal fractional delay approximation. Up: delay D isinteger, sampling oc-
curs at zero crossings. Down: delay D is non integer, sampling occurs
between zero crossings. Infinite length impulse response is required in the
idealcase. FromVälimäkiandLaakso(2000). . . . . . . . . . . . . . . . . 26
4.1. Time stretching for achieving one sample delay (22µs). Note the use of
samplerateconversion atthestretching region. . . . . . . . . . . . . . . . 34
4.2. GraphicaluserinterfaceoftheITDindividualizer developed usingGTK+2.2 40
4.3. Flowchartofthecallbackfunction thatmanagestimestretching. . . . . . . 42
4.4. Schematic description of the processing callback-function of the ITDindi-
vidualizer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.1. Relevantanthropometric measuresdefiningtheindividual ITD . . . . . . . 46
5.2. Listening test setup. Up: While using the reference speaker. Down: while
usingbinaural system. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5.3. Low-pass filter applied to the noise-burst stimulus to minimize the lateral-
izationinfluenceofILD. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.4. Graphicaluserinterfaceofthelistening testaudioapplication. . . . . . . . 48
5.5. Protocolofaselecteduser’slisteningtestwritteninCSVformat. Redarrow
pointstothecolumnofthegenerated ITDscaling factors . . . . . . . . . . 49
5.6. Userinterfaceforthelistening test . . . . . . . . . . . . . . . . . . . . . . 49
5.7. Distribution of the individually generated ITD scaling factors from 9 sub-
jects. Notethebigdispersions. . . . . . . . . . . . . . . . . . . . . . . . . 51
5.8. Modeling of listening test results: The linear regression model over the
intertragus distanceisshownwithhyperbolic 95%CIs. . . . . . . . . . . . 53
A.1. Data-SetAkquiseunterVerwendung desHATS(Headandtorsosimulator)
FABIAN(Lindau2006). . . . . . . . . . . . . . . . . . . . . . . . . . . . ii
IX
ListofFigures
A.2. Vereinfachtes SchemadesITD-Individualisierungsmodells . . . . . . . . . iii
A.3. ITD ermittelt durch Onset Detektion bei 10facher Überabtastung, Detek-
tionschwelle -3dB. Data Set: FABIAN’s HRIRs (Elevation: 0◦, Azimut:
−180◦ bis+180◦,Auflösung:1◦) . . . . . . . . . . . . . . . . . . . . . . vi
A.4. ExtraktionvonminimalphasigenImpulsantwortenmitderMethodederOn-
set Detektion. Die leichte Veränderung der Einhüllenden beruht auf dem
Manipulationsvorgang andenBRIRs. . . . . . . . . . . . . . . . . . . . . vii
A.5. Ideale fraktionale Zeitverzögerung. Oben: Delay D ist ganzzahlig, die Ab-
tastung erfolgt an den Null-Übergängen. Unten: Delay D ist nicht ganz-
zahlig, Abtastung erfolgt zwischen den Null-Übergängen. Dem Idealfall
entsprichteineImpulsantwortunendlicherLänge.AusVälimäkiandLaakso
(2000). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
A.6. GrafischeBenutzeroberfläche derITD-ISoftwareunterGTK+2.2 . . . . . x
A.7. Relevante anthropometrische Maße für die Bestimmung der individuellen
ITD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
A.8. Frequenzgang des Tiefpassfilters zur Minimierung des Lokalisationsein-
flussderILD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xii
A.9. VerteilungderindividuellhergestelltenITD-Skalierungsfaktorenvon9Ver-
suchsteilnehmern. DiegroßenStreuungen sindanzumerken. . . . . . . . . xiv
A.10.ModellierungderHörversuchsergebnisse:linearesRegressionsmodelldargestellt
überdieIntertragusdistanz mit95%Konfidenzintervallen. . . . . . . . . . xiv
D.1. (up)ApplicationdevelopedtocontrolmultipleinstancesoftheITDindivid-
ualizer. (down)ConfigurationfilefordeterminingtheOSCportstotransmit
commandsto. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii
E.1. Helpfileofanapplication topre-setvolumeonaudiostreams. . . . . . . . xxxi
E.2. GUIofthesoftwareapplication topre-setandmodifyvolume. . . . . . . . xxxi
X