Ambisonics plug-in suite for production and performance usage Matthias Kronlachner www.matthiaskronlachner.com Linux Audio Conference 2013 May 9th - 12th, 2013 Graz, Austria What? • used JUCE framework to create cross-platform audio plug-ins (LV2, VST, AU) and Jack standalone apps • above 3rd order Ambisonics, ambix convention • advanced (remote) control features for the encoder • binaural decoder with customizable presets 2 Osaka, 1970 Pischelsdorf (AT), 2011-?? 3 What is Ambisonic(s)? • surround recording and playback technique, Michael Gerzon 1970s • little commercial success so far, patents expired • independent of playback loudspeaker configuration, scaleable • 2D and 3D sound-fields can be synthesized 4 13 2.6 Analytische Simulation der Schallfeldreproduktionsverfahren Die im vorherigen Teil hergeleiteten Ansteuerungsfunktionen für WFS und HOA wurden in MATLAB implementiert. Diese Implementierung dient der Berechnung der Stimuli für den Hörversuch und der Simulation. Für den im Versuch verwendeten Fall einer ebenen Welle aus 0° Richtung werden nun Simulationen der reproduzierten monochromatischen Schallfelder und der Betragsfrequenzgänge für verschiedene Aufpunkte durchgeführt. Diese Positionen sind auch in der Darstellung der Schallfelder als Kreise eingezeichnet und entsprechen den verwendeten Hörpositionen (Center, Front, Side) im Versuch. 2.6.1 Reproduzierte Schallfelder HOA [SA08] 2 2 2 2 2 2 1 1 1 1 1 1 ] ] ] m m m 0 0 0 0 0 0 [ [ [ y y y −1 −1 −1 −1 −1 −1 −2 −2 −2 −2 −2 −2 −2 −1 0 1 2 −2 −1 0 1 2 −2 −1 0 1 2 x [m] x [m] x [m] (a) HOA 56 500Hz (b) HOA 28 500Hz (c) HOA 14 500Hz 2 2 2 2 2 2 What is Ambisonic(s)? 1 1 1 1 1 1 ] ] ] m m m 0 0 0 0 0 0 • [ [ [ not usinyg phantom sources (VBAPy, DBAP) y −1 −1 −1 −1 −1 −1 • trying to recreate original sound-field in sweet spot −2 −2 −2 −2 −2 −2 −2 −1 0 1 2 −2 −1 0 1 2 −2 −1 0 1 2 x [m] x [m] x [m] (d) HOA 56 1000Hz (e) HOA 28 1000Hz (f) HOA 14 1000Hz 2 2 2 2 2 2 1 1 1 1 1 1 ] ] ] m m m 0 0 0 0 0 0 [ [ [ y y y −1 −1 −1 −1 −1 −1 −2 −2 −2 −2 −2 −2 −2 −1 0 1 2 −2 −1 0 1 2 −2 −1 0 1 2 x [m] x [m] x [m] (g) HOA 56 2000Hz (h) HOA 28 2000Hz (i) HOA 14 2000Hz plane wave from 0° (M. Frank) Abbildung 6: HOA: Schalldruck des reproduziertes Schallfeldes für verschiedenen Lautsprecheranzahlen Vector Based Amplitude Panning (V.Pulkki) und Frequenzen (für den Fall einer virtuellen ebenen Welle aus 0 Richtung) 5 ± Man erkennt deutlich die Bildung eines Sweetspots im Zentrum der Wiedergabeanordnung. Dieser Bereich verkleinert sich mit hohen Frequenzen und geringer Lautsprecheranzahl. Im Bereich der vorderen Hörposition ist die Bildung besonders starker Artefakte erkennbar. 3. Ambisonics 16 x LS1 LS2 LS8 � y LS7 LS3 LS6 LS4 LS5 Abbildung 3.5: reguläre Anordnung von 8 Lautsprechern für 2- dimensionale Wiedergabe What is Ambisonic(s)? Winkelabständen für 2D oder eine Anordnung anhand der fünf platonischen • loudspeaker feeds are a linear combination of the B- Körper für 3D, ergibt sich folgende Enkodierungsvorschrift: format signals (decoder matrix) e.g.: 1 1 p = W ( ) + X (cos � cos ✓ ) + Y (sin � cos ✓ ) + Z (sin ✓ ) j j j j j j L · p2 · · · � (3.12) Dabei ist (� , ✓ ) die Position des j-ten Lautsprechers. L stellt die Anzahl • j j x ALL speakers work together der Ambisonics Kanäle dar. Für eine 2-dimensionale Wiedergabe kann der Zt-Koa snyalnvtehrneascihzläes stightew esrodeunn. d-field LS1 LS2 LS8 3.3 Higher Order Ambisonics (HOA) φ LS7 LS3 y Ambisonics erster Ordnung bietet nur eine beschränke Genauigkeit in der Abbildung und Reproduktion von Schallfeldern. Anfang der 1990er Jahre LS6 wurde gezeigt, dass der Ambisonics Ansatz auf höhere Ordnungen erweitLSe4rt werden kann. Dies führt zu einer Verbesserung in der Richtungsabbildung LS5 2 und zu einer Vergrößerung des Sweetspots . Eine Herleitung für den Higher Order Ambisonics Ansatz, welcher in einer Reihenentwicklung in Sphärische HarmoRneigsuchlaer (2ADb blo.u3d.s6p)eraekseurlt pielratc,ement B-Format (1st order Ambisonics) 6 kann in [10], [33], [25] und [45] gefunden werden. 2 Der Sweetspot bezeichnet einen Raumbereich, indem das Schallfeld optimal reprodu- ziert werden kann und somit die Richtungsabbildung am besten funktioniert. What is Ambisonic(s)? sound field is “sampled” using spherical harmonics: 2D: 2N+1 or 3D: (N+1)^2 0th order (W) 1st order (Y, Z, X) 2nd order 3rd order 4th order 5th order Spherical harmonics up to 5th order 3D 7 Ambisonics production chain mic. calibration data rotation, Loudspeaker configuration Ambisonics MicEnc zoom Microphone Mono Sound N Encoder L L Manipulation Ambisonics Source Loudspeaker signals (optional) Decoder Mono Sound Encoder Source azimuth, elevation N L � Independent from Loudspeaker configuration 2 L = (M + 1) 3D L = 2M + 1 2D M… Ambisonics Order L… Number of Ambisonics Channels N… Number of Loudspeakers overview of an Ambisonics production/playback system 8 Problems with existing solutions • DAWs handling high channel count - Ardour and Reaper • operating system compatibility (Win, Mac OS, Linux) and plug-in standards (VST, AU, AAX, RTAS, LV2, LADSPA) • listening/producing at “home”? • jumps in angular representation between -180° and 180° • keeping track of the sound source positions • different standards about channel sequence and normalization, restricted orders 9 Channel sequence m Y (', #) n n2 + n + m FuMa n m ACN SID * W 0 0 0 0 0th X 1 -1 1 1 Ist Y 1 0 2 2 Z 1 1 3 3 R 2 -2 4 4 2nd S 2 -1 5 5 T 2 0 6 6 U 2 1 7 7 V 2 2 8 8 3rd ... 10 * Single Index Designation