miRatio-Technik

Erfahrungen im Umgang mit externen Audioquellen bei Fulldome-Shows

  • Dipl.-Inf. Markus Schack (Technischer Leiter des Zentrums für Kultur- und Wissenschaftskommunikation der Fachhochschule Kiel)
  • Jens Fischer (Komponist, Musiker)

In unserem Fulldome-Konzert miRatio spielt ein Musiker live zusammen mit Musikern, die in der Kuppel in Videos zu sehen sind.

Die Tracks der Musiker in den Videos werden in einer externen Digitalen Audio Workstation mit dem Signal des Live-Musikers inklusive aller elektronischen Klangeffekte auf 16 Audiokanälen zusammengefasst und an das Audiosystem der Kuppel übertragen. Im Mediendom der Fachhochschule Kiel nutzen wir das SpatialAudio Wave System von Frauenhofer IDMT, das diese 16 Audioquellen während des Konzerts entsprechend in der Kuppel positioniert. D.h. die Musiker, die dort erscheinen, werden exakt an ihren jeweiligen Positionen wahrgenommen.

Der Eindruck einer gemeinsamen Performance gelingt nur überzeugend, wenn Bild und Ton exakt  Frame-genau synchron laufen.
Solange Bild und Ton vom selben System abgespielt werden, ist dies auch bei Fulldome-Shows normal.

Das ändert sich, sobald externe Audiosysteme ins Spiel kommen, die über einen Timecode mit dem Fulldome-Film synchronisiert werden müssen.
Dabei funktioniert das eine System als „Master“ und das andere als „Slave“.

Hierbei ist unbedingt erforderlich, dass der Timecode in jedem der beiden Systeme permanent ausgewertet wird. Systeme, die nur einmal zu Beginn einen Startpunkt aus dem Timecode-Signal auslesen und ab dann frei parallel laufen, sind untauglich.

Das fällt nicht auf, solange der visuelle Inhalt der Planetarium-Shows aus abstrakten und grafischen Bildern besteht. Sobald agierende Menschen (Schauspieler, Musiker) oder Geräusch-synchrone Bilder eine Rolle spielen, ist eine durchgehend Frame-genaue Synchronisation erforderlich.

Der Mediendom in Kiel nutzt als Projektionssystem Digistar 5 von Evans & Sutherland. Bei der Produktion von miRatio hatten wir anfänglich ein Problem mit der Synchronisation.

Die Videos wurden mit einer Framerate von exakt 30 fps gerechnet. Bei der Wiedergabe durch das Fulldomesystem stellten wir fest, dass die Wiedergabe bei ca. 1 Stunde Laufzeit ca. 1,7 Sekunden zu langsam erfolgte.

Insgesamt hat miRatio eine Länge von 100700 Bildern, daraus ergibt sich bei 30 fps eine Länge von 55 Minuten, 56,6 Sekunden.

In seinem Artikel „What’s the difference between 59.94 fps and 60 fps?“ erklärt Ned Soseman die historischen Hintergründe, warum bei der Wiedergabe oft nicht genau 60 fps eingehalten werden.

Danach wäre eine Verzögerung von 1/1000 erklärbar, was bei 100700 Bildern dann 100,7 Bilder wären. Tatsächlich haben wir aber eine Verzögerung von ca. 50 Frames festgestellt, was rund der Hälfte entspricht.

Eine Rückfrage beim Hersteller Evans & Sutherland klärte diesen Umstand auf:
Die Bildwiederholrate der Videoprojektoren ist nicht exakt 60 fps, sondern ganz leicht niedriger. Gibt nun das Fulldomesystem (Digistar 5) sowohl Video als auch Ton wieder, wird das Audiosignal ebenso entsprechend verlangsamt wiedergegeben und dieser Umstand fällt nicht weiter auf.

Da wir aber den Ton extern einspeisen wollten, mussten wir die Wiedergabe des Videos auf genau 30 fps einstellen. Dieses war möglich, da im Digistarsystem die Synchronisation auf die tatsächliche Wiederholrate der Projektoren abgeschaltet werden konnte („system useVSyncClock off“).

Damit läuft miRatio nun fehlerfrei bildsynchron, man kann die Show anhalten, in der Timeline springen, wieder starten und Bild und Ton bleiben weiterhin synchron.

Im Mai 2017 führten wir miRatio beim Fulldome-Festival in Jena auf. Dort wird das Powerdome Projektionssystem von Zeiss eingesetzt, das sich nur einmal beim Start der Show synchronisierte. Ab dann liefen Bild und Ton deutlich auseinander und wir mussten das Konzert sechs mal unterbrechen, um den sich kontinuierlich vergrößernden Zeitversatz zu korrigieren.

Noch ein Hinweis zur Vernetzung digitaler Audioquellen:
Es ist zu empfehlen, alle in einem Verbund beteiligten Geräte sternförmig über BNC-Verbindungen von einem externen Wordclock-Master synchronisieren zu lassen. So ist gewährleistet, dass die Sampling-Frequenz von z.B. 48 KHz überall exakt synchron ist und unangenehme digitale Störgeräusche vermieden werden.