miRatio – eine musikalische Traumreise in wundersamen Räumen​

Jens Fischer spielt live zusammen mit Musiker:innen, die in Videos in der Kuppel des Kieler Mediendoms zu sehen sind.

Die virtuelle Kamera schwebt durch surreale Räume mit außergewöhnlichen Perspektiven und optischen Täuschungen.
Ein Konzert in 360° mit einem dreidimensionalen Sound aus 64 Lautsprechern.

„miRatio“ bedeutet „Verwunderung“ 😉

 

Live:
Jens Fischer – Gitarren
in Videos:
Jens Schliecker – Piano
Katie Zahn – Querflöte
Pirkko Langer – Cello
Friedrich Paravicini – Cello, Bass, Ondes Martenot
Nils Rohwer – Marimbaphon
Lucas Kochbeck – Schlagzeug

Jens Fischer – Künstlerische Leitung, Komposition, Musikproduktion
Bob Weber – Bildkonzept, 3D-Animation, Compositing
Marko Herrmann – Compositing, 3D-Audiotechnik
Markus Schack – 3D-Audiotechnik, Software-Entwicklung
Linn Marx – Videoproduktion
Eduard Thomas – Herstellungsleitung
Eine Produktion des Mediendoms der Fachhochschule Kiel
ermöglicht durch die „Stiftungen der Förde Sparkasse“ und den „Kieler Planetarium e. V.“

Jens Fischer

Jens Fischer

Pirkko Langer

Pirkko Langer

Jens Schliecker

Katie Zahn

Friedrich Paravicini

Friedrich Paravicini

Nils Rohwer

Lucas Kochbeck

„making of“

Die virtuelle Kulisse des Konzerts kreierte der Kieler Multimedia-Producer und 3D-Grafikdesigner Bob Weber. Er konzipierte für jedes Musikstück zunächst einen eigenen Raum und baute ihn in einem 3D-Programm virtuell auf. Räume und Gegenstände wurden modelliert und ihre Oberflächen so gestaltet, dass sie aussehen, als seien sie aus unterschiedlichen Materialien wie Holz, Metall oder Stoff.

Leere 3D-Flächen dienten als Platzhalter, wo später in der virtuellen Kulisse die Musiker zu sehen sein sollten.

Sobald alle Elemente an ihrem Platz waren, wurden virtuelle Lichtquellen installiert und es folgte die Animation sich bewegender Objekte sowie der virtuellen Kamera.

Das Resultat wurde durch den Blick einer virtuellen Fisheye-Linse modifiziert und schließlich Bild für Bild im runden Fulldome-Format für die Kuppel gerendert. Um einen funktionierenden Bildfluss zu erhalten, sind für jede Sekunde 30 solcher Bilder nötig.

Die Positionen der 3D-Flächen für die Musiker können im Verhältnis zur virtuellen Kamera berechnet werden. Mit Hilfe einer im Mediendom entwickelten Software können diese Daten verwendet werden, um den Klang der einzelnen Instrumente exakt an der entsprechenden Stelle in der Kuppel zu platzieren.

Parallel zu diesem Prozess entstanden die Komposition und Produktion der Musik.

In der Partitur wurde jeder Ton festgelegt, denn die Musiker mussten ihren Part nicht nur im Tonstudio aufnehmen, sondern auch später im Videodreh synchron zum Playback exakt wiederholen.

Die Musiker-Videos drehte die Fotografin und Filmemacherin Linn Marx auf der Bühne des Lutterbekers.

Im Mediendom wurden diese dann von dem Multimedia-Producer Marko Herrmann an die vorgesehenen Positionen in die virtuelle Kulisse synchron zur Musik eingesetzt und schließlich in einer 4k-Auflösung der finale Fulldomefilm erzeugt.

Erst im Konzert werden Ton und Bild wieder zusammengefügt:

Der Computer, der die Projektion in der Kuppel erzeugt, synchronisiert über einen Timecode eine digitale Audio Workstation, welche die vorproduzierten Tracks der Musiker abspielt und die live gespielte Gitarre von Jens Fischer hinzufügt.

Auf 16 Kanälen gelangt das gesamte Audio-Signal in das Sound-System des Mediendoms und wird über die Matrix der SpatialSound-Wave-Software dynamisch in der Kuppel abgemischt.

Dipl. Inf. Markus Schack, technischer Leiter des Zentrums für Kultur- und Wissenschaftskommunikation der Fachhochschule Kiel, schreibt über die Erfahrungen im Umgang mit externen Audioquellen bei Fulldome-Shows.