interaktive projektionen
nach oben
intro umsetzung beteiligte
english nächste Seite

Seit der Premiere von KÀ sind fast zehn Jahre vergangen, also habe ich mich entschlossen, mehr Informationen über die Technologie herauszugeben, die die Projektionen der Show antreibt. Ich schätze, dass inzwischen viele herausgefunden haben, wie die Prozesse zu bewältigen sind und dass sie inzwischen jedem offen stehen sollten. Warnung: Es wird sehr technisch. Im folgenden Text finden sich einige bisher unveröffentlichte Informationen zu den technischen Aspekten der Show.

das rotierende sand cliff deck

Hauptbühne / Projektionsmapping

Eine Besonderheit des Systems ist das sogenannte Projektionsmapping auf eine in mehreren Freiheitsgraden bewegliche Bühne. Die Bilder bewegen sich mit der ca. 8x15m (25'x50') großen Hauptbühne, fast als wären sie aufgemalt. Licht- und Schattenwurf einer projizierten Steinoberfläche werden dabei z.B. in Echtzeit je nach Bühnenposition berechnet und auch eine interaktive Wasseroberfläche folgt den Bewegungen der Bühne in Echtzeit.

künstliche Steinoberfläche (2012)

Hierzu wurden die Bühne, genannt Sand Cliff Deck, und weitere Teile des Theaters maßstabsgetreu im Computer nachgebildet. Die Position der realen Bühne wird durch Sensoren der Bühnenautomation erfasst und steuert ein virtuelles Gegenstück. Zusätzlich zur realen Hauptbühne gibt es also eine virtuelle Bühne im Rechner, die sich genau so bewegt wie das Original.

Um das Projektionsmapping zu realisieren, musste ich nun im virtuellen Raum für jeden Projektor eine virtuelle Kamera aufstellen. Die Optik der virtuellen Kamera muss der realen Projektoroptik exakt entsprechen. Projiziert man nun das Bild, das die virtuelle Kamera von der virtuellen Bühne filmt, fallen alle Pixel an ihren Platz und es sieht so aus als ob das, was man auf der virtuellen Bühne darstellt, auf der realen Bühne passieren würde.

Die größte Aufgabe war, die Mathematik zur Berechnung der Kamera Projektionsmatrix nur durch Angabe einer relativ kleinen Anzahl von Referenzpunkten im Theater zu lösen. Im ersten Ansatz ruckelte das Bild und reagierte verspätet auf die Bühnenbewegungen. Jedes interaktive Projektionssystem hat mit der Latenz, also der Zeitverzögerung zwischen Sensoreingabe und Bildausgabe und gegebenenfalls der Senderate der Sensoren zu kämpfen. In unserem Fall traf beides zu. Die Lösung war schließlich, mittels eines Kalman-Filters die Position der Bühne einige Millisekunden in die Zukunft vorherzusagen und dabei zu glätten.

Projektionstest auf dem sand cliff deck (2012)

Für die physikalische Projektion werden drei überlagerte DLP Projektoren für alle Bilder verwendet; ein Prozess bekannt als "stacking". Um die Bilder aller drei Projektoren im dreidimensionalen Raum genau auf einem Punkt der beweglichen Bühne zu konvergieren, muss jeder Projektor das zu projizierende Bild ein wenig anders verzerren. Eine gewisse Unschärfe in der Tiefe bleibt, da die Projektoren technisch bedingt nur in einer Ebene parallel zur Linse ganz scharf abbilden können.

Die Vorbühne wurde in der Projektionssoftware als dreidimensionale schwarze Maske programmiert, damit keine Projektion auf sie fällt. Das Schwarz von DLP-Projektoren ist darüber hinaus nie ganz schwarz sondern eher ein dunkles Grau, sogenanntes "video black". Um die Kante des rechteckigen Projektionsbereichs in sehr dunklen Szenen zu kaschieren, wurden steuerbare Irisblenden vor den Projektoren befestigt. Sie können graduell geschlossen werden, um an den Rändern des Bildes das Grau weich in Schwarz überblenden, oder vollständig geschlossen werden, wenn kein Bild projiziert wird.

Interaktivität / Sensoren

Dank des kanadischen Erfinders Philippe Jean von Les Ateliers Numériques sind im Boden der beweglichen Bühne Kapazitätssensoren eingelassen worden. Dadurch wird die gesamte Bühne, vereinfacht gesagt, zu einem großen, berührungssensitiven Display. Interaktionen der Akrobaten mit der Bühnenoberfläche sind also möglich – am Besten zu sehen bei der Interaktionen der Füße und des Körpers der Akrobaten mit der künstlichen Wasseroberfläche.

Projektionstest der interactiven Wasseroberfläche  (2012)

Eine Infrarotkamera, die nahes Infrarot filmt, wurde für die Unterwasserszene und die Lianen des Waldes zur Interaktionssteuerung eingesetzt. Zur Beleuchtung der Akrobaten sind hier Infrarotscheinwerfer im Theater platziert, deren Licht für das Publikum unsichtbar ist. Die Interaktion wird so unabhängig vom eingesetzten Bühnenlicht. Selbst bei Dunkelheit ist im Kamerabild alles zu sehen und die Interaktion funktioniert weiterhin.

Die Eingangsbilder der Kamera müssen so verzerrt werden, dass sie mit dem projizierten Bild zusammenfallen. Dies ist notwendig, da sich Positionen und Optiken der Infrarotkamera und Projektoren unterscheiden. So lösen Bewegungen im Kamerabild eine Reaktion an der richtigen Stelle der Projektion aus. Dichromatische Filter vor den Verfolgerscheinwerfern werden eingesetzt, um ihren Infrarotanteil zu eliminieren, so dass sie keine zusätzlichen Interaktionen auslösen.

Ein Lyapunov-Fraktal, die Inspiration zu den leuchtenden Lianen

Algorithmische Bilder und Physik

Ausdrucksmittel meiner Arbeiten sind fast ausschließlich Algorithmen und Simulationen. Im Prinzip kann durch die Interaktion jedes Verhalten der Simulation und jeder Parameter im Erscheinungsbild gesteuert werden. Oft steht für mich dabei nicht das einzelne Bild im Vordergrund sondern vielmehr das Verhalten des Bildes in der Zeit.

Hinter den physikalischen Simulationen der Bilder liegen Mathematische Konstrukte. Grundlegende mathematische Repräsentationen der Bilder, in der aktualisierten Show von 2012, sind:

  • Ein Partikelsystem für den Pfeilhagel
  • Mehrere Schichten von Dichtefeldern für die Gewitterwolken
  • Audioanalyse von Donnergeräuschen für die Blitze
  • Gespiegelte Sinusschwingungen für die Meereswellen
  • Partikel und 2.5D Reflexionsberechnungen für die Luftblasen
  • Überlagerte, verzerrte und in Echtzeit beleuchtete Fraktale für Stein und Eis
  • Ketten von Sprungfedern für die Lianen
  • Felder von Sprungfedern und Lichtbrechung für die Wasseroberfläche
Konnektivität

Eine enge Verzahnung mit anderen Systemen im Theater, bekannt als "show control", erhöht die Präsenz der Bilder und der mit ihnen verbundenen Elemente. Zum Beispiel triggern Donner der Klangabteilung Blitze in den Sturmwolken. Und die Bewegungen von Akrobaten unter Wasser erzeugen virtuelle Luftblasen und lösen korrespondierende Unterwasserklänge aus. Im schematischen Diagramm unten sind die wesentlichen, miteinander verbundenen Komponenten des Projektionssystems zu sehen.

Das Projektionssystem 2012

Gesteuert wird das Projektionssystem durch ein Lichtpult. Alle essentiellen Elemente des Systems – Kameras, Lichtpult, Projektionscomputer und Projektoren – sind mehrfach vorhanden und so gegen einem Totalausfall abgesichert. Für die Computer existiert eine automatische Failover-Schaltung. Sollte also ein System ausfallen oder einfrieren, übernimmt das Reservesystem automatisch. Zu jedem Zeitpunkt kann der Konsolenoperator auch manuell auf die Reservesysteme schalten, sollte dies einmal notwendig sein.

Für noch mehr Informationen über die technischen Hintergründe der Show möchte ich auf den sehr kompetenten und umfassenden englischen Artikel von John Huntington und den neueren Artikel von Davin Gaddy zur Überarbeitung von 2012 verweisen.

nach oben
intro umsetzung beteiligte
english nächste Seite