skulptur 1 – sediment interaktive panoramische projektion
nach oben
intro umsetzung beteiligte
english nächste Seite

Das ZKM PanoramaLabor verfügt über eine Panoramaleinwand mit ca. 6m Duchmesser und ca. 2,16m Höhe. 6 Projektoren und 16 Lautsprecher sind an Decke und Wänden installiert, acht Lautsprecher unterhalb und acht oberhalb der Leinwand. Ich konnte mich mit meiner Programmierung in die vorhandene Abspielsoftware des ZKM PanoramaLabors einklinken.

Die Bewegung der Fackel wird mit dem selben Motion-Tracking-System verfolgt, das ich erstmals bei Der Klang der Dinge eingesetzt habe. Die virtuelle Fackel selbst besteht aus einem Kunststoffrohr mit 3D-gedruckten Endstücken, das mit grobem Leinen umwickelt ist. In die Spitze der Fackel ist eine akkubetriebene Infrarot-LED eingearbeitet.

Acht Infrarotkameras oberhalb der Projektionsleinwand verfolgen die Bewegungen der Fackelspitze und bestimmen ihre 3D-Position in Relation zur gekrümmten Leinwand. Die genaue Position wird mit Hilfe paarweise kalibrierter Kameras und stereoskopischer Algorithmen berechnet.

An der Stelle der Fackelspitze wird im virtuellen Raum eine Lichtquelle simuliert. Das unscharf gestellte Video einer Kerzenflamme bildet dabei als Umgebungstextur (engl. environment map) die Grundlage für Farbe, Flackern und Tanzen des virtuellen Lichts.

Sediment - Die virtuelle Fackel

Um die 3D-Figuren aufzunehmen befestigte ich eine Kinect 3D-Kamera auf einem kleinen motorisierten Schlitten. Ich ließ die Kamera langsam vor und zurück gleiten, um möglichst genaue Tiefenmessungen aus mehreren Aufnahmen zu mitteln. Die einzelnen Skulpturen mussten nach der 3D-Aufnahme größtenteils von Hand freigestellt werden, bevor sie neu zusammengefügt werden konnten.

Als Grundlage für die Collage dient eine Höhenkarte (engl. heightmap), ein Bild in dem nahe Objekte als helle Bildpunkte, weiter entfernte Objekte als dunkle Bildpunkte codiert sind (siehe Abblidung unten). Für die Tiefeninformation reichen die normalerweise für Texturen verwendeten 8 bit, also 256 Helligkeitswerte, nicht aus, weshalb ich die gesamte Collage in 16 bit Auflösung bearbeitet habe.

Sediment - Beispiel einer Höhenkarte

Weiter entfernte Figuren sind in der Collage nicht nur dunkler sondern auch etwas kleiner dargestellt, um einen perspektivischen Effekt anzudeuten.

Ich habe während der Entwicklung der Arbeit insbesondere die Zusammensetzung und Struktur von Stein sowie die Reflexion von Kerzenlicht an einer Höhlenwand studiert. Vom Zentrum aus wird das Licht der Kerze zum Beispiel nicht nur dunkler, sondern wirkt auch blasser und bläulicher als der in warme Farben getauchte zentrale Bereich. Offensichtlich ist ab einem bestimmten Abstand nicht mehr genug Helligkeit für das Farbsehen vorhanden.

Sediment - Beleuchtungsmodell (Detail)

Das technische Herzstück der Arbeit ist ein sogenannter Shader, eine Routine, die auf den Grafikkarten des Projektionsrechners für jeden der ca. 8192x1024 effektiven Bildpunkte ausgeführt wird. Der Shader bestimmt in diesem Fall Licht und Schattenwurf aufgrund der relativen Lichtposition und Oberflächenbeschaffenheit.

Der Schattenwurf wird pro Bildpunkt durch einen sogenannten Schattenfühler berechnet. Der Schattenfühler ist ein Strahl von einem Punkt auf der Oberfläche zur Lichtquelle. Befindet sich auf diesem Strahl ein Objekt, welches das Licht der Quelle verdeckt, so befindet sich der Punkt auf der Oberfläche im Schatten.

Neben Variationen in Grundfarbe und Glanz des Steins gehört noch ein besonderer Wert zur Lichtberechnung, der die empfundene Tiefe der Fackel im Bezug zu den Objekten verändert und durch den auch sehr weit hinten liegende Gegenstände noch ausreichend ausgeleuchtet werden können.

Wie oben beschrieben nimmt die Farbigkeit des Lichts mit zunehmendem Abstand von der Lichtquelle ab. Ähnliches tut sich im Klang. Je tiefer man in eine Höhle vordringt, desto stärker werden die hohen Frequenzen der Außengeräusche herausgefiltert. Es bleiben schließlich nur noch tiefe Frequenzen und Resonanzen des Höhlenraums übrig – eine Art tiefes Summen, das schließlich als Inspiration für den Klang der Installation diente.

Sediment - Akustisches Spektrogramm einer Höhlenaufnahme

Oben im Bild das Spektrogramm der Audioaufnahme einer Höhle an einem Regentag. Die Zeitachse verläuft von links nach rechts, die Frequenzen von unten nach oben. Die abnehmenden Höhen sind als heller Bereich oben deutlich zu sehen, ebenso wie die Resonanzfrequenzen als dunkle horizontale Bänder weiter unten. Geräusche bremsender und wieder anfahrender Autos sind nur in den tiefen Frequenzen als abwärts und aufwärts strebende Linien erhalten geblieben, ganz rechts befindet sich der Klang eines rasselnden Zugs, der in einiger Entfernung vorbeifährt. Die vertikalen Striche in den oberen Frequenzen sind Wassertropfen innerhalb der Höhle.

Sediment (Detail)

Das Motion-Tracking, die Bild- und die Klangberechnungen laufen als vernetzte Prozesse und lassen sich je nach verfügbarer Rechenkapazität auf bis zu drei Computer verteilen.

Letztlich bleibt die Arbeit eine Illusion aus Licht, Klang und ein wenig Mathematik. Ich hoffe, dass diese Details zur Entstehung für den ein oder anderen ebenfalls erhellend waren.

nach oben
intro umsetzung beteiligte
english nächste Seite