Die Idee zu Skulptur 1 - Sediment entstand unter dem Eindruck alter Tempelreliefs aus Thailand und Kambodscha. Die abgebildeten Gottheiten, Tänzerinnen, sagenhaften Tiere und Figuren der Geschichte haben mich nachhaltig beschäftigt und bewegt. Ein Relief lebensgroßer Figuren auf der langgezogenen Leinwand eines Panoramas zu zeigen, lag für mich deshalb sehr nah.

In der Arbeit an KÀ habe ich virtuelles Licht zum ersten Mal eingesetzt. In einer Szene projiziere ich eine Steinlandschaft auf die Bühne. Die Bühne bewegt sich und der Stein wird gemäß einer virtuellen Lichtquelle beleuchtet. Fast zehn Jahre später habe ich nun den entgegengesetzten Weg gewählt. Der Betrachter trägt eine Fackel mit virtuellem Licht. Die Bewegungen dieser Fackel tauchen ein virtuelles Relief von Steinfiguren in Licht und Schatten. Durch die Bewegung des Lichts wird die Körperlichkeit der Figuren erfahrbar.

Ich habe versucht, mit dem zu arbeiten, was man nicht sieht. Der Betrachter entscheidet, worauf das eng begrenzte Licht der Fackel fällt und was im Dunkeln bleibt. Zum einen leuchtet die Fackel nur einen kleinen Teil der Figuren und ihrer Beziehungen zueinander aus. Man sieht also nie das gesamte Bild. Zum anderen offenbart das Licht der Fackel den Blick des Betrachters, der nicht mehr unbehelligt auf einem Gegenstand ruhen kann. Andere Personen im Raum sehen, wohin das Licht fällt und welchen Weg es nimmt. Durch das, was ausgespart wird, sieht man auch, was verdeckt bleiben soll.

Die Posen der Figuren entstanden in zwei getrennten Sitzungen mit einem männlichen und einem weiblichen Aktmodell. Beide wurden durch eine 3D-Kamera in verschiedenen Momentaufnahmen festgehalten. Die meisten Körperhaltungen ergaben sich aus gemeinsamen Improvisationen zu vorher stichwortartig niedergeschriebenen Gefühlen und Handlungen und aus der Antizipation eines Partners oder Gegenübers, den es zu dem Zeitpunkt noch nicht gab. Erst durch die nachfolgende Collage der skulpturalen Aufnahmen entstand die letztendliche Beziehung der Figuren untereinander und miteinander.

Die Entstehung der Collage selbst war mehr ein intuitives Erforschen möglicher Wechselwirkungen der Figuren mit ihrer Umgebung als die Umsetzung eines zielgerichteten Konzepts. Tier- und Fabelwesen der Projektion sind dem magischen Denken geschuldet. Es ging mir dabei nicht um eine Darstellung religiöser Inhalte sondern um die Möglichkeit der Verwandlung des Körpers. Die Tieraufnahmen entstanden im Naturkundemuseum Karlsruhe. Der Stein des Hintergrunds ist synthetisch aus fraktalem Rauschen erzeugt. In diese Steinwand wurden Erhebungen und Vertiefungen eingearbeitet um die Figuren zu tragen oder ihnen Raum zu geben.

Die Arbeit erhielt sehr spät ihren Namen. Der Begriff Sediment bezeichnet ursprünglich eine bestimmte Form von Gestein, die aus Erosion und nachträglicher Verfestigung entsteht. Der Begriff steht hier aber auch für bruchstückhafte unbewusste Bilder, die sich im Laufe der Jahre im Unterbewusstsein anlagern und verfestigen können, für die Zusammensetzung eines Gesamtbildes aus bruchstückhaften Einzelteilen.

aufbau

Das ZKM PanoramaLabor verfügt über eine Panoramaleinwand mit ca. 6m Duchmesser und ca. 2,16m Höhe. 6 Projektoren und 16 Lautsprecher sind an Decke und Wänden installiert, acht Lautsprecher unterhalb und acht oberhalb der Leinwand. Ich konnte mich mit meiner Programmierung in die vorhandene Abspielsoftware des ZKM PanoramaLabors einklinken.

Die Bewegung der Fackel wird mit dem selben Motion-Tracking-System verfolgt, das ich erstmals bei Der Klang der Dinge eingesetzt habe. Die virtuelle Fackel selbst besteht aus einem Kunststoffrohr mit 3D-gedruckten Endstücken, das mit grobem Leinen umwickelt ist. In die Spitze der Fackel ist eine akkubetriebene Infrarot-LED eingearbeitet.

Acht Infrarotkameras oberhalb der Projektionsleinwand verfolgen die Bewegungen der Fackelspitze und bestimmen ihre 3D-Position in Relation zur gekrümmten Leinwand. Die genaue Position wird mit Hilfe paarweise kalibrierter Kameras und stereoskopischer Algorithmen berechnet.

An der Stelle der Fackelspitze wird im virtuellen Raum eine Lichtquelle simuliert. Das unscharf gestellte Video einer Kerzenflamme bildet dabei als Umgebungstextur (engl. environment map) die Grundlage für Farbe, Flackern und Tanzen des virtuellen Lichts.

das relief

Um die 3D-Figuren aufzunehmen befestigte ich eine Kinect 3D-Kamera auf einem kleinen motorisierten Schlitten. Ich ließ die Kamera langsam vor und zurück gleiten, um möglichst genaue Tiefenmessungen aus mehreren Aufnahmen zu mitteln. Die einzelnen Skulpturen mussten nach der 3D-Aufnahme größtenteils von Hand freigestellt werden, bevor sie neu zusammengefügt werden konnten.

Als Grundlage für die Collage dient eine Höhenkarte (engl. heightmap), ein Bild in dem nahe Objekte als helle Bildpunkte, weiter entfernte Objekte als dunkle Bildpunkte codiert sind (siehe Abblidung unten). Für die Tiefeninformation reichen die normalerweise für Texturen verwendeten 8 bit, also 256 Helligkeitswerte, nicht aus, weshalb ich die gesamte Collage in 16 bit Auflösung bearbeitet habe.

Weiter entfernte Figuren sind in der Collage nicht nur dunkler sondern auch etwas kleiner dargestellt, um einen perspektivischen Effekt anzudeuten.

Ich habe während der Entwicklung der Arbeit insbesondere die Zusammensetzung und Struktur von Stein sowie die Reflexion von Kerzenlicht an einer Höhlenwand studiert. Vom Zentrum aus wird das Licht der Kerze zum Beispiel nicht nur dunkler, sondern wirkt auch blasser und bläulicher als der in warme Farben getauchte zentrale Bereich. Offensichtlich ist ab einem bestimmten Abstand nicht mehr genug Helligkeit für das Farbsehen vorhanden.

licht- und schattenwurf

Das technische Herzstück der Arbeit ist ein sogenannter Shader, eine Routine, die auf den Grafikkarten des Projektionsrechners für jeden der ca. 8192x1024 effektiven Bildpunkte ausgeführt wird. Der Shader bestimmt in diesem Fall Licht und Schattenwurf aufgrund der relativen Lichtposition und Oberflächenbeschaffenheit.

Der Schattenwurf wird pro Bildpunkt durch einen sogenannten Schattenfühler berechnet. Der Schattenfühler ist ein Strahl von einem Punkt auf der Oberfläche zur Lichtquelle. Befindet sich auf diesem Strahl ein Objekt, welches das Licht der Quelle verdeckt, so befindet sich der Punkt auf der Oberfläche im Schatten.

Neben Variationen in Grundfarbe und Glanz des Steins gehört noch ein besonderer Wert zur Lichtberechnung, der die empfundene Tiefe der Fackel im Bezug zu den Objekten verändert und durch den auch sehr weit hinten liegende Gegenstände noch ausreichend ausgeleuchtet werden können.

höhlenklang

Wie oben beschrieben nimmt die Farbigkeit des Lichts mit zunehmendem Abstand von der Lichtquelle ab. ähnliches tut sich im Klang. Je tiefer man in eine Höhle vordringt, desto stärker werden die hohen Frequenzen der Außengeräusche herausgefiltert. Es bleiben schließlich nur noch tiefe Frequenzen und Resonanzen des Höhlenraums übrig – eine Art tiefes Summen, das schließlich als Inspiration für den Klang der Installation diente.

Oben im Bild das Spektrogramm der Audioaufnahme einer Höhle an einem Regentag. Die Zeitachse verläuft von links nach rechts, die Frequenzen von unten nach oben. Die abnehmenden Höhen sind als heller Bereich oben deutlich zu sehen, ebenso wie die Resonanzfrequenzen als dunkle horizontale Bänder weiter unten. Geräusche bremsender und wieder anfahrender Autos sind nur in den tiefen Frequenzen als abwärts und aufwärts strebende Linien erhalten geblieben, ganz rechts befindet sich der Klang eines rasselnden Zugs, der in einiger Entfernung vorbeifährt. Die vertikalen Striche in den oberen Frequenzen sind Wassertropfen innerhalb der Höhle.

Das Motion-Tracking, die Bild- und die Klangberechnungen laufen als vernetzte Prozesse und lassen sich je nach verfügbarer Rechenkapazität auf bis zu drei Computer verteilen.

Letztlich bleibt die Arbeit eine Illusion aus Licht, Klang und ein wenig Mathematik. Ich hoffe, dass diese Details zur Entstehung für den ein oder anderen ebenfalls erhellend waren.

beteiligte

Sculpture 1 - Sediment entwickelte sich zwischen 2011 und 2013. Der erste Prototyp kam wenige Monate nach dem Erscheinen von Microsofts Kinect 3D-Kamera im November 2010 zustande. Die Arbeit wurde 2013 grundlegend überarbeitet und fertiggestellt, inklusive der Verwendung des Motion-Trackers und der Entwicklung des Multikanal-Klangs für die Beyond Ausstellung.

Ich bin allen sehr dankbar, die zu diesem Projekt beigetragen haben, ob wissentlich oder unwissentlich, die meisten davon willentlich:

Besonderen Dank an das Team der Beyond 2013, an Jörg Lemke für den Impuls, jede einzelne Beziehung zu überdenken und seinen Einblick in die Geheimnisse der Zen Gärten, und an Familie Wening für die Möglichkeit, Klang und Licht in der Höhle zu studieren.