der klang der dinge interaktive klanginstallation
nach oben
intro umsetzung beteiligte
english nächste Seite

Zur Verfolgung der Position und Rotation des Kopfhörers verwende ich drei LEDs am Kopfhörer in Verbindung mit acht Infrarot-Kameras und eigener Motion-Tracking-Software. Die USB-Kameras sind nicht synchronisiert. Da es acht Kameras sind, mitteln sich Fehler ausreichend heraus und Verdeckungen sind selten.

Kopfhörer mit drei LEDs

Damit alle Klangquellen an den entsprechenden Stellen im realen Raum auftauchen können, war es notwendig, eine virtuelle Kopie des Tisches mitsamt darauf stehenden Gegenständen im Computer nachzubauen. Reale und virtuelle Elemente wurden danach durch eine Kalibrierungs-Prozedur zur Deckung gebracht. Das Ergebnis ist ein Augmented-Reality Szenario, bei dem die reale Welt mit virtuellen Klängen angereichert wird.

Virtuelle Kopie des echten Tisches

Für den Raumklang über Kopfhörer verwende ich eine Kombination aus Delays, Filtern, akustischer Dämpfung, Hall und sogenannten head-related-transfer-functions (HRTFs). Dadurch scheinen die Klänge von den Objekten selbst zu kommen. Unten ein Flussdiagramm, das die Verarbeitungskette einer einzelnen Klangquelle für ein Ohr zeigt.

Flussdiagramm der Klanggenerierung für ein Ohr

Kopfhörerverfolgung und Klangverarbeitung konnten beide recht einfach parallelisiert werden. Beide könnten wenn nötig auf separaten Computern ausgeführt werden.

Ich habe Punktklangquellen verwendet, allerdings immer mehr als eine Quelle pro Objekt: Die meisten Klänge wurden in Stereo auf dem Tisch selbst aufgenommen. Stereophonie erlaubte es mir einen reicheren Klang zu erzeugen, indem mehr als eine Klangquelle pro Objekt platziert werden konnte. Die Klangquelle auf dem Tisch aufzunehmen stellte sicher, dass die Raumakustik nahe an der Realität lag wenn ein Ohr dem Objekt nahe war.

nach oben
intro umsetzung beteiligte
english nächste Seite