„The Future Is Us“ des Künstler:Innen-Kollektives VR Dance Club ist eine “interaktive[], partizipative[] Audio-Tanz-Performance für jeweils 30 Besucher:innen, die politische Haltungen, Künstliche Intelligenz und die Konstruktion von Wirklichkeit künstlerisch erforscht. Über Kopfhörer und in einem Kreislauf aus Hören, Sehen, Bewegung und Positionierung begegnen sich die Besucher:innen – ohne zu wissen, was die anderen antreibt.” (Quelle: https://vrdanceclub.de/de/save-the-date-19th-20th-december-2025-the-future-is-us/)
Hintergrund & Technische Anforderungen
Die Besucher:innen erhalten Funkkopfhörer, dem einer von drei parallel laufenden Audiokanälen zugewiesen ist (vergleichbar mit dem Prinzip einer Silent Disco). Anders als in Silent Discos sind diese Kanäle aber nicht wechselbar, sodass jede Person Teil einer festen Gruppe ist. Dabei haben die Besucher:innen keine Kenntnis darüber, dass es unterschiedliche Gruppen gibt. Auf den Kopfhörern werden verschiedene gesprochene Audio-Cues abgespielt mit Anweisungen, auf die die Besucher:innen reagieren sollen (z.B. Beispiel für einen Cue?).
Indem die einzelnen Gruppen unterschiedliche Anweisungen erhalten, positionieren sich die Besucher:innen auch anders zu bestimmten Themen. Dadurch entstehen zwangsläufig Gruppendynamiken. Die Auswahl des nächsten Audio-Cues ist an einigen Stellen außerdem davon abhängig, wie sich eine Gruppe mehrheitlich positioniert. Die Performance läuft also nicht immer gleich linear ab, sondern verzweigt sich interaktiv und ist damit bei jedem Durchlauf neuartig.
Erste Prototyp-Entwicklung
Das KoLab konzipierte gemeinsam mit dem Kollektiv die technische Umsetzung der Steuerung der Audio Cues, des Motion Trackings und der Implementierung eines live steuerbaren Web-Interfaces.
Für die erste Probenphase in der Tanzfaktur Köln wurde in Max/MSP und p5.js ein Prototyp entwickelt, mit dem sich für jede Gruppe verschiedene vorproduzierte Audio-Cues mit gesprochenen Anweisungen triggern ließen. Der Prototyp strukturierte den Ablauf der Performance in eine Baumstruktur, bei der jeder Knotenpunkt (Node) sich beliebig oft verzweigen konnte. Der Ablauf der Performance ist demnach als ein Traversieren des Baumes mit mehreren Ebenen implementiert.
Jedem Node wurde dabei in Max/MSP mit Hilfe von dictionaries ein Audio-Cue zugewiesen. Um Übersicht zu gewährleisten, wurde sich dabei auf ein Benennungs-Schema für die einzelnen Nodes geeinigt. Wird ein neuer Node getriggert, sendet p5.js einen Steuerbefehl mit dem Namen des Nodes per Websockets/OSC an Max/MSP. Das entsprechende Sample kann über diesen Namen im dictionary abgerufen werden.
Motion-Tracking
Für das Motion-Tracking wurde ein System entwickelt, das abhängig von den Positionen und den Bewegungen der Besucher:innen, Sounds und andere Daten interaktiv kontrolliert.
Für die erste Probenphase wurde zunächst ein Machine Learning System getestet. Die technische Herausforderung bestand aber darin, ein individuelles Bewegungstracking für jede Person zu implementieren. Dafür wurde ein Bewegungstracking auf Grundlage von Farberkennung konzipiert: Jede Person erhiellt während der Performance einen farbigen Marker (z.B. ein farbiges Kleidungsstück) und der Raum wurde in ein Gitternetz unterteilt. Die Position der einzenlen Besucher:innen ließ sich dadurch über eine einfache Farberkennung innerhalb der einzelnen Zellen verfolgen. Diese Positionsdaten wurden schließlich über ein lokales Netzwerk zur Weiterverabeitung gesendet.
Im Zuge der Proben wurde außerdem mit dem Trainieren eines Machine-Learning-Modells zur automatischen Erkennung choreografischer Posen experimentiert.
Das Motion-Tracking-System wurde mit JavaScript und p5.js entwickelt.
Web-Interface
Als zentrales Steuerungssystem, an dem Motion-Tracking-Daten zusammenlaufen, Audio-Cues getriggert werden, die Reihenfolge der Nodes und die allgemeine Baumstruktur strukturiert werden etc., entwickelte Tobias Kopka schließlich ein Browserbasiertes Interface, das per Websockets/OSC mit dem Motion-Tracking-System in p5.js und dem Audiosystem in Max/MSP kommuniziert. Um das System möglichst offen zur Weiterenticklung zu halten, unterstützte Lennart Melzer bei der Programmierung.
Musik
Die kompositorische Arbeit sollte die narrative Ebene unterstützen und stimmungs- und bewegungslenkend sein. Die Musik changiert dabei zwischen Zuständen von Alarmbereitschaft und Insichgekehrtsein. Das klangliche Material wurde ausschließlich digital gewonnen und weckt Assoziationen zu technischen Geräten, Signalen und Informationsfluss. Zusätzlich wurden Fragmente der KI-generierten Erzählstimme verwendet, um die direkte Verbindung der unterschiedlichen auditiven Ebenen zu verstärken.
Um Musikwechsel fließend zu gestalten, wurde ein Fading-System in Max/MSP gebaut. Bei Zustandsübergängen werden per OSC Trigger an das Patch gesendet, mit der Information, welche Musik aus- und welche eingefadet werden soll.
Credits:
VR Dance Club: Anna-Carolin Weber, Tobias Kopka, Max Kolb
KoLab: Florencia Alonso, Fabian Bentrup, Laurin Bürmann, Lennart Melzer, Michael Nguyen