PRESENT PARADOX & EEPH, JANI X KOLAB

Für die Museumsnacht 2023 kooperierten das StoryLab kiU und das Koproduktionslabor mit den Musiker*innen Present Paradox, Jani und EEPH, um ein audioreaktive Fassaden Mapping zu kreieren. In diesem Jahr war das Thema des Projection Mappings Künstliche Intelligenz, unter der Frage “What is Human?“ .

Künstliche Intelligenzen sind größtenteils „Black Boxen“, die Teile unseres Lebens automatisieren, ohne dass wir – als Gesellschaft – vollends verstehen, wie sie funktionieren. Eine der Kernfragen drehte sich darum, ob und wenn ja inwieweit Künstliche Intelligenz menschliches Fühlen imitieren oder sogar erleben kann. Inwieweit sind die heutigen Künstlichen Intelligenzen ein Spiegelbild des Menschen und was lernen wir durch sie, um uns der Beantwortung der Frage “What is Human?“ zu nähern.

In diesem Zusammenhang erarbeitete das Team mit den Musiker*innen ein audiovisuelles Liveset. Die Musiker selektierten zur Thematik passende Musikstücke, welche vom Team des Labors visuell untermalt wurden. Die Stimmung des Stücks und das Thema Künstliche Intelligenz wurde in abstrakten Bildern aufgegriffen, welche zum Teil selbst von einer Bildgenerierungs KI erschaffen wurden.

Mit einer Standbilder Sammlung der letzten Projection Mappings am Dortmunder U trainierte er ein eigenes Stable Diffusion Model, um damit KI generierte Bilder zu erzeugen. Durch diese Model konnten unter anderem Animation erzeugt werden, die entweder von der KI entsprechend des Trainings selbst interpretiert wurden oder als eine Stilvorlage auf ein bereits bestehendes Video angewendet werden konnte. Weitere Visuals wurden mit Cinema 4D gerendert, in dem die MoGraph Effektoren und das Plug-In xParticles für abstrakte Animationen genutzt wurde.

Die Form, Farbe und Geschwindigkeit der Visuals passte sich dem musikalischen Rhythmus an und wurden mit Visuals aus Max/MSP Jitter in Resolume Arena gemixt, um manuell entscheiden zu können, zu welcher musikalischen Passage, welche Visualität am besten passt. Die Max/MSP Visuals und deren Live Ausspielung wurde von Fabian Bentrup vom storyLab kiU übernommen. Hierdurch entstand ein Live-Zusammenspiel von zwei Visual Artists, die ihre visuelle Interpretation der Musik inszenierten. Die Fassade schien eins zu werden mit der Performance der Musiker. Die Einspielung der Perfomance erfolgte über zwei Interfaces, die direkt an den Input der Musiker angeschlossen waren. Mittels NDI wurde der Input aus Max/MSP in Resolume eingeschleust. In Resolume Arena wurden die Visuals per FFT Gain (ermittelt die Amplitude eines bestimmten Frequenzbandes oder -bereichs) gesteuert.