Am 04.02.24 wurde im Koproduktionslabor ein rund sechsstündiger Virtual Production Livestream in Zusammenarbeit mit dem Dortmunder DJ Kollektiv TC Radio realisiert.
Setup im Multifunktionsstudio
Das Team nutzte die Möglichkeiten des Multifunktions Studio und fungierte es zu einem Virtual Production Studio um. Hierfür wurde ein HTC Vive Tracking System installiert, welches ebenfalls zum Verorten eines HTC Vive Pro Headsets genutzt wird. Es wurden zwei Basisstationen in der Traverse verbaut und ein Bewegungsraum definiert. Als Erweiterung des Vive Headset Systems nutzte das Team Vive Tracker, die separat installiert werden können. Der verstellbare Greenscreen wurde gespannt, sowie ein grüner Tanzboden ausgerollt. Das zuvor installierte Lichtsetup aus sechs Aputure Nova P300 C wurde um sechs Aster Titan Cubes erweitert und mittels eines DMX auf ArtNet Wandlers an den PC angeschlossen. Vier der sechs Aputure Nova P300 C wurden zur gleichmäßigen Ausleuchtung des Greenscreens mittels Softboxen genutzt. Die Titan Tubes wurden vor den Aputures, über dem DJ Pult, ringförmig montiert. Die Überigen zwei Aputures wurden als Effektleuchten für die Protagonisten rechts und links von dem Pult installiert.
Auf dem ersten Computer wurde die Unreal Engine 5.0.3. inklusive Livelink (Tracker) und DMX Plugin installiert. Eine digitale Kamera wurde in der Unreal Engine erstellt und die Positionsdaten durch die Daten des Vive Trackers bestimmt, welcher auf eine Black Magic Pocket Cinema Camera 6k G2 montiert wurde. Diese Kamera gab das Realbild aus und wurde auf einem DJI Ronin RS3 Pro montiert, um die Bewegungen zu stabilisieren. Die Bewegungen der realen Kamera und die Bewegungen der virtuellen Kamera waren damit identisch. Durch die Unreal Engine wurden die digitalen Welten hinter den Künstler*innen generiert.
Mittels eines Blackmagic Atem Mini (Capture Card) wurde der 16:9 Output aus Unreal Engine auf einen zweiten Computer übertragen. An diesem Computer liefen das Realbild der Kamera und das virtuelle Bild der Unreal Engine zusammen. Die beiden Inputs wurden in der Open Broadcaster Software (OBS) gemixt und der Greenscreen mittels eines Luma Keys entfernt. Dadurch wirkte es als würden sich die Künstler*innen in der digitalen Welt bewegen, weil sich die Kamera in der digitalen Welt genau wie die Kamera in der realen Welt bewegt und sich der Parallax Effekt (Als Parallaxe bezeichnet man die scheinbare Änderung der Position eines Objektes durch verschiedene Positionen des Beobachters) in beiden Outputs gleich verhält. Wenn sich die Kamera der Künstler*in nähert, bewegt sich auch die Digitale Kamera in der Unreal Engine und Objekte in der Digitalen Welt ziehen an der Kamera vorbei.
Lichtsetup
Um diesen Effekt noch zu verstärken, wurde die Lichtsituation in der realen Welt an die in der virtuellen Welt angeglichen. Die ringförmige Aufhängung der Astera Titan Tubes ermöglicht eine nahezu 360° Beleuchtung der Künstler*innen. Um in Echtzeit die Beleuchtung anpassen zu können, wurde in der Unreal Engine eine virtuelle NDI Kamera mit einer geringen Brennweite (Weitwinkel) an die Stelle positioniert, an der die Künstler*innen in der digitalen Welt stehen würden. Die Kamera wurde 90° gedreht und nach oben ausgerichtet. Durch einen Bloom Effekt (Post-Processing-Effekt, der sehr helle Pixel verbreitet) wurden die Lichtquellen intensiviert und mittels NDI (Videoübertragung per Netzwerk) an den zweiten Computer übertragen. Dieser Input wurde wiederum in Resolume weiterverarbeitet, indem pro Szene weitere Farbkorrekturen vorgenommen wurden, um die Lichtstimmung an die aus der Unreal Engine anzugleichen. Dieser Video Output wurde mittels DMX an die Astera Titan Tubes weitergegeben. Hierdurch ergab sich in dem Bereich zwischen den Asteras eine annähernd ähnliche Lichtstimmung wie sie in der Unreal Engine generiert wurde. Durch dieses Setup konnte sich das Licht sofort an die jeweilige Szenerie anpassen. Außerdem konnten Animationen in der Unreal Engine wie zB Particle Animationen oder flimmerndes Licht in der realen Lichtstimmung wiedergegeben werden.
Des Weiteren konnte das Licht am zweiten Computer mittels Magic Q, einem digitalen Lichtpult gesteuert werden. Die DMX Daten wurden aus Magic Q an die Effektlicht-Aputures und in Echtzeit an weitere Virtuelle Lampen in der Unreal Engine übertragen. Die Virtuellen Lampen wurden möglichst so positioniert, dass sie mit der Position der realen Leuchten übereinstimmen oder das vorhandene Setup sinnvoll erweitern. Hierdurch konnten vom digitalen Lichtpult am zweiten Computer sowohl die realen als auch die digitalen Leuchten gesteuert werden. Dies ermöglichte, eigene Lichtshows zu kreieren und sie auf die Ereignisse in der Realität anzupassen. Sobald eine Lampe hell aufleuchtete war das erzählte Licht sowohl in der Realität als auch in der virtuellen Umgebung übereinstimment und der virtuellen Situation angepasst.
Virtuelle Welten
In der Unreal Engine wurden insgesamt 11 unterschiedliche Level erstellt, die die Atmosphäre der einzelnen Sets unterstrichen. Folgende Levels wurden erstellt:
1. Rabbits Revenge – Farbenfrohe Blumenwiese in einer Waldlichtung
2. Cosy B2B EEPH – Belebte Unterwasserwelt am Boden des Meeres / Abstrakte Apokalyptische Wüstenlandschaft am helligten Tag
3. Mampfret – Longboard Talfahrt durch Küstenlandschaft am Tag / Japanische Tempel in nebliger Mittagssonne (Anlehnung an Mortal Combat)
4. DJ Dash – Cyberpunk Korridor mit rot-blauen Lichtwechsel
5. DJ Langnese B2B grossraumpizza – Gemütliche Pizzeria / Piratenschiff auf hoher See mit tiefstehender Sonne
6. Hemming Liminal Spaces Live Musik Perfomance – Leerer U Bahnschacht / Supermarkt / Waschsalon mit minimalistischer Beleuchtung
7. Tobsitronic – Abstrakter Kachelraum mit Particle Animationen und flimmernden Licht
0 Antworten zu „TC RADIO X KOLAB: VIRTUAL PRODUCTION“