Abstrakte Klänge erzeugen, Sounds triggern, mit Gesten steuern, modulieren und interaktiv gestalten. All das ist möglich mit Max MSP, einem Tool, das endlose Möglichkeiten für Sound Designer*innen, digitale Künstler*innen und Kreative jeglicher Richtung eröffnet.

Bei Max handelt es sich um eine grafische Programmierumgebung, die ideal für digitale Medien- und Kunstprojekte, Live Performances oder Ausstellungen eingesetzt werden kann – ohne selbst eine Zeile Code zu schreiben.

In diesem Workshop führt Michael Nguyen, Sound Designer und Mitarbeiter des Digitalen Koproduktionslabors, in die Audio-Welt von Max ein und baut gemeinsam mit den Teilnehmer*innen einen gestengesteuerten Audio-Sampler.

Anhand von Max erlernen die Teilnehmer*innen den grundlegenden Workflow Node-basierter Programmierumgebungen, deren Einsatz im Kontext digitaler Kunstprojekte immer beliebter wird. Der Workshop soll Teilnehmer*innen die Angst vor mächtigen Programmen wie Max nehmen und neue Werkzeuge für zukünftige eigene Projekte bereitstellen.

Am 21.03.2023 besuchten Regie-Studierende der Otto Falckenberg Schule im Rahmen einer Workshop Woche – organisiert von der Akademie für Theater und Digitalität – das Koproduktionslabor. In einem rund achtstündigen Workshop wurden Motion Capture Technologien vorgestellt und ihre Möglichkeiten für Theaterinszenierungen erforscht.

Dabei wurden zuerst die grundlegenden Funktionsweisen der optischen und sensorischen Systeme von Motion Capture vorgestellt. Das Digitale Koproduktionslabor arbeitet mit dem Rokoko Smart Suit Pro 2, einen Motion Capture Anzug, bei dem die einzelnen Sensoren Daten in Echtzeit an die Rokoko Studio Software senden. Diese Daten werden aufgezeichnet und später in 3D Programmen wie Blender, Maya oder Cinema 4D weiterverarbeitet. Die Studierenden konzipierten eine kleine Inszenierung, zu der sie verschiedene Bewegungsabläufe aufzeichneten. Im Rahmen des Workshops wurden die Teilnehmer ebenfalls mittels Photogrammetrie gescannt, sodass sie die Motion Capture Aufnahmen auf sich selbst im dreidimensionalen Raum übertragen konnten.

Was ist eigentlich Motion Capture?

Ihr fragt euch, wie Gollum aus Der Herr der Ringe, Caesar aus Planet der Affen oder die Na’Vi aus Avatar zum Leben erweckt wurden? Dann könnt ihr im Rahmen dieses Workshops selbst einmal ausprobieren, wie ihr die Bewegungen eines virtuellen Characters steuern könnt. Wir blicken gemeinsam hinter die Technik von Motion Capture Verfahren. Wie werden eure Bewegungen auf digitale Avatare übertragen? Wie müssen Character in 3D Programmen aufgebaut sein, um Motion Capture Aufnahmen auf sie übertragen zu können? Welche weiteren Anwendungsmöglichkeiten gibt es? 

Im Digitalen Koproduktionslabor arbeiten wir mit dem Rokoko Smart Suit Pro 2, einer Gyroskop-Technologie, bei der die einzelnen Sensoren Daten in Echtzeit an die Software senden. Diese Daten können aufgezeichnet und später in 3D Programmen wie Blender, Maya oder Cinema 4D verarbeitet werden. 

Motion Capture ist heutzutage nicht nur für die Filmindustrie zu einem der wichtigsten Tools zur Animation abstrakter Charaktere geworden. Auch in Computer-Spielen wie Red Dead Redemption, Uncharted oder Death Stranding wird die Performance von Schauspielern per Motion Capture erfasst und auf ihre Figuren im Spiel übertragen. In den letzten Jahren fand die Motion Capture Technik vermehrt auch ihren Weg in die Kunst- und Theaterszene, indem sie die menschlichen Bewegungen in direkten Bezug zur digitalen Welt setzt. 

Wenn ihr also selbst probieren wollt, wie sich z. B. Bewegungen des Handgelenks, des Ellenbogens und der Schulter durch Gyrotechnik auf einen 3D-Arm übertragen lassen, dann meldet euch gerne an und wir schauen, in welchen Charakter du gerne schlüpfen möchtest. 

Hierbei handelt es sich um einen englischsprachigen Workshop.

Net Art or Web Art are disciplines that are growing and becoming more popular, not only because the internet works as a space for communication and interaction, but also because developers, artists and communities are constantly finding new ways of expression.

In the spirit of creating your own space on the internet, this workshop also intends to expand the spaces of virtuality, inviting you to create 3D worlds and discuss its possibilities.

This is an introductory workshop about how to build 3D web pages with A-frame.

A-frame is an open-source web framework for building 3D/AR/VR experiences.

Through the usage of a simple language similar to HTML it is possible to load 3D models, videos, images and sound for any creative immersive or interactive ideas on the browser. As A-frame works on the web, it can be combined with many other frameworks or even JavaScript (language mostly used for on the browsers), which leads to a process that can start from simplicity to complex projects.

AFRAME WEBSITE

Am 9. Februar fand das erste große öffentliche Event im Koproduktionslabor statt. Der Activation Day bot am 9. Februar einen ganzen Tag rund ums Thema Digitalkunst und zeigte zum ersten Mal die Räumlichkeiten des Labors. Es wurden Workshops mit hydra & cables zum Thema Werbart angeboten und den ganzen Tag über durften sich Freiwillige an der Motion Capture Challenge versuchen. Als Abschluss wurde am Abend eine kleine Party gefeiert, bei der die Ergebnisse der Workshops & der Renderchallenge gezeigt wurden, sowie externe Künstler*innen ihre Arbeiten präsentieren durften.

Das Koproduktionslabor wurde zu einem Treffpunkt für Künstler*innen, die sich für interaktive digitale Medien interessieren und viele Künstler*innen konnten sich mit dem Koproduktionslabor und untereinander verknüpfen. Der Activation Day war der Startschuss gemeinsam mit den Künstler*innen aus der Umgebung dem Labor eine eigene Identität verliehen zu können.

Im Rahmen der Motion Capture Challenge hatten die Teilnehmer*innen die Möglichkeit, selbst auszuprobieren, wie sie die Bewegungen virtueller Charaktere steuern können. Es wurde ein Blick hinter die Technik von Motion-Capture-Verfahren geworfen und erklärt, wie Bewegungen auf digitale Avatare übertragen werden.

Im Digitalen Koproduktionslabor wurde mit dem Rokoko Smart Suit Pro 2 gearbeitet, einer Gyroskop-Technologie, bei der Sensoren in Echtzeit Daten an die Software senden. Diese Daten können später in 3D-Programmen wie Blender, Maya oder Cinema 4D verarbeitet werden.

Im zweiten Workshop wurde das Web-Tool www.cables.gl vorgestellt. Mit diesem kostenlosen Tool können interaktive Web-Kunstwerke erstellt werden, ohne eine Zeile Code schreiben zu müssen. Den Teilnehmer*innen wurde eine Einführung in die Oberfläche von cables.gl gegeben und Möglichkeiten aufgezeigt, wie sie das Tool eigenständig nutzen können. Es wurden Grundtechniken vermittelt, die in verschiedenen Bereichen der Digitalkunst angewendet werden können, wie beispielsweise das Tracking von Händen, Gesichtern oder dem gesamten Körper mit einer Webcam.

Im Rahmen des Activation Day wurde auch ein englischsprachiger Einführungsworkshop zum Live Coding von Visuals mit Hydra angeboten. Live Coding ermöglicht die Modifizierung von Codes in Echtzeit, um neue visuelle Effekte zu generieren. Im Workshop hatten die Teilnehmer*innen die Möglichkeit, Hydra kennenzulernen – eine visuelle Programmierumgebung und ein live-codierbarer Videosynth. Sie konnten verschiedene Code-Funktionen und Bildverzerrungen ausprobieren, um ihre eigenen Visuals zu erstellen. Hydra ist eine Open-Source-Software, die für Live-Performances und Kunstinstallationen verwendet werden kann.

Für die Veranstaltung gab es einen offenen Aufruf an Künstler, im Labor des Koproduktionslabors auszustellen. Die teilnehmenden Künstlerinnen und Künstler kamen aus unterschiedlichen Disziplinen und Interessen und es war eine gute Gelegenheit für sie, Kontakte zu knüpfen und sich für mögliche Kollaborationen zu vernetzen. Unter den Künstlern, die am Aktivierungstag teilnahmen, waren Olivia Viehweber (Illustratorin), Ruhrgebieterinnen (3D-Künstlerinnen), Salma Parra (VR+ Skulptur), Anna Mirkin (3D-Künstlerin), Felix Meermann (3D-Animation), Viviane Lennert, Stella Lennert und Jakob Lorenz (VR, Palimpsest.all), Marc Kemper (3D-Künstler), Dali Moustache (Tanz Performance) und Yvonne Dicketmüller (Kostümdesign).

Den ganzen Tag über besuchten rund 100 Personen das Koproduktionslabor.
Nach all den Aktivitäten wurden neue Projekte für zukünftige Kooperationen und Beratung vorgeschlagen. Abschließend lässt sich sagen, dass die Veranstaltung sehr positiv war und die vorgeschlagenen Ziele erreicht wurden.