Ich klicke den Link an und das fertige Medienkunstwerk wird mir auf dem Bildschirm präsentiert. Sei es ein Spiel, in dem ich schwierige Entscheidungen treffen muss, um die Vereinigten Staaten in eine faire und nachhaltige Zukunft zu steuern, sei es eine Clicker-Erfahrung, in der ich ablenkende und störende Geräusche und Videos überlagere, um mein Klicken zu beschleunigen. Oder eine kurzweilige Agentenstory, die Klischees des Genres zelebriert und ins Absurde führt.
Aber wie wurden diese Werke hergestellt? Wie würde ein Ordner voll mit all den Elementen aussehen, denen ich in einer interaktiven Erfahrung nur zu bestimmten Zeiten begegne?
Bei analogen Kunstwerken verlassen wir uns zum einen auf Interviews mit den Künstler:innen, die ein Werk erschaffen haben, um mehr über deren Kontext zu erfahren. Oder wir besuchen ihre Ateliers, um zu sehen, mit welchen Objekten oder Dokumenten sie sich zur Planung während der Arbeit an einem Kunstwerk umgaben. Darüber hinaus gibt es aufwändige technische Verfahren wie zum Beispiel die Radiografie, mit der etwa einzelne Ebenen einer Malerei im Nachhinein näher untersucht werden können.
Der Asset-Folder
Woher kommen die Grafiken und Videos, die wir sehen, woher die Musik und die Töne, die wir in einem interaktiven Werk hören? Sie liegen neben den ausführbaren Programmen selbst im Asset-Folder. Mal sind diese Dateien direkt aufrufbar, manchmal liegen sie in besonderen Formaten vor, um effizient genutzt zu werden - mal sind sie vom Entwicklungsteam verschlüsselt worden.
In Blendo Games’ kostenlosem Gravity Bone1, einer kurzen First-Person-Agenten-Story, befindet sich im Ordner baseq2 die Datei pak0.pk3. pak0 ist eigentlich ein ZIP-Archiv, kann also mit einem Extrahierungsprogramm wie zum Beispiel 7-zip2 geöffnet werden. Nach dem Extrahieren liegen 544 Dateien in 85 Unterordnern vor, die das Spiel benutzt: 3D-Modelle in einem älteren Format, die wir mit Hilfe eines Addons3 in Blender4 öffnen können, Texturen, also Grafiken, mit denen die 3D-Modelle bemalt sind oder die als Schilder in den virtuellen Welten platziert sind, Musik im freien OGG-Format5 oder Soundeffekte als Wave-Datei6, von denen mehrere ressourcenschonend gleichzeitig abgespielt werden können, wenn das Spiel läuft.
Screenshot | Entpackter Asset-Folder von Gravity Bone Entpackt und in Unterordner aufgeteilt werden diese Materialien, die das Werk nutzt, aus ihrem regulären Zusammenhang gerissen. Ich erlebe diese Elemente nicht mehr, während ich die Geschichte des Spiels interaktiv entdecke, vielmehr erhalte ich einen von Interaktion und zeitlichem Verlauf unabhängigen Blick und nehme eine Perspektive ein, die mehr der des Entwicklungsteams entspricht, das die Materialien in Funktionen und Thematiken sortieren muss, um nicht den Überblick zu verlieren. Dabei sehen wir: Im Ordner players befindet sich der Ordner MALE, darin erst die Geräusche, die die Figur von sich gibt, wenn wir im Spiel getötet werden. Sollte ursprünglich eine weibliche Figur auswählbar sein – oder ein Cyborg7? Warum lautet der Dateiname des Levels „Bad Finger Boogie“ hof1?
Dieser andere Blick auf die Elemente eines interaktiven Werks ermöglicht zudem die tiefere Auseinandersetzung mit einzelnen Objekten. Ich kann in Ruhe Dateien öffnen, hineinzoomen, nachvollziehen, wie diese angelegt sind. Und vielleicht existieren in den Asset-Foldern vieler Spiele und interaktiver Werke auch Dateien, die in der endgültigen Präsentation gar nicht auftauchen, aber einmal vorgesehen waren. Wenn wir durch virtuelle Welten flanieren, ziehen die Elemente an uns vorbei. Doch es lohnt sich, einmal in den Materialsammlungen dieser Werke zu verweilen und sich umzuschauen.
Programmcode als Bühnentechnik
Neben den opulenten Asset-Foldern größerer interaktiver Werke gibt es auch Beispiele dieses Mediums, die ganz ohne Materialsammlung auskommen. Die Demoscene8 veröffentlicht regelmäßig9 live generierte Kunstwerke, die auf Festivals und Ausstellungen gezeigt werden. Innerhalb der Demoscene gibt es die „64k intros“, also live generierte Animationssequenzen oder sogar Spiele10, die nicht mehr als 65,536 Bytes an Speicherplatz einnehmen. Die Einführung in diesen Artikel nimmt etwa 1150 Bytes in Anspruch, und zwar ohne Textformatierungen, Überschriften, Schriftarten etc. Die 64k Intros sind der extreme Gegenentwurf zu den Werken, die uns viel Material bereitstellen. Sie operieren mit Hilfe von Programmcode – der unsichtbaren Bühnentechnik, die ständig abläuft, während wir eine live generierte Sequenz sehen oder wenn wir uns durch virtuelle Welten bewegen.
Im Gegensatz zu den Asset-Foldern ist es aufwändiger, den ursprünglichen Programmcode zu sehen und so nachzuvollziehen, welche Berechnungen gerade geschehen. Auch hier gibt es einige Ausnahmen: Werke, die mittels JavaScript live im Netz laufen, können häufig analysiert werden. Projektordner, die uns als digitales Geschenk überreicht werden, enthalten meistens Code, den wir anschauen können. Und es gibt die Werke, deren Quellcode frei zur Verfügung steht. Jede:r kann sie anschauen, verändern, weitergeben – und versuchen, sie zu verstehen. Als ich von Lloyd ein digitales Geschenk erhielt, wollte ich unbedingt nachvollziehen, welche Dialogtexte einprogrammiert sind – um sicherzugehen, dass ich alle Texte gelesen habe und vielleicht auch, um nach Easter Eggs11 zu suchen.
Screenshot | Teil des Programmcodes von "Über die Unmöglichkeit, eine Karte zu zeichnen" Es macht Spaß, seinen Freunden den Code zu zeigen, der ein interaktives Kunstwerk zum Leben erweckt und darüber zu diskutieren, welche einzelnen Schritte passieren, um eine Gesamtwirkung zu erzielen. Zusammen mit der Materialsammlung entsteht so ein Verständnis dafür, wie die einzelnen Elemente miteinander in Beziehung stehen und wechselwirken, wenn die Anwendung gestartet wird. Der Code zeigt auch, welche Sprache Künstler:innen für das finden, was in interaktiven Werken passiert. Welche Namen werden für Objekte oder für Funktionen vergeben? Wie werden Datenstrukturen angelegt, um Zustände zu speichern? Im Gegensatz zu einer Neuaufführung oder einer Erzählung darüber, was in einem Werk passiert, erlaubt der Code eine immer wieder identisch stattfindende Präsentation.
Screenshot | Letzte Git-Commits der Arbeit "Über die Unmöglichkeit, eine Karte zu zeichnen" Wenn die Entwicklung eines interaktiven Werks in der Öffentlichkeit stattfindet, dann wird oft Versionskontrolle12 eingesetzt, um einen Überblick über neue Features zu behalten oder mit mehreren an einem Werk zu arbeiten. Das ermöglicht einen interessanten Einblick in die Enstehungsgeschichte, den es bei analogen Werken häufig so nicht gibt. Jede größere Veränderung ist mit einem Zeitstempel, der Veränderung von der alten zur neuen Version und meistens auch mit einem Kommentar versehen, der einen Kontext für eine Änderung liefert.
Zweckentfremdung
Nun habe ich mich bereits im Programmordner umgeschaut, habe vielleicht einige Dateien entpackt oder mir einen Überblick über die Struktur verschafft. Und neben den Mediendateien und dem Code, der häufig nicht direkt einsehbar ist, fällt mir eine Textdatei auf. So habe ich bereits als junger Mensch in dem Spiel Aquanox 2 den Speicherstand so angepasst, dass ich seltene oder schwer zu erlangende Gegenstände einfach in meinem Inventar vorfinde, wenn ich das nächste Mal das Spiel starte. Wenn ich mir einfach nur einen Vorteil in einem Spiel verschaffe, könnte man das als Cheat13 bezeichnen.
Screenshot | Veränderter Spielstand von Aquanox 2 Wenn der Ablauf eines interaktiven Werkes oder dessen Erscheinung angepasst werden, dann wird das Modding genannt. Oft sind es die Werke, deren Materialordner besonders einfach zu verstehen und abzuändern sind, die sich einer großen Modding-Community erfreuen. Ein Beispiel ist Fallout: London14, eine umfangreiche und kostenlose Modifikation für das postapokalyptische Action-RPG Fallout 4. Fallout: London wurde seit 2019 von einem Team mit bis zu 100 Modder:innen und bis zu 100 Sprecher:innen entwickelt und im Juli 2024 veröffentlicht15. Diese Zweckentfremdung interaktiver Werke und digitaler Spiele kann auf vielfältige Weise stattfinden, um neue Welten und Geschichten zu erschaffen oder künstlerische Aspekte zu erkunden. Der Medienkünstler Cory Arcangel hackte im Jahr 2002 beispielsweise das Spielmodul von Super Mario Brothers, um sämtliche Spielinhalte außer den sich bewegenden Wolken und dem Hintergrund zu entfernen16 und stellte die Videoinstallation anschließend aus17.
Vermittlung
Der Blick hinter die Kulissen interaktiver Werke schärft den Blick für deren Funktionsweise und ihren Aufbau. Wer Werke selbst verändert, pflegt einen kreativen Umgang mit den Artefakten einer Medienkultur, die uns umgeben. Und wer die Entwicklungsgeschichte durch Zeitstempel, git-Commits oder versteckte Docs-Ordner nachvollzieht, erhält einen völlig neuen und lebendigen Einblick in die Entwicklung und den Kontext der Entstehung von interaktiven Medien. Diese Herangehensweise, weg vom reinen Kosum und hin zur Veränderung, zum Experiment und schließlich auch zur eigenen Gestaltung sollte auch in der Bildung stärker als Potenzial genutzt werden. So beginnen junge Menschen nicht nur, die Technologie zu verstehen, die heutzutage unzertrennlich mit der Produktion von Kultur und Kunst verwoben ist. Sie entdecken auch, dass sie in dieser Medienkultur ihre eigene Stimme fernab von vordefinierten und eingeschränkten Werkzeugen entwickeln und äußern dürfen.
1 https://blendogames.com/gravitybone/, für diesen Artikel wurde die Version von itch.io genutzt.
3 https://github.com/hypov8/blender_kingpin_models
6 https://de.wikipedia.org/wiki/RIFF_WAVE
7 Der Programmcode für Quake II wurde 2001 veröffentlicht und dient als Grundlage für die Engine von Gravity Bone. Im Multiplayer-Modus konnten Spielende zwischen einer männlichen oder weiblichen Figur bzw. einem Cyborg auswählen: https://en.wikipedia.org/wiki/Quake_II#Multiplayer und https://dondeq2.com/2015/06/21/how-to-change-ctf-skins-tutorial-for-testdummy
8 https://www.unesco.de/staette/demoszene-kultur-der-digitalen-echtzeit-animationen/
10 https://de.wikipedia.org/wiki/.kkrieger
11 https://de.wikipedia.org/wiki/Easter_Egg
12 https://git-scm.com/book/de/v2/Erste-Schritte-Was-ist-Versionsverwaltung%3F
13 https://de.wikipedia.org/wiki/Cheat_(Computerspiele)
15 https://en.wikipedia.org/wiki/Fallout:_London
16 https://coryarcangel.com/things-i-made/2002-001-super-mario-clouds