Latent Interfaces

17.08.2026 - 27.08.2026
Blockseminar Interaktive Medien
Bergische Universität Wuppertal

In diesem zweiwöchigen Kompaktkurs erkunden Studierende Open Source KI-Modelle aus den Bereichen Bild, Audio, Sprache und Video als Gestaltungsmaterial für experimentelle Interfaces.
Im Fokus steht nicht, was das Modell kann, sondern wie sich die Begegnung zwischen Mensch und Modell anfühlt und welche neuen Möglichkeiten entstehen, wenn wir mehr als nur einen Prompt haben.
Die zentrale Spielregel: Kein klassisches Chat-Interface. Die Studierenden entwickeln eigene Interaktionsformen, wie z.B. über Kamera, Stimme, Gesten, Bewegung oder physische Objekte.

Schau nicht hin.
Things We Cannot Type
Generation Loss
Spidey Says
»blasser schimmer«
Nose Air Hockey

Dozentin:
dzennifer

Studenten:
Helene Xaysongkham
Bastian Binke
Blanca Frohn
Sirinya Gößl
Julia Stern
Charlyn Pereira
Mariana Dohmen

Spidey Says

Sprachgesteuertes Browsergame

(Index)

Details

Charlyn Pereira

Sprachgesteuertes Browsergame
HTML, CSS, JavaScript, Vosk Speech Recognition (vosk-browser), deutsches Vosk-Sprachmodell, Mikrofon-Input, Pixel-Art-Assets

Spidey Says

Spidey Says ist ein sprachgesteuertes Browsergame, in dem die spielende Person die Rolle von Spider-Mans „Spinnensinn“ übernimmt. Die eigene Stimme wird dabei zum Interface zwischen User und Spielfigur. Im Gegensatz zu Ansätzen, bei denen Sprache lediglich über ihre Lautstärke als Input verwendet wird, reagiert der Charakter auf direkte sprachliche Anweisungen.
Zu Beginn wird diese Rolle nach Aktivierung des Mikrofons durch einen kurzen Dialog eingeführt. Anschließend lassen sich mit den angegebenen Befehlen verschiedene Aktionen auslösen. Animierte Comic-Pop-ups begleiten die Sprachbefehle und geben dem User direktes visuelles Feedback darüber, ob eine Anweisung erkannt wurde.
Der zentrale Teil des gestalterischen Konzepts besteht aus dem Kontrast zwischen der nostalgischen Ästhetik der reduzierten Pixelgrafik und der modernen und ungewohnten Interaktion durch Sprachsteuerung.Technisch basiert die Spracheingabe auf Vosk und einem deutschen Sprachmodell. Das Mikrofonsignal wird lokal verarbeitet, gesprochene Wörter werden erkannt und anschließend über JavaScript den entsprechenden Funktionen im Spiel zugeordnet.
Die aktuelle Version ist als spielbare Demo des Konzepts angelegt. Sie konzentriert sich auf die sprachliche Interaktion und verzichtet auf Gegner, Level oder eine breite Spielwelt. Das entstandene System bildet jedoch die Grundlage für eine Erweiterung zu einem umfangreicheren Spiel mit neuen Befehlen, Herausforderungen und Spielmechaniken.

(Return to Projects)