Zwischen Text, Bild und Sprache

Eine Ko-Kreation von Mensch und Maschine

Können mit Hilfe von auf Künstlicher Intelligenz basierter Technologie Brücken zwischen den Sinnen und zwischen Menschen mit und ohne Sehbehinderung geschlagen werden? In unserem Projekt werden Potenziale neuer Technologien für die Kulturvermittlung vorgestellt. 

Grundlage für die Umsetzung war ein Gespräch mit einer blinden Person über ihre multisensorische Erfahrung der Stadt. Aus diesem Gespräch mit Regina Vollbrecht wurden im zweiten Schritt signifikante Stichworte extrahiert. Diese Stichworte, die hier als Sprachausgabe zu hören sind, wurden dann in das KI-basierte Anwendungsprogramm VQGAN+CLIP eingespeist, wodurch ein Bild generiert wurde. Dieses Bild wiederum beschreiben wir durch eine Audiodeskription.