Die passende Stelle in umfangreichem Rohmaterial für Podcasts, Radiobeiträge oder Videoformate zu finden, kostet Zeit und oft auch Nerven. Genau aus diesem Grund hat das Projektteam aureka for media im Media Founders Program einen KI-gestützten Rechercheassistenten für Audio- und Videomaterial entwickelt: Mit der Web-App von aureka können Journalist:innen und Medienmacher:innen ihr Material in Sekundenschnelle durchsuchen, dank semantischer Suche sogar Fragen an einen intelligenten Suchassistenten stellen und die passenden Snippets im Anschluss mit wenigen Klicks für die weitere Verwendung exportieren. Im Interview zum Projektabschluss haben uns Jan Kühn und Cecilia Maas von aureka verraten, wie ihr Tool funktioniert, mit welchen ähnlichen Herausforderungen Redaktionen, Museen und Archive zu kämpfen haben und wie auch ihr in Zukunft aureka for media nutzen könnt.

Abschlusspräsentation von aureka for media beim MIZ Innovation Pitch #5 am 28. November 2024 (Foto: Gino Giove)

„Das Tolle an aureka for media ist, dass man Audios und Videos textbasiert durchsuchen kann und die Ergebnisse dann ganz einfach als Multimedia-Dateien exportiert."

Lieber Jan, liebe Cecilia, welche Funktionen hat aureka for media und bei welchen Aufgaben kann es Medienmacher:innen unterstützen?

Jan Kühn: Die aureka-Web-App gibt Medienmacher:innen die Möglichkeit, wesentlich einfacher und schneller Zitate und O-Töne in eigenen Aufnahmen und Sammlungen zu finden und diese für den weiteren Produktionsprozess nutzbar zu machen.

Unsere KI-basierte semantische Suchfunktionalität erlaubt einen neuartigen Zugang zu eigenen Aufnahmen, Rohdaten und zu großen Archivsammlungen, mit dem wir aufwendige und ressourcenintensive Rechercheprozesse stark vereinfachen. Das Tolle daran ist, dass man Audios und Videos textbasiert durchsuchen kann und die Ergebnisse dann wiederum ganz einfach als Multimedia-Dateien exportiert, um sie im Produktionsprozess zu verwenden.

Wer sind eure Zielgruppen und was muss ich tun, um euer Tool nutzen zu können?

Cecilia Maas: Mit unserer Web-Anwendung richten wir uns sowohl an Einzelpersonen als auch an Unternehmen und Institutionen, für die wir Gruppenlizenzen anbieten. Vor der Förderung hatten wir vor allem Kund:innen aus dem Bereich von Museen, Archiven und der wissenschaftlichen Forschung. Mit aureka for media richten wir uns konkret an Medienschaffende, beispielsweise in der Produktion von Podcasts oder anderen Audio-Formaten.

Wir sind derzeit noch im Abschluss unserer Betaphase und vergeben gerne weitere Demo-Accounts an Interessierte. Im ersten Quartal 2025 wird dann mit dem Rollout weiterer Features zur automatisierten Generierung von Metadaten auch eine selbstständige Anmeldung und der Abschluss von Monats- und Jahresabos möglich sein. Preislich liegt das Standard-Paket nach Ende eines Gratis-Zeitraums bei 35 Euro pro Monat für Einzelpersonen bzw. für Teams bei 35 Euro pro Nutzer:in. Unternehmen und Institutionen können wir je nach Bedarf Angebote machen.

Durch den stark modularisierten Aufbau unserer Architektur können wir darüber hinaus auch angepasste Lösungen für größere Institutionen anbieten, wie z. B. die Integration unserer semantischen Suchfunktionalität in bestehende Systeme.

„Wir ersetzen die klassische Schlagwortsuche durch einen Suchassistenten, der mir die Möglichkeit gibt, in natürlicher Sprache Rechercheaufgaben für mich zu übernehmen. Denn die Suche erfasst Bedeutungen – also Semantik."

Wie funktioniert aureka for media technisch und an welchen Stellen setzt ihr KI ein?

Jan: Am Anfang steht immer die Transkription, das heißt die Umwandlung in Text. Das gilt für Audios genauso wie für Videos. Das ist der erste Punkt, an dem KI ins Spiel kommt, denn die automatische Transkription ist durch die Entwicklungen der letzten Jahre deutlich zuverlässiger und exakter geworden. Liegt dann der Text vor, kann er bearbeitet werden und darauf aufbauend gibt es weitere Funktionen mit KI-Einsatz.

Zum Beispiel bei der semantischen Suche. Im Prinzip ersetzen wir die Funktionalitäten der klassischen Schlagwortsuche durch einen Suchassistenten, der mir die Möglichkeit gibt, in natürlicher Sprache Rechercheaufgaben für mich zu übernehmen. Wenn ich beispielsweise ein Feature zum Thema Einbürgerung machen möchte und in meinem Audio-Archiv nach O-Tönen aus Debattenbeiträgen suche, kann ich durch die semantische Suche nach ähnlichen Inhalten suchen, ohne dass die exakten Suchwörter vorkommen müssen. Denn die Suche erfasst Bedeutungen – also Semantik. So könnte ich nach Beiträgen suchen, die „besonders emotional“ zum Thema reden und die KI erkennt dann Beiträge, in denen emotionale Wörter verwendet werden.

Das ist nur ein kleines Beispiel. Die Suche ermöglicht einen völlig anderen und neuen Zugang zu den Daten und wir gehen davon aus, dass sich dadurch so manche „Schätze“ finden lassen, die sonst vielleicht vergraben bleiben würden.

Beispiel-Workflow in der Web-App von aureka for media: Auswahl von Audiomaterial (1), KI-gestützte, semantische Suche anhand einer Frage (2), Suchergebnisse (3) und Export von Audiosnippets (4)

„Ob in der Sammlung eines Museums oder im großen Audioarchiv einer Podcast-Produktionsfirma: Die Erschließung und Durchsuchbarkeit des Materials spielt in beiden Fällen eine große Rolle."

Ihr habt bisher eher mit Museen, Archiven und Forschungseinrichtungen zusammengearbeitet. Wie seid ihr auf die Idee gekommen, dass eure Technologie auch für Medienmacher:innen hilfreich ist?

Cecilia: Unser wichtigster Anwendungsfall war und ist die einfache Auffindbarkeit von Inhalten in audiovisuellen Sammlungen. KI kann aufwändige manuelle Prozesse wie Transkription und Verschlagwortung sehr stark erleichtern, ohne dabei notwendiges menschliches Urteilsvermögen ersetzen zu wollen. Wir denken, dass zwischen der wissenschaftlichen, archivarischen und journalistischen Arbeit mit audiovisuellen Quellen nicht nur Ähnlichkeiten und Schnittpunkte bestehen, sondern Synergien entstehen können, die zur Demokratisierung von Wissen, aber auch ganz konkret zur Verbesserung journalistischer Inhalte und dem Auftrag der Informations- und Wissensvermittlung beitragen können.

Ganz oft überschneiden sich Anwendungsfälle einfach. Ob in der Sammlung eines Museums oder in einem großen Audioarchiv einer Podcast-Produktionsfirma: Die Erschließung und Durchsuchbarkeit des Materials spielt in beiden Fällen eine große Rolle.

Wenn ihr eure ursprüngliche Idee für aureka for media und euer Endprodukt nebeneinanderstellt: Wie hat sich euer Projekt im Laufe der Entwicklung verändert?

Jan: Ich denke, dass das Endprodukt nicht so weit von der ursprünglichen Idee entfernt ist. Die Web-App bietet ziemlich genau das, was wir uns anfangs ausgemalt hatten: Auf ähnlicher Bedeutung basierend Inhalte finden und dann mit wenigen Klicks für den weiteren Produktionsprozess verfügbar machen. Das hat tatsächlich so geklappt, wie wir es uns vorgestellt haben.

Auf dem Weg haben wir festgestellt, dass unsere Features und die dahinterliegende Architektur für viele weitere Anwendungsfälle im Medienbereich interessant sein können – auch jenseits der Web-App. Neben der Etablierung unserer Anwendung wollen wir deshalb mit aureka auch weiterhin maßgeschneiderte Dienstleistungen rund um unseren KI-Technologiebaukasten anbieten. Um beim Beispiel der semantischen Suche zu bleiben: Für die von uns entwickelte Technologie gibt es in vielen Medienunternehmen Anwendungsfälle und wir können maßgeschneiderte Lösungen dafür bieten.

Cecilia Maas und Jan Kühn von aureka for media beim Inspiration Day 2024 im MIZ Babelsberg (Foto: Beata Sisak)

„Das Feedback der Expert:innen und vor allem ihre konkrete Erfahrung mit Arbeitsabläufen hat uns sehr geholfen, ein Produkt zu entwickeln, das sich konkret an den Bedürfnissen potentieller Nutzer:innen orientiert."

Ihr habt von Anfang an einen nutzer:innenzentrierten Ansatz gewählt und euch schon früh direkt mit Medienmacher:innen ausgetauscht. Welchen Einfluss hatte das auf euer Projekt?

Jan: Wir haben relativ früh im Projekt festgestellt, dass sich klassische Ansätze und Vorgehensmodelle zur Gestaltung von Nutzer:innenoberflächen durch KI-Technologien verändern. Wir haben deshalb versucht, unsere Anforderungsanalyse sehr viel stärker daran auszurichten, wie man konkret mit der Software interagiert. Denn von potentiellen Nutzer:innen Anforderungen zu sammeln, ist zwar wichtig. Beim konkreten Verwenden der Software ergeben sich aber noch einmal ganz andere Sichtweisen.

Deshalb wollten wir frühzeitig Medienmacher:innen einbeziehen und die Funktionen mit einer Demo-Version testen. Das Feedback der Expert:innen und vor allem ihre konkrete Erfahrung mit Arbeitsabläufen haben uns sehr geholfen, ein Produkt zu entwickeln, das sich konkret an den Bedürfnissen potentieller Nutzer:innen orientiert.

Ihr habt 2020 euer eigenes Start-up gegründet. Wie hat es sich seitdem weiterentwickelt und wie schafft ihr es, als Team, das viel unterwegs ist, gut zusammenzuarbeiten?

Cecilia: Das Besondere an aureka war eigentlich immer die Verknüpfung von unterschiedlichen Räumen und Zusammenhängen, in denen wir uns bewegen und zwischen denen wir versuchen zu vermitteln und miteinander zu lernen. Wir würden uns deshalb auch nicht unbedingt als Start-up bezeichnen. Uns geht es im Kern um die Dezentralisierung und Demokratisierung von Wissen und Fragen der Vergesellschaftung von Technologie. Das leben wir auch ganz konkret in unserem Arbeitsalltag. Denn unser Team arbeitet zwischen Berlin und Buenos Aires in Argentinien und natürlich orientieren sich viele Arbeitsabläufe daran. Uns ist es wichtig, diese verschiedenen Lebensrealitäten in einer globalisierten Welt möglich zu machen. Ich denke, bisher ist uns das gut gelungen.

>>> mehr über aureka for media erfahren
>>> Testzugang zu aureka for media anfordern
>>> mehr über die aureka-Web-App auf der Website von aureka