TailoredMedia - Tailored and Agile enrichment and Linking for semantic Description of multiMedia

Film, Fernsehen und Video sind zu einem führenden Kommunikationsmittel geworden. Um eine Wiederverwendung von Videoinhalten, z. B. für Reprisen aber auch als illustrative Elemente für bestimmte Sachverhalte, zu ermöglichen, ist es notwendig diese Inhalte zu beschreiben, um sie suchbar zu machen. Bisher erfolgt diese Beschreibung manuell, durch ausgebildete Dokumentar:innen, was einen enormen zeitlichen Aufwand bedeutet und damit nur für einen begrenzten Umfang von Inhalten erfolgen kann. Trotz dieses hohen Aufwandes ist es nicht möglich Inhalte detailliert zu beschreiben, z. B. anzugeben in welchen Zeitabschnitten bzw. wo im Bild ein:e Politiker:in zu sehen ist.

Die Ausgangslage wird dadurch erschwert, dass Zusatzinformationen zu einem Inhalt oftmals in mehreren Quellen, die noch dazu unterschiedlich strukturiert sind (z. B. Drehbuch, Notizen eines Journalisten) bzw. verschiedene Modalitäten haben (z. B. Notizen als Text, Tonaufzeichnung eines Interviews), erfasst sind. Auch wenn Inhalte und Zusatzinformationen meist bereits digital vorliegen, werden sie derzeit oft unabhängig voneinander verarbeitet. Dies führt dazu, dass Informationen zwischen den Quellen nicht oder nur teilweise verknüpft werden können und damit die Beschreibung unvollständig ist.

Das Ziel des Projekts ist es, aktuelle - auf Künstlicher Intelligenz basierende - Methoden für die automatische Analyse audiovisueller Inhalte einzusetzen und mit Userinterfaces zu verbinden, um sowohl Prozesse zur detaillierten, semantischen Beschreibung als auch zur Suche von Inhalten möglichst effizient zu machen und gleichzeitig die oben angeführten Problemfelder zu adressieren.

Die Ergebnisse der automatischen Analyse fließen in neuartige Methoden für die Fusion multimodaler Informationen ein, welche die gewonnenen Informationen in einem Wissensgraphen ablegen. Damit kann die Beschreibung von Inhalten mit semantischen Metadaten - teilweise automatisch, teilweise durch Einbeziehung von Dokumentar:innen - intuitiv, einfach und effizient angereichert bzw. ergänzt werden.

Das von JOANNEUM RESEARCH geführte Konsortium ist multidisziplinär zusammengesetzt, um die erforderlichen Kompetenzen zur Erreichung der Projektziele einzubringen. Mit der österreichischen Mediathek und dem ORF sind zwei unterschiedliche Medienorganisationen beteiligt. Die Mediathek hat den Schwerpunkt auf Archivierung, der ORF deckt den gesamten Medienlebenszyklus ab. Beide Partner können damit eine breite Palette an Workflows, Best Practices und technischen Anforderungen einbringen.

Die Fachhochschule St. Pölten wird diese Inputs als Ausgangspunkt für einen benutzerzentrierten Gestaltungsprozess nutzen, der Userinterfaces und Workflows ergibt. Die Expertise in semantischen Technologien und audiovisueller Inhaltsanalyse wird von Redlink und JOANNEUM RESEARCH eingebracht.

In den ersten sechs Monaten des Projektes wurden zusammen mit den Organisationen aus dem Mediensektor die aktuelle Praxis erfasst, Anforderungen erhoben sowie erste Methoden zur automatischen Analyse untersucht. Darauf aufbauend werden in den nächsten Monaten in einer Reihe von Co-creation-Workshops Ideen für Userinterfaces gesammelt und konkretisiert.

Konsortialführung

JOANNEUM RESEARCH Forschungsgesellschaft mbH

Weitere Konsortialpartner

• Fachhochschule St. Pölten ForschungsGmbH
• Österreichischer Rundfunk
• RedLink GmbH
• Technisches Museum Wien mit Österreichischer Mediathek

JOANNEUM RESEARCH Forschungsgesellschaft mbH
Dipl.-Ing. Georg Thallinger
Tel.: +43 (316) 876-1240
E-Mail: georg.thallinger@joanneum.at