AI4MediaData - abgeschlossen

Connecting Media with Usage Data. Plattform für die KI-basierte Analyse, semantische Integration und Nutzung von Mediendaten

Technologiebereiche: Data & Service Management; Semantische Technologien

AI4MediaData vereinfacht komplexe Entscheidungsprozesse, indem die Daten von Medieninhalten mit Hilfe künstlicher Intelligenz (KI) analysiert und mit Nutzungsdaten verknüpft werden. Durch die automatisierte Auswertung des Datenpools werden beispielsweise Mediatheken oder Streaming-Plattformen nutzerfreundlicher gestaltet. Medienanbieter profitieren von der Lösung, weil sie ihre Angebote exakter planen und anderen Marktteilnehmern ihre Daten zur Verfügung stellen können. Darüber hinaus lässt sich die Distribution des gesamten Angebots, aber auch einzelner Trailer, Teaser und Highlight-Clips über eigene Mediatheken sowie gängige (Video-)Content- und Social-Plattformen effizienter gestalten.

Herausforderung
Der Medienkonsum hat sich in den vergangenen Jahren deutlich verändert. Heute sind Konsumenten es gewohnt, dass ihnen automatisch Filme, Musikstücke oder Textbeiträge angezeigt werden, die ihren persönlichen Interessen entsprechen. Vor allem große, meist US-amerikanische Online-Plattformen setzen solche personalisierten Angebote erfolgreich ein. Denn anders als deutsche Unternehmen verfügen sie über riesige Datenmengen, die sie dauerhaft auswerten. In Europa ist die Medienlandschaft dagegen stark zersplittert und die Entwicklung von KI-basierter Datenanalyse im Mediensektor weit weniger fortgeschritten. AI4MediaData soll das ändern.

Umsetzung
Ziel des Projekts war es, den Prototyp einer Softwareplattform sowie Microservices zu entwickeln, die KI-basiert Daten aus unterschiedlichen Quellen zusammenführen, analysieren und verwerten können. Die Software analysiert Mediendaten mithilfe von KI-Methoden und verknüpft die gewonnenen Informationen zu datenbasierten Entscheidungshilfen. Im Rahmen des Projekts wurden zudem gemeinsam mit Medienpartnern (TV-Sender, Distributoren) DSGVO-konforme Lösungen geschaffen.

Die einzelnen Projektpartner haben ihre jeweiligen Stärken in die Entwicklung der Plattform eingebracht:

ZDF Digital hat einen Mapping-Algorithmus entwickelt, der Content miteinander vergleichen und passende Inhaltsempfehlungen ausgeben kann. Der entwickelte Prototyp des Produkts Asset Match ermöglicht es, größere Videoarchive automatisiert zu erschließen und mittels KI-Services inhaltlich zu analysieren. Als Assistenzsystem bietet Asset Match einen umfassenden und komfortablen Überblick über Metadaten und inhaltliche Ähnlichkeiten sowie eine automatische Genreklassifizierung.

Das Fraunhofer IAIS hat verschiedene Services zur KI-basierten Analyse eingebracht. Neben den ursprünglich geplanten Services zur Gesichts-, Objekt- und Konzepterkennung wurden ein Service zur Schnitt- und Szenenerkennung entwickelt und verschiedene Text-Mining-Services aus anderen Projekten zur Verfügung gestellt.

Die Hochschule Mainz war maßgeblich für die Erhebung und Prüfung der Nutzeranforderungen verantwortlich. Hierfür wurden zu Beginn Data-Thinking-Workshops durchgeführt, um die prototypischen Anwendungen sowohl nutzer- als auch datenzentriert zu konzipieren. Während und nach den einzelnen Entwicklungsphasen wurden die Ergebnisse der KI-basierten Systeme nutzerzentriert evaluiert. Dadurch konnten die Pilotanwendungen verfeinert und auf die Anforderungen der Nutzerinnen und Nutzer ausgerichtet werden.

Die DDG AG befasste sich maßgeblich mit der Algorithmik zum Thema Highlight Search und entwickelte hierbei KI-Modelle als Feature-Mining-Dienste zur Analyse von Gesichtsausdrücken (Facial Expression Recognition) und zur Bewertung der Grundstimmung von Aussagen in deutscher Sprache (Speech Sentiment). Es wurde ein Verfahren konzipiert, durch das sich diese Ergebnisse mit den Erkenntnissen aus akustischen Analysen und pixel-basierten Auswertungen kombinieren lassen. Ein weiteres Verfahren ermöglicht die Identifizierung emotionaler Schlüsselszenen in Videos.

Die erzielten Resultate wurden durch Expertentests und Publikumsevaluationen erfolgreich auf ihre Tauglichkeit geprüft und anhand des Feedbacks weiter verbessert.

Anwendung und Nutzen
AI4MediaData kann überall dort zum Einsatz kommen, wo Medieninhalte digital bereitgestellt werden. Ein Vorteil für die Nutzerinnen und Nutzer ist, dass sie interessante Medieninhalte leichter finden und individuell passende Empfehlungen erhalten. Mit Nutzerinnen und Nutzern sind in diesem Zusammenhang stets Mitarbeitende von Medienunternehmen gemeint und explizit nicht diejenigen, die die Produkte und Angebote von Medienunternehmen (z.B. Mediatheken, Websites, VoD-Plattformen) konsumieren.

AI4MediaData generiert Wissen über Medieninhalte, so dass zum Beispiel

• Medienschaffende/Content Manager erfolgreiche Medienprodukte produzieren können,
• Distributoren die richtigen Inhalte am richtigen Ort zur richtigen Zeit ausspielen und
• Werbetreibende datengestützt die richtigen Platzierungen für ihre Botschaften identifizieren können.

Die Teilprojekte werden nach Abschluss der Förderphase durch die jeweiligen Konsortialpartner zu Produkten weiterentwickelt und verwertet. Beispielsweise geht aus dem Prototyp Asset Match und der dazu erforderlichen Microservice-Architektur eine nutzerzentrierte Webanwendung zum Matching von passendem Content hervor. Auch der im Teilprojekt „Highlight Search” entwickelte Algorithmus zeigt gute Ergebnisse, sodass eine Implementierung beim Medienpartner vorbereitet wird.

Konsortium
ZDF Digital Medienproduktion GmbH (Konsortialführer), DDG – Digital Devotion Group GmbH, Hochschule Mainz, Fraunhofer IAIS