Videos via Suchanfrage durchsuchen

Drei Forscher der Universität Basel - Ivan Giangreco, Luca Rossetto und Heiko Schuldt - arbeiten seit Anfang dieses Jahres an einem Media-Retrieval-Forschungsprojekt mit dem Namen iMotion. Ziel davon ist, eine möglichst natürliche, effektive und effiziente Suche in grossen Videokollektionen zu erlauben, wie Schuldt erklärt.

Um suchen zu können, formulieren Nutzer eine Anfrage mithilfe von handgezeichneten Skizzen und Sprachbefehlen. Dabei berücksichtigt das iMotion-Forschungsprojekt Schuldt zufolge für die inhaltsbasierte Suche besonders Bewegungen innerhalb von Videos. "Nutzer können demnach nicht nur relevante Objekte, sondern auch deren Bewegung in Videosequenzen skizzieren und für die Suche verwenden."

Indexierung und Schnittstellen

Um dieses Ziel zu erreichen, seien drei Aspekte zu beachten: Erstens, welche Merkmale man aus aus den Videos extrahiert (beispielsweise Farben, Kanten, Bewegung) um überhaupt eine Suche unterstützen zu können. Zweitens, wie man diese Merkmale indexiert, um die Suche effizient durchführen zu können. Und drittens, welche Benutzerschnittstellen sich eignen, um die Suche zu formulieren. Diesen drei Fragen geht die Universität Basel mit ihren Partnern Université de Mons (Belgien) und Koç Universitesi (Türkei) nach.

Wie Schuldt weiter erklärt, besteht das iMotion-System, wie in klassischen Retrieval-Systemen üblich, aus einem Online- und einem Offline-Teil. Im Offline-Teil, also dem zeitunkritischen Teil des Systems, werden Videos zum System hinzugefügt und analysiert. Dabei werden Merkmale, die für die spätere Suche nötig sind, extrahiert und in einer Datenbank abgespeichert. Gute Merkmale zu finden - also Merkmale, die möglichst diskriminant sind - sei eine der Forschungsfragen im iMotion-Projekt, so Schuldt. Im Online-Teil, also dem zeitkritischen Teil des Systems, haben die Nutzer die Möglichkeit, Suchanfragen durchzuführen.

Suchen mit der Cloud

Während der Suche werden die in der Datenbank gespeicherten Merkmale der Videos mit den Merkmalen der Anfrage verglichen. Diese Vergleichsoperation auf einer grossen Anzahl von Videos anzuwenden, die insgesamt mehrere hundert Stunden umfassen, sei eine der grossen Herausforderungen von iMotion, so Schuldt. Früher sei dafür leistungsstarke Hardware nötig gewesen. Das Projekt iMotion hingegen nutzt dafür die Microsoft Azure Cloud. "Multimedia Retrieval und Cloud Computing finden erst langsam zueinander, wir möchten jedoch die Synergien dieser zwei Forschungsfelder nutzen, speziell um die Effizienz der Suche zu erhöhen."

Das Forschungsteam hat erste Forschungsprototypen entwickelt, die einzelne Funktionalitäten aufzeigen, zudem werde eine Suche mithilfe von Skizzen in Videokollektionen bereits unterstützt. "Wir arbeiten im Moment an der Verbesserung der extrahierten Merkmale, an einem intuitiven User Interface und an der Verbesserung der Effizienz in der Suche. Zudem versuchen wir, unsere Videokollektion permanent zu vergrössern", so Schuldt.

Mögliche Zusammenarbeit mit der Wirtschaft

Das iMotion-Projekt stehe zwar erst am Anfang, so Schuldt, es gebe aber bereits Gespräche mit Firmen über eine mögliche Zusammenarbeit und über die Verwendung der im Projektrahmen entwickelten Systeme in konkreten Anwendungen. "Bisher haben wir erste Ideen umgesetzt, es gibt aber noch eine Reihe offener und spannender Fragen, auf die wir uns in unseren Forschungsaktivitäten konzentrieren." So werde das System in Zusammenarbeit mit den beiden Partnerinstitutionen sukzessive weiterentwickelt.

Hinweis: Das Forschungsprojekt iMotion läuft noch mehr als 2 Jahre. Finanziert wird es vom Schweizerischen Nationalfonds im Kontext von Chist-ERA, einem Projekt innerhalb des Era-Net-Programms der EU. Das Projekt ist eine Fortsetzung verschiedener Forschungsaktivitäten im Bereich der Datenbankunterstützung für Multimedia-Daten. Die Forschungsgruppe Datenbanken und Informationssysteme an der Universität Basel beschäftigt sich bereits seit 2004 mit Multimedia Retrieval, beziehungsweise mit der Verwaltung von multimedialen Daten und der Suche in grossen Multimedia-Kollektionen.

Vorgängerprojekte von iMotion:

• DELOS (Network of Excellence in Digital Libraries): In diesem Netzwerk mit über 60 Partnern aus europäischen Universitäten und Forschungseinrichtungen hat die Uni Basel wir ein Teilprojekt (DelosDLMS) geleitet, in dem sie mit Hilfe ihres Basler OSIRIS-Systems Funktionalitäten diverser Partner in einem integrierten Prototyp-System zusammengeführt haben (z.B. inhaltsbasierte Suche in Bild-, Video-, Audio, 3D-Kollektionen, Visualisierungen, neuartige Benutzerschnittstellen und Anfragetypen, etc.). Diese Aktivitäten waren Ausgangspunkt für diverse weitere Projekte mit ausgewählten Partnern aus dem Netzwerk.
• DILIGENT (A Digital Library Infrastructure on Grid Enabled Technology): In diesem EU-Projekt hat die Uni Basel zusammen mit Partnern einen neuartigen Ansatz zur Verwaltung von grossen Multimedia-Kollektionen mit Hilfe von Grid-Technologien erforscht und entwickelt.
• QbS (Query by Sketching), PAD-IR (Paper-Digital System for Information Capture and Retrieval), MM-DocTable (Multimedia Document Engineering Workflows on Tabletop Devices): In diesen Forschungsprojekten, vom Schweizerischen Nationalfonds gefördert und in Zusammenarbeit mit der Forschungsgruppe GlobIS der ETH Zürich durchgeführt, hat die Uni Basel neuartige Schnittstellen für die inhaltsbasierte Suche (content-based retrieval) in Bild- und Videodatenbanken entwickelt. Eine Besonderheit dieses Ansatzes ist die Verwendung von "interaktivem Papier" und die Möglichkeit, mittels Skizzen relevante Teile eines Bildes oder eines Videosequenzen zu skizzieren und nach ähnlichen Bildern / Videoframes zu suchen.