English summary

This individual project of IM2 entitled MCA for "Multimodal Content Abstraction" addresses the issues of content-based indexing, retrieval, semantic analysis and mining of multimedia data based on multiple modalities.

As such, it focuses on all activities related to content abstraction (i.e., making semantic sense of the content) of mono- and multi-modal information based on the annotation and features of all signal-based documents (i.e.  documents representing raw signals). Such multimedia documents include video, audio (inc. speech), images, slides, complex printed documents, handwritten notes as instances of containers of spatial, temporal and multimodal information.

The main objectives of the individual project are:

• to enrich multimedia documents, such as dialogue recordings and associated static documents, with cross-modal metadata, either via fully automatic recognizers or via computer-aided manual methods. The documents are processed automatically or via user interaces and are attached descriptive data to enable serach and retrieval on the collections at a semantic level;
• to extract and mine information from the above documents and associated metadata. Wheras the above item concentrates on processing documents in isolation, here the collection of documents is looked at in its entirety to understand its diversity, completeness, etc ;
• to define and implement multimodal indexing and retrieval approaches for the above information content. It is important that users are able to retrieve documents or groups of documents via queries (eg via keywords);
• to define and implement strategies for managing the above information content at the collection level. Here, operations inlcude providing a summary of the collection or representative samples so as to quickly grasp its content and diversity.

By proposing strategies and techniques for the automatic construction of content-based representations of  multimedia data, MCA offers IM2 core solutions to analyze, manage, search and retrieve all types of information  addressed by the project. Content-based models build upon mono- and multi-modal modeling, as defined in IM2.AP, IM2.VP and IM2.MPR. MCA further aims at bridging the gap between such automatically derived content models and  desirable query construction terms, as defined in IM2.DMA.
Knowledge about both the domain and actual users (along with their interaction) may be used to relate content-driven models and annotation or meta data terms. In turn, the presence of users in the process gets MCA close to studies in IM2.HMI, allowing efficient human-machine interaction.

Keywords: Information indexing, information retrieval, semantic augmentation, multimedia mining, multimodal processing, interactive systems


Résumé en français

Ce sous-projet d'IM2 intitulé MCA pour "Multimodal Content Abstraction" (Abstraction de Contenu Multimodal) vise à proposer des solutions aux problèmes de recherche et d'indexation par le contenu, d'analyse et de fouille de données à un niveau sémantique, en se basant sur l'analyse combinée de diverses modalités composant les documents.

L'abstraction de contenu mono-ou multi-modale consiste à associer une description sémantique à ce contenu. Les documents visés ici sont les documents vidéo, audio (y.c la parole), les images, documents imprimés, notes écrites, etc.

Les objectifs principaux de ce sous-projet sont:

• d'enrichir les documents multimédia, tels que des enregistrements de parole et documents associés, grâce à des techniques manuelles ou progressivement automatisées. Les documents sont traités et associés avec une description sémantique qui améliorera leur recherche par la suite;
• d'extraire et découvrir de l'information à partir des documents et description cités ci-dessus. D'une approche basée sur le document, on passe à un traitement global de la collection pour comprendre et caractériser sa diversité, complétude, etc;
• de définir et mettre en oeuvre des méthodes de recherche et d'indexation appliquées au contenu cité ci-dessus. Il est important de garder en vue l'objectif de permettre aux utilisateur-trice-s la recherche de documents par requêtes (par exple, par mot-clés);
• de définir et mettre en oeuvre des méthodes permettant la gestion globale du contenu cité ci-dessus. Ici, on vise à fournir à l'utilisateur-trice un résumé ou un échantillon représentatif de la collection afin d'en établir la diversité, complétude ou autre paramètre rapidement.

En proposant des stratégies et techniques pour la construction de représentations du contenu multimédia, MCA fourni à IM2 des solutions pour l'analyse, la gestion et recherche de tout type d'information défini dans ce projet. Ce sous-projet est bien intégré avec le reste d'IM2. Il s'appuie sur les résultats de IM2.AP, IM2.VP et IM2.MPR pour le traitement des données audio, visuelles et jointes, respectivement. MCA s'attache aussi à rapprocher les modèles de contenus basés sur des caractéristiques physiques du document et les descriptions haut-niveau (sémantiques, définies dans IM2.DMA) de ces mêmes documents.
MCA propose finalement aux utilisateurs des outils interactifs pour la recherche, l'annotation manuelle ou semi-supervisée et se rapproche donc des résultats de IM2.HMI.


Mots-clés: Indexation de contenu multimédia, Recherche de contenu multimédia, Abstraction sémantique de contenu, Fouille de données, systèmes interactifs.