English summary

The goal of IM2.DMA is to develop new techniques for managing multimodal data, in order to facilitate its sharing among the IM2 partners. The first test bed for these proposals is the domain of multimodal meeting recordings, i.e. data obtained from multiple capture devices (cameras, microphones and other instruments) installed in smart meeting rooms. As most of the IM2 research contributions are based on data-driven methods (i.e. software that is trained on large amounts of data and tested on other data), a common data set and an extensible range of annotations are crucial for project integration.

Therefore, IM2.DMA aims at developing hardware setups for data acquisition, storage and distribution, coupled with software solutions that allow smooth and efficient access to the data and to its annotations. Flexible data models are proposed to accommodate the exchange of various types of information, namely raw multimedia data, metadata about each recording, and time-dependent annotations of each recording. IM2.DMA aims also at creating a software and demo repository that gathers demos from the other IPs composing IM2. The research tasks of IM2.DMA can be summarized as the following combinations of objectives and topics: {modeling, acquisition, storage, distribution} × {data, metadata, annotations, software}.

The activities of IM2.DMA can be roughly divided into two themes: (A) devices for data acquisition and (B) data and software repositories and portals. Within the first theme, the main tasks are: improving the portability of smart meeting room devices; extending them to conference recording systems; achieving interoperability of heterogeneous meeting rooms; and using RFID technology for user-friendly meeting room control. Within the second theme, the main tasks are: the normalization of metadata and annotations formats to achieve transparent conversion procedures; the setup of media file servers for data distribution; the setup of databases and exchange protocols for real-time integration of software components; the development and evaluation of browsers for multimodal recordings; the design of a demo and software portal for access to the demos provided by the IM2 partners.

Résumé en français

L’objectif principal d’IM2.DMA est de développer de nouvelles techniques pour la gestion des données multimodales, afin de faciliter leur partage entre les membres du pôle IM2. Le premier domaine d’application de ces techniques est celui des enregistrements multimodaux de réunions, à savoir les données obtenues grâce aux multiples capteurs (caméras, microphones et autres instruments) installés dans des salles de réunions intelligentes. Dans la mesure où la plupart des recherches entreprises au sein d’IM2 adoptent une approche empirique (fondée sur l’apprentissage automatique utilisant de grandes quantités de données, et sur l’évaluation utilisant des données de test), un jeu de données commun et un ensemble extensible d’annotations sont essentiels pour assurer l’unité des travaux entrepris.

IM2.DMA vise par conséquent le développement de solutions matérielles pour l’acquisition, le stockage et la distribution de données, couplées à des solutions logicielles permettant un accès transparent et efficace aux données annotées. Des modèles flexibles sont proposés pour faciliter l’échange des divers types d’information, à savoir les données multimédia brutes, les métadonnées concernant chaque réunion, et les annotations temporelles. IM2.DMA vise également la création d’un répertoire de logiciels et de démonstrations conçus par les membres d’IM2. Les tâches d’IM2.DMA peuvent être résumées comme la combinaison suivante d’objectifs et sujets: {modélisation, acquisition, stockage, distribution} × {données, métadonnées, annotations, logiciels}.

Les activités d’IM2.DMA se divisent en deux thèmes : (A) systèmes pour l’acquisition des données, et (B) banques de données et portails logiciels. Dans le cadre du premier thème, les principales tâches sont : améliorer la portabilité des équipements de capture ; les étendre à l’enregistrement de conférences ; améliorer l’interopérabilité des salles d’enregistrement ; et utiliser la technologie RFID pour une gestion plus conviviale des salles. Dans le cadre du second thème, les principales tâches sont: normaliser les formats des métadonnées et des annotations afin de simplifier les procédures de conversion; la mise en place de serveurs multimédia pour la distribution des données; la mise en place de bases de données et d’un protocole de connexion pour l’intégration des composants; le développement et l’évaluation de navigateurs destinés aux enregistrements multimodaux ; la conception d’un portail donnant accès aux démonstrations proposées par les membres d’IM2.

Keywords

smart meeting rooms, normalization of metadata and annotations, media file servers, databases.