La personne a quitté EURECOM
- FRANCIS Danny
Thesis
Analyse et structuration automatiques des données multimédia des Festivals
Cette thèse se déroule dans le cadre du projet ANR GAFES. Le projet se propose
d'étudier l'activité des réseaux sociaux autour des grands festivals, du point de vue des
usages via les données collectées, et par la ré-éditorialisation des contenus publiés. Ce
projet fait collaborer des équipes d'informaticiens et des sociologues.
Dans le cadre de ce projet, la thèse s'intéressera en particulier à la structuration et à la
ré-éditorialisation des contenus. Elle se spécialisera sur les méthodes à mettre en oeuvre
pour le traitement des images et des vidéos, ainsi que sur les problèmes de combinaison
d'informations multimédia, en collaboration avec les autres partenaires du projet.
- structuration : il s'agira d'extraire des descripteurs, d'identifier des similarités, de
produire des représentations concises des contenus. Nous proposerons des paradigmes
de représentation robuste des documents, basés en particulier sur les méthodes à
régression partielles, qui permettent de combiner connaissance à priori et analyses non
supervisées de grandes quantités de données.
- ré-éditorialisation : l'objectif est d'exploiter les données vidéos collectées pour la
composition de vues synthétiques des collections. Concrètement, il s'agira de produire
automatiquement des films répondant à une demande précise de l'utilisateur (par
exemple: une présentation courte des spectacles d'une journée des Transmusicales).
Nous évaluerons des approches basées sur l'extraction puis le ré-assemblage de
segments vidéos, en traitant les questions de fond liées aux fonctions d'intérêt dans un
contexte culturel et aux logiques de composition, problèmes ouverts qui seront traités
conjointement par les informaticiens et par les sociologues.
Approche envisagée
- la structuration : structurer consiste à extraire des descripteurs, et/ou identifier des
similarités qui permettent de produire des représentations concises et caractéristiques
des contenus, de plus ou moins haut niveau. C'est donc un travail de catégorisation et
d'extraction de connaissances s'appuyant sur des propriétés qui seront définies dans la
perspective de l'analyse sociologique et de la ré-éditorialisation. Dans le projet, on cherchera à la fois à extraire des éléments objectifs liés au document lui-même (auteur,
canal, sujet, etc.) et des descripteurs de plus haut niveau, caractérisant par exemple la
nature du lien entre un document étudié et le festival (par exemple commentaire d'un
bloggeur sur le spectacle d'ouverture dans la cour d'honneur du Palais des Papes),
catégoriser les documents en fonction des typologies des publics définies par les
sociologues, identifier la valence des opinions exprimées, rapprocher des vidéos ayant
une ambiance similaire...Cet objectif d'extraction et d'analyse des contenus pose des
problèmes ouverts : transcription automatique de données peu contrôlées, analyse des
opinions, des émotions... Un des objectifs majeurs du projet est de proposer des
méthodes robustes pour l'analyse de contenus générés et/ou diffusés par les
utilisateurs.
- la ré-éditorialisation : cet axe propose d'exploiter la structuration automatique des
données pour la composition de vues synthétiques et dynamiques des collections.
Concrètement, il s'agira de produire automatiquement des vidéos répondant à une
demande précise de l'utilisateur (par exemple, une présentation courte des spectacles
d'une journée des Transmusicales, ou l'ensemble des spectacles dans la cours d'honneur
du Palais de Papes, à Avignon). Ce processus de ré-éditorialisation peut être traité par
des approches issues du résumé automatique, bien qu'il comporte des singularités liées
à l'objectif de production d'une vidéo répondant à une requête spécifique et aux données
sources, issues de documents hétérogènes relatifs à un événement culturel ou artistique.
Nous évaluerons des approches basées sur l'extraction puis le ré-assemblage de
segments vidéos, en intégrant, dans le processus de segmentation et de sélection des
segments, des paramètres caractéristiques de la forme des documents et de la façon
dont ils sont perçus par le public.
La définition des fonctions d'intérêt doit reposer sur une modélisation aussi robuste que
possible de l'intérêt du spectateur, notion évidemment très subjective. Développés dans
le cadre du résumé texte, les principaux algorithmes cherchent à minimiser la perte
d'information induite par la compression du texte. Dans le contexte de documents
culturels, la notion de quantité d'information ou d'importance d'un segment doit
évidemment être revisitée : qu'est ce qui est important dans une pièce de théâtre? Ce
dont le spectateur se souvient, un moment chargé émotionnellement, la performance
d'un acteur ? Les moments de ruptures ou ceux qui sont caractéristiques de l'ensemble
du spectacle?
Au-delà des fonctions d'intérêt, l'assemblage des segments de documents est
généralement traité comme un problème d'optimisation de l'intérêt global du document
assemblé, sous contrainte de temps. Intégrer une structure narrative ou un choix
éditorial dans la logique de composition reste un problème complètement ouvert,
auquel le projet s'attaquera.
L'objectif majeur de cette partie du projet est donc la modélisation des fonctions
d'intérêt et des logiques de compositions des films générés, modélisation qui doit s'appuyer sur des bases mathématiques claires et une connaissance des publics et de la
réception des oeuvres issue de la sociologie, notamment de la sociologie du cinéma.
Plan de travail
Première année
La première année sera consacrée à la collecte des données multimédia relatives aux
festivals (tâche partagée avec d'autres partenaires), au traitement des bases images et
vidéos collectées avec les outils disponibles au sein du département Multimédia
d'EURECOM, et à la mise en place de première expériences de structuration permettant
de visualiser les résultats d'analyse et de les présenter aux autres équipes, afin de mieux
définir les critères d'évaluation pertinents pour le projet.
Seconde année
En fonction des critères d'évaluation définis, les méthodes d'analyse (traitement de
signal, classification, apprentissage) seront adaptées pour permettre d'obtenir les
meilleurs résultats possibles. Une méthodologie d'évaluation sera mise en place. En
parallèle, on développera les aspects de ré-éditorialisation par la création de résumés,
en définissant des fonctions d'intérêt satisfaisant aux critères définis en commun par le
projet.
Troisième année
Les méthodes qui auront été proposées pour la structuration et la ré-éditorialisation
seront affinées et évaluées, au travers de la collaboration avec les autres partenaires. En
particulier, la combinaison multimédia des informations images et vidéos avec les autres
informations (textuelles, géo-temporelles) sera développée. Les procédures d'évaluation
permettront de mesurer les améliorations obtenues.
