Détection intégrée des "deepfakes" et vérification automatique du locuteur

Fonction
Département
Date
07-2024
Reference
Poste de Doctorant H/F - Offre de thèse (Références : SN/NE/PhD/PEPR1/072024)

Description

La recherche visant à améliorer la robustesse des systèmes biométriques vocaux face aux attaques par usurpation d'identité est aujourd'hui relativement mûre. Les solutions typiques impliquent l'utilisation d'un classificateur binaire auxiliaire pour détecter et filtrer les échantillons falsifiés ou usurpés. Le rôle du système de vérification du locuteur consiste alors uniquement à déterminer si les énoncés d'inscription et de test correspondent ou non au même locuteur. L'utilisation de sous-systèmes distincts combinés de cette manière pourrait être sous-optimale et limitée par la propagation des erreurs ; les erreurs commises par un système ne peuvent pas être corrigées par l'autre sous-système. Des travaux récents ont montré le potentiel de l'optimisation conjointe par laquelle les deux sous-systèmes sont entraînés ensemble pour résoudre la tâche unique de vérification automatique et fiable du locuteur.

Les performances des systèmes optimisés conjointement et des systèmes intégrés uniques sont limitées par l'utilisation de données d'entraînement collectées auprès d'un nombre insuffisant de locuteurs. La base de données ASVspoof 5 [1] contient des données collectées auprès d'un nombre substantiel de locuteurs et permettra non seulement d'explorer plus avant l'optimisation conjointe, mais aussi des systèmes plus étroitement intégrés, en particulier des classificateurs uniques qui effectuent une détection et une reconnaissance simultanées. Cette thèse étudiera de telles solutions intégrées uniques basées soit sur le réglage fin de classificateurs binaires pré-entraînés, soit sur des techniques d'apprentissage multitâches. L'objectif sera d'apprendre les sous-espaces contenant les artefacts liés au locuteur et ceux liés à l'usurpation d'identité, puis d'effectuer une vérification automatique fiable du locuteur à l'aide d'un seul classificateur. Étant donné qu'il existe un risque de dégradation de la généralisation lorsque les rôles traditionnellement remplis par deux sous-classeurs distincts sont assumés par un seul classificateur, nous explorerons l'utilisation de l'augmentation des données afin d'améliorer la robustesse face à des attaques et à des locuteurs inconnus.

Le candidat retenu rejoindra le groupe "Sécurité audio et vie privée" au sein du département "Sécurité numérique" d'EURECOM.  Vous travaillerez sous la supervision des Profs. Nicholas Evans et Massimiliano Todisco et avec le Prof. Driss Matrouf au Laboratoire d'Informatique Avignon (LIA), et il y aura des opportunités de collaboration internationale, par exemple avec les membres du comité d'organisation d'ASVspoof. Le poste est financé par le Programme prioritaire de recherche et d'équipement (PEPR) en cybersécurité de l'Agence nationale de la recherche (ANR).

[1] “ASVspoof 5 Evaluation Plan”, Hector Delgado, Nicholas Evans, Jee-weon Jung, Tomi Kinnunen, Ivan Kukanov, Kong Aik Lee, Xuechen Liu, Hye-jin Shim, Md Sahidullah, Hemlata Tak, Massimiliano Todisco, Xin Wang, Junichi Yamagishi, ASVspoof consortium, 2024 https://www.asvspoof.org/file/ASVspoof5___Evaluation_Plan_Phase2.pdf

Prérequis

  • Niveau d'études / diplôme : Maîtrise
  • Domaine / spécialité :  Informatique, Intelligence Artificielle, Traitement de la parole, Détection de Deepfake
  • Technologies / langages / systèmes : apprentissage automatique, apprentissage profond, Python et PyTorch
  • Autres compétences / spécialités : solides compétences en mathématiques, en analyse, en résolution de problèmes, en communication et en rédaction.
  • Autres éléments importants : un excellent parcours académique, la maîtrise de l'anglais.

Dossier de candidature

Les candidatures doivent être accompagnées de :

  • Curriculum Vitae détaillé,
  • Liste des publications en précisant les trois publications les plus importantes,
  • Document de deux pages présentant les perspectives de recherches et d’enseignement du candidat,
  • Noms et adresses de trois références.

Le tout est à adresser à secretariat@eurecom.fr sous la référence : SN/NE/PhD/PEPR1/072024

Date d'embauche : Poste à pourvoir de suite
Durée du contrat : Durée de la thèse

 

More info