Résumé
L'objectif de ce cours est d'introduire l'étudiant à des applications nouvelles et passionnantes dont l'analyse et la résolution utiliseront des outils puissants mais simples de la théorie de l'information. Ces applications se situeront dans le contexte des communications, de l'informatique distribuée, de la détection compressive ainsi que de la science des données.
Modalités Pédagogiques
Le cours couvrira des éléments tirés d'une variété de manuels fondamentaux et tentera d'instiller un mélange adéquat de théorie et de pratique. L'étudiant se verra enseigner une variété d'approches de la théorie de l'information et sera exposé à l'impact technologique de ces approches. Nous apprendrons comment les mécanismes mathématiques de base peuvent être utilisés pour fournir une vision claire et des solutions simples à certains des problèmes technologiques les plus intéressants dans le domaine des communications, de l'informatique distribuée, de la détection compressive et de l'apprentissage automatique.
Règles du cours
- Examens : L'examen (final) durera deux heures et sera complet. Pendant l'examen, toutes les notes de ce cours sont autorisées.
- Projet : Le travail effectué pendant le projet peut être collaboratif.
- Elements of Information Theory, de T. M. Cover et J. A. Thomas, Wiley Series.
- Network Information Theory, de A. El Gamal et Y. Kim, Cambridge University Press.
- Fundamentals of Wireless Communication, de D. Tse et P. Viswanath, Cambridge University Press.
- Théorie de l'information niveau 1 (fortement recommandé mais non obligatoire)
- Une compréhension de la théorie des probabilités et des processus aléatoires est utile.
Description
La structure de base du cours est la suivante. Tout d'abord, il s'agira d'une étude de base de diverses métriques de la théorie de l'information.
- Métriques de la théorie de l'information, qui incluent :
o Capacité du canal
o Degrés de liberté
o Capacité ϵ-Outage
o Les mesures de fiabilité.
Ensuite, le cours mettra l'accent sur des sujets liés à la communication, en étudiant divers
- Les paramètres classiques des canaux, tels que :
o Canaux à accès multiples (diverses régions de performance)
o Classe de canaux de diffusion
o Différents canaux de relais (capacité et résultats d'interruption).
En passant à la science des données, où la nature des données est d'une importance cruciale, le cours comprendra ensuite l'étude de divers paramètres de sources classiques, tels que :
- Paramètres de source classiques, tels que :
o L'approche Slepian-Wolf
o Codage de source avec perte
o Considérations sémantiques.
Par la suite, le cours explorera conjointement les communications et l'informatique distribuée en étudiant
- La théorie avancée de l'information sur les réseaux, en se concentrant sur des sujets tels que :
o Le codage des réseaux
o Codage d'index et mise en cache
o L'informatique distribuée codée.
Enfin, motivé par leur impact technologique, le cours explorera, si le temps le permet, des sujets qui impliquent des applications variées de la théorie de l'information à l'informatique fédérée.
- Applications de la théorie de l'information à l'apprentissage fédéré et à la détection comprimée.
Objectifs d’apprentissage
Le principal objectif d'apprentissage de ce cours sera d'aider l'étudiant à utiliser des outils mathématiques simples issus de la théorie de l'information et des statistiques, afin d'analyser et de résoudre divers défis technologiques modernes dans une variété de domaines.
Nombre d'heure : 21 heures
Evaluation :
- Examen final (60% de la note finale)
- Projet de collaboration (40% de la note finale)
