Depuis 1948, année de la publication de l'article de Shannon intitulé "A mathematical theory of communications", la théorie de l'information a ouvert la voie aux développements les plus importants du monde actuel de l'information et des communications, ce qui en fait peut-être l'outil théorique le plus important pour comprendre les principes fondamentaux des technologies de l'information. L'objectif principal de ce cours est de fournir une couverture de niveau introductif de la théorie de l'information. La théorie de l'information étudie les limites théoriques ultimes du codage de la source et de la compression des données, du codage des canaux et des communications fiables via des canaux, et fournit les lignes directrices pour le développement d'algorithmes pratiques de traitement du signal et de codage. Le cours est destiné à fournir un point de vue intuitif et une base pour la recherche et la pratique.
Modalités pédagogiques : Cours magistraux et devoirs maison.
Règles du cours :
Politique d'assiduité : La présence est attendue et requise à chaque période de cours, à moins que cela ne soit discuté au préalable avec l'instructeur. Nous allons couvrir beaucoup de terrain dans ce cours pour construire une base solide pour la théorie de l'information, donc la présence est importante. Pour encourager l'apprentissage, la préparation et la participation, les cours magistraux seront complétés par des lectures supplémentaires ou du matériel de révision, par exemple des diapositives, des articles, des codes MATLAB et du matériel de cours en ligne pour couvrir certains des concepts de base avant les cours magistraux.
Autres politiques de cours : Tous les appareils mobiles (par exemple, les smartphones, tablettes, ordinateurs) doivent être stockés en toute sécurité loin pendant le cours et ne sont pas être utilisés, sauf indication contraire spécifique de l'instructeur. L'utilisation d'un appareil mobile pendant un examen sans l'autorisation explicite de l'instructeur sera interprétée comme le transfert illicite de données d'examen, sera considérée comme un acte de tricherie et sera traitée comme telle.
Vous êtes tenu d'informer à l'avance l'instructeur de tout problème susceptible d'affecter votre performance en classe. Il s'agit notamment de l'absence à des réunions de classe importantes, de devoirs en retard, de l'incapacité à effectuer une tâche assignée, du besoin de temps supplémentaire pour les devoirs, etc. Vous devez être prêt à fournir des preuves suffisantes des circonstances sur lesquelles vous vous basez pour faire une demande spéciale.
Intégrité académique : Les relations entre les étudiants et les enseignants sont fondées sur la confiance. Par exemple, les étudiants doivent croire que les enseignants ont pris des décisions appropriées concernant la structure et le contenu des cours qu'ils enseignent, et les enseignants doivent croire que les travaux que les étudiants rendent sont les leurs. Les actes qui violent cette confiance sapent le processus éducatif. Dans ce cours, tous les travaux remis pour l'obtention d'une note doivent représenter le travail personnel de l'élève. La remise d'un travail qui ne respecte pas cette politique peut entraîner une pénalité de F dans la classe et peut faire l'objet d'autres mesures disciplinaires.
Si vous avez des questions concernant cette politique avant de rendre un devoir, veuillez demander des éclaircissements.
Lecture obligatoire et disponible à la bibliothèque :
- Livre : COVER T., THOMAS J. Elements of Information Theory. Edition 2, John Wiley & Sons, 2012, 784p.
Lectures recommandées : (non obligatoire)
- Livre : GALLAGER, ROBERT G., Information Theory and Reliable Communication. New York: Wiley, 1968.
- Livre : Gray, Robert M., Entropy and Information Theory. Springer Science & Business Media, 2011.
- Livre : AHLSWEDE A., ALTH¨OFER I., DEPPE C., TAMM, U. Probabilistic Methods and Distributed Information. Springer International Publishing, 2019.
- Publication : WEISSMAN, TSACHY. “EE 376A: Information Theory” (2016).
- Publication : POLYANSKIY Y., Wu Y. Lecture notes on information theory. Lecture Notes for ECE563 (UIUC) (2014) and, 6(2012-2016), 7.
- Livre : EL GAMAL, ABBAS, YOUNG-HAN KIM. Lecture notes on network information theory. (2010).
- Livre : MACKAY, DAVID JC. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2003.
- Livre : CSISZ´AR, IMRE, J´ANOS K¨ORNER. Information theory: Coding Theorems for Discrete Memoryless Systems. Cambridge University Press, 2011.
- Livre : LEINSTER, TOM. Entropy and Diversity: The Axiomatic Approach. Cambridge University Press, 2021.
- Livre : SHAMAI, SHLOMO, ZAIDI, ABDELLATIF. Information Theory for Data Communications and Processing. Entropy 22.11 (2020).
Connaissances de base en statistiques and probabilités. MATLAB basique - Pas de programmation C.
Nous couvrirons les sujets suivants d’après le livre Elements of Information Theory de COVER et THOMAS :
- Une introduction à la théorie de l'information
- Entropie discrète, entropie conjointe, information mutuelle, divergence
- La propriété d'équipartition asymptotique
- Compression des données, codage des sources : Codes de Huffman, compression universelle des données.
- Capacité des canaux et codage
- Théorème de codage des canaux : communiquer avec une probabilité d'erreur nulle
- L'entropie différentielle et ses propriétés
- Canal gaussien : Capacité des canaux gaussiens à temps discret, bruit corrélé.
- Canaux gaussiens parallèles, modulation multiporteuse par remplissage d'eau.
- Théorie de la distorsion du débit : Compression des sources gaussiennes, quantification vectorielle.
- Sujets de la théorie de l'information des réseaux : L'accès multiple, le canal de diffusion, le codage des sources corrélées.
Outils en ligne : Moodle sera utilisé pour ce cours. Si vous n'avez pas accès à cet outil, veuillez en informer l'instructeur dès que possible.
- L'utilisation principale est pour les annonces de cours, les discussions en classe et la publication de questions.
- Contient toutes les informations et les liens du cours.
- Contient les notes de cours, les devoirs, les solutions et les contre-examens ; vous êtes responsable de la connaissance de toute information qui y apparaît.
Calendrier des cours (provisoire)
|
DATE |
SUJET |
LECTURES (C. & T.) |
TÂCHES À EFFECTUER |
|
T 28/02 |
Une introduction à la théorie de l'information |
1 |
/ |
|
T 7/03 |
Entropie discrète, entropie conjointe, information mutuelle, divergence |
2 |
/ |
|
T 14/03 |
La propriété d'équipartition asymptotique ; compression de données, codage de source : Codes de Huffman, compression universelle des données. |
3, 5 |
/ |
|
T 21/03 |
Capacité des canaux et codage |
7 |
/ |
|
T 28/03 |
Le théorème du codage de canal : communiquer avec une probabilité d'erreur nulle |
7 |
HW 1 due |
|
T 4/04 |
Session de travaux pratiques avec un sujet choisi |
/ |
Rapport/Code |
|
T 11/04 |
Examen de mi-session |
/ |
/ |
|
T 18/04 |
Entropie différentielle et ses propriétés, Taux d'entropie d'un processus stochastique |
8, 4 |
/ |
|
T 9/05 |
Canal gaussien : Capacité des canaux gaussiens à temps discret, bruit corrélé. |
9 |
/ |
|
T 16/05 |
Canaux gaussiens parallèles, modulation multiporteuse par remplissage d'eau. |
9 |
/ |
|
T 23/05 |
Théorie de la distorsion du débit : Compression de sources gaussiennes, quantification vectorielle. |
10 |
/ |
|
T 30/05 |
Sujets en théorie de l'information des réseaux : L'accès multiple, le canal de diffusion, le codage de sources corrélées (le théorème de Slepian-Wolf). |
15 |
/ |
|
T 6/06 |
Session de travaux pratiques avec un sujet choisi |
/ |
Rapport/Code |
|
T 13/06 |
TBD |
/ |
HW 2 due |
|
T ?/06 |
Examen final |
1, 2, 3, 5, 7-10, 15 |
/ |
Objectifs d'apprentissage:
-
Comprendre les notions fondamentales : Qu’est-ce que l'information, comment la mesure-t-on ? Comme la communique-t-on et comment la compresse-t-on et quelles sont les limites ?
-
Comprendre comment communique-t-on et compresse-t-on a plusieurs (dans un réseau) ?
Nb Heures: 42 heures
Evaluation:
Politique d'assiduité : La présence est attendue et requise à chaque période de cours, à moins que cela ne soit discuté au préalable avec l'instructeur. Nous allons couvrir beaucoup de terrain dans ce cours pour construire une base solide pour la théorie de l'information, donc la présence est importante. Pour encourager l'apprentissage, la préparation et la participation, les cours magistraux seront complétés par des lectures supplémentaires ou du matériel de révision, par exemple des diapositives, des articles, des codes MATLAB et du matériel de cours en ligne pour couvrir certains des concepts de base avant les cours magistraux.
Autres politiques de cours : Tous les appareils mobiles (par exemple, les smartphones, tablettes, ordinateurs) doivent être stockés en toute sécurité loin pendant le cours et ne sont pas être utilisés, sauf indication contraire spécifique de l'instructeur. L'utilisation d'un appareil mobile pendant un examen sans l'autorisation explicite de l'instructeur sera interprétée comme le transfert illicite de données d'examen, sera considérée comme un acte de tricherie et sera traitée comme telle.
Vous êtes tenu d'informer à l'avance l'instructeur de tout problème susceptible d'affecter votre performance en classe. Il s'agit notamment de l'absence à des réunions de classe importantes, de devoirs en retard, de l'incapacité à effectuer une tâche assignée, du besoin de temps supplémentaire pour les devoirs, etc. Vous devez être prêt à fournir des preuves suffisantes des circonstances sur lesquelles vous vous basez pour faire une demande spéciale.
Intégrité académique : Les relations entre les étudiants et les enseignants sont fondées sur la confiance. Par exemple, les étudiants doivent croire que les enseignants ont pris des décisions appropriées concernant la structure et le contenu des cours qu'ils enseignent, et les enseignants doivent croire que les travaux que les étudiants rendent sont les leurs. Les actes qui violent cette confiance sapent le processus éducatif. Dans ce cours, tous les travaux remis pour l'obtention d'une note doivent représenter le travail personnel de l'élève. La remise d'un travail qui ne respecte pas cette politique peut entraîner une pénalité de F dans la classe et peut faire l'objet d'autres mesures disciplinaires.
Si vous avez des questions concernant cette politique avant de rendre un devoir, veuillez demander des éclaircissements.
