Le document présente quatre exercices sur la théorie de l'information. L'exercice 1 concerne le calcul d'entropies pour un tournoi entre deux joueurs. L'exercice 2 porte sur une source binaire modélisée par un modèle de Markov d'ordre 1. L'exercice 3 traite d'une source émettant trois symboles modélisée par un modèle de Markov d'ordre 1. L'exercice 4 considère une source binaire modélisée par un modèle de Markov d'ordre 2.
0 évaluation0% ont trouvé ce document utile (0 vote)
62 vues2 pages
Le document présente quatre exercices sur la théorie de l'information. L'exercice 1 concerne le calcul d'entropies pour un tournoi entre deux joueurs. L'exercice 2 porte sur une source binaire modélisée par un modèle de Markov d'ordre 1. L'exercice 3 traite d'une source émettant trois symboles modélisée par un modèle de Markov d'ordre 1. L'exercice 4 considère une source binaire modélisée par un modèle de Markov d'ordre 2.
Le document présente quatre exercices sur la théorie de l'information. L'exercice 1 concerne le calcul d'entropies pour un tournoi entre deux joueurs. L'exercice 2 porte sur une source binaire modélisée par un modèle de Markov d'ordre 1. L'exercice 3 traite d'une source émettant trois symboles modélisée par un modèle de Markov d'ordre 1. L'exercice 4 considère une source binaire modélisée par un modèle de Markov d'ordre 2.
Le document présente quatre exercices sur la théorie de l'information. L'exercice 1 concerne le calcul d'entropies pour un tournoi entre deux joueurs. L'exercice 2 porte sur une source binaire modélisée par un modèle de Markov d'ordre 1. L'exercice 3 traite d'une source émettant trois symboles modélisée par un modèle de Markov d'ordre 1. L'exercice 4 considère une source binaire modélisée par un modèle de Markov d'ordre 2.
Un tournoi consiste dans une séquence de trois combats et termine aussitôt un des joueurs gagne deux combats. Soit X la variable aléatoire qui représente le résultat d’un tournoi entre les joueurs A et B, par exemple AA, ou BAB. Soit Y le nombre de combats effectués. Y peut prendre les valeurs 2 et 3.
1. Sous l’hypothèse que les joueurs A et B sont équilibrés et que les combats sont indépendants, calculer H(X), H(Y ), et H(X/Y ). 2. Soit Z l’équipe gagnante. Déterminer H(X/Z) et comparer avec H(X).
Exercice 2 :
Une source binaire S est modélisée par un modèle markovien du premier ordre :
1. A l’aide du théorème de Bayes, calculer P (0), P (1) et les probabilités conjointes.
2. Calculer l’entropie de la source et sa redondance. 3. Démontrer la relation : H0 (S 2 ) = H1 (S) + H0 (S)
Exercice 3 :
Une source X émet trois symboles o, n et s. Sa modélisation markovienne du premier ordre conduit aux probabilités conditionnelles P (x[t]/x[t − 1]) suivantes :
5 1 1 P (o/o) = 8 P (o/n) = 4 P (o/s) = 8 1 1 1 P (n/o) = 4 P (n/n) = 2 P (n/s) = 4 1 1 5 P (s/o) = 8 P (s/n) = 4 P (s/s) = 8
1. Déterminer l’entropie de cette source.
2. Calculer sa redondance.
1 Exercice 4 :
Considérons le cas d’une modélisation markovienne d’ordre deux d’une source binaire représentée par la figure ci-dessous. Les états sont constitués des deux derniers symboles reçus (x[t]x[t − 1]).
X1
01
1/ 4 2/ 3
X0 X2 1/ 3 3/ 4 1/ 5 1/ 3 00 11
4/ 5 2/ 3
X3
10
Figure 1 – Diagramme construit à partir de la modélisation markovienne d’ordre 2 d’une
source binaire
1. Calculer les probabilités des états et déduire l’entropie de la source H2 (S).
2. Déduire les probabilités des symboles 0 et 1. 3. Quelle est l’entropie de la modélisation markovienne d’ordre 0 de la source ? 4. Déterminer l’entropie H1 (S) qui correspond au modèle de Markov d’ordre 1. 5. Interpréter ces résultats.
