Exercice 1

alphabet /Omega = {1,2,3,4,5}
1.
H(x)= -0.1log2(01)-0.2log2(0.2)-0.3log2(0.3)-0.15log2(0.15)-0.25log2(0.25)
    =~ 2.23 bits/symbole

2.
P2={0.05;0.05;0.05;0.05;0.8}

H(x) = 4*(-0.05log2(0.05))-0.8log2(0.8)

     = -0.2log2(0.05)-0.8log2(0.8)
     =~ 1.12 bits/symbole

3.
P3={0.2;0.2;0.2;0.2;0.2}

H(x)= 5*(-0.2log2(0.2))
    = -log2(1/5)
    = log2(5) bits/symbole
    =~


Exercice 2 - Info. moyenne
1.
alphabet \Omega ={pile}
évenement certains, entropie nulle.
H(x)=0

2.

Y={1 si pair
  {0 sinon

  alphabet \Omega={0,1} de taille n=2
  dé équilibré, distribution uniforme
  p=0.5

  info moyenne = 0.5*1+0.5*0 = 0.5

  H(Y)=2*(-0.5log2(0.5))
      =-log2(1/2)
      =log2(2) bits/symbole
      =1 bits/symbole

3.
  alphabet \Omega={pique, trefle, carreau, coeur} de taille 4
  H(x)=-0.3log2(0.3)-0.4log2(0.4)-0.2log2(0.2)-0.1log2(0.1)
      =~1.85 bits/symbole



Exercice 3 - Entropie de la somme de deux variables
1.
  entropie h(Y) de VA y = X1+X2
  comme Xi \Appart {0,1} alors Y peut prendre les valeurs :
  Y={0 avec P(Y=0)=P(X1=0 ET X2=0)=P(X1=0)*P(x2=0)=(1-p)^2
    {1 avec P(Y=1)=P(x1=0 Et x2=1) OU (P(x1=1) ET p(X2=0))=P(X1=0)*P(x2=1)+P(X1=1)*P(x2=0)=2*p*(1-p)
    {2 avec P(Y=2)=P(X=1 ET x2=1)=P(X1=1)*P(x2=1)=p^2

//détails trop long

    H(Y)=-2p(1-p)-2plog2(p)-2(1-p)log2(1-p)



2.
  si p=0.5 :
  H(Y)=-2*0.5(1-0.5)-log2(0.5)-2(1-0.5)log2(1-0.5)

      = -0.5 + log2(2) + log2(2)
      = 1.5 bits/symbole

Exercice 4
1.
  R=log2(37)
   =~ 5.20945336563 bits/symbole
2.
  quantité moyenne d'info = 10*log2(37)=~52.1 bits/seconde

  taux de compression sans pertes de données

  t = (65536-52.1)/65536 = 99.92 %

3.
  r=~3.71 bits/symbole

  redondance
  D=R-r=1.5 bits/symbole

  la quantité moyenne d'info = 37.1 bits/seconde
  taux de compression sans pertes de données
  t = (65536-37.1)/65536 = 99.94 %

Exercice 5
1.1
  x1:alphabet à 1 symbole
  ->evenement certains
    -> entropie Nulle (h(x1)=0)

 .2
  x2:alphabet a 2 symbole
  ->H(x2)=-0.25log2(0.25)-0.75log2(0.75)=~0.811bits/symbole

 .3
  x3 alphabet a 2 symbole
  -> distribution uniforme
  -> h(x3)=log2(2)=1

 .4
  X4 alphabet a 2^8 élément
  -> distribution uniforme
  -> H(x4)=log2(2^8)=8 bits/symbole

2
  t1=1-(0/8)=100%
  t2=1-(0.811/8)=89.96%
  t3=1-(1/8)=87.5%
  t4=1-(8/8)=0%


EXERCICE 6
1 q d'info
  h_g = -log2(25/30) = -log2(5/6)=log2(6/5)=~ 0.263 Shannon
  h_p = -log2(5/30)=log2(6)=~2.585 Shannon

2 q moyenne d'info
  H=-\sigma p_i * log2(p_i) =~0.65bits/symbole

3 Valeur MAX H_max (distribution uniforme Pg=Pp=0.5) d'un jeu binaire :
  Hmax=log2(2)= 1bits/symbole
  H<Hmax