Afficher en version réduite
Rédiger le cours
Moon Arrows Sun
Arrows
Return Retour
Imprimer

Concentration et loi des grands nombres

« Plus l'échantillon est grand, plus la moyenne se rapproche de l'espérance » : cette phrase, répétée depuis la seconde, reçoit ici une majoration chiffrée - et une démonstration.

Somme de variables aléatoires

L'espérance se comporte comme une moyenne : elle traverse les sommes et les multiplications, sans aucune hypothèse.

$$ E(X + Y) = E(X) + E(Y) \qquad E(aX) = a \, E(X) $$

La variance, elle, se disperse au carré, et son additivité réclame l'indépendance:

$$ V(aX) = a^2 \, V(X) $$
$$ V(X + Y) = V(X) + V(Y) \quad \text{si} \ X \ \text{et} \ Y \ \text{sont indépendantes} $$

Une variable binomiale \(X \sim \mathcal{B}(n \ ; \ p)\) compte les succès de \(n\) épreuves indépendantes : c'est la somme de \(n\) variables de Bernoulli de paramètre \(p\).

$$ E(X) = np \qquad V(X) = n \, p(1-p) $$

Espérance et variance de la loi binomiale

Notons \(X_1, \ldots, X_n\) les variables de Bernoulli associées à chaque épreuve : \(X_i\) vaut \(1\) en cas de succès, \(0\) sinon.

$$ X = X_1 + X_2 + \ldots + X_n $$

Chaque \(X_i\) a pour espérance \(p\) et pour variance \(p(1-p)\). La linéarité de l'espérance donne alors :

$$ E(X) = \underbrace{p + p + \ldots + p}_{n \ \text{termes}} = np $$

Les épreuves sont indépendantes, donc les \(X_i\) le sont aussi : les variances s'ajoutent.

$$ V(X) = \underbrace{p(1-p) + \ldots + p(1-p)}_{n \ \text{termes}} = n \, p(1-p) $$

C'est la décomposition en somme qui donne ces deux formules, et non un calcul direct sur la loi binomiale. Reconnaître une variable comme somme de variables plus simples est le réflexe du chapitre.

Un échantillon, et sa moyenne

Échantillon de taille \(n\)

Un échantillon de taille \(n\) est une liste \(X_1, X_2, \ldots, X_n\) de variables aléatoires indépendantes et de même loi.

On leur associe deux variables, la somme et la moyenne :

$$ S_n = X_1 + X_2 + \ldots + X_n \qquad M_n = \frac{S_n}{n} $$

Si chaque \(X_i\) a pour espérance \(\mu\) et pour variance \(\sigma^2\), la linéarité de l'espérance et l'indépendance donnent :

$$ E(S_n) = n\mu \qquad V(S_n) = n\sigma^2 $$
$$ E(M_n) = \mu \qquad V(M_n) = \frac{\sigma^2}{n} $$

L'espérance de la moyenne ne dépend pas de \(n\), mais sa variance est divisée par \(n\). Tout le chapitre tient dans cette dissymétrie : la moyenne reste centrée sur \(\mu\), et se resserre autour.

L'additivité des variances exige l'indépendance; celle des espérances, non. C'est la seule différence entre les deux lignes ci-dessus.

L'inégalité de Bienaymé-Tchebychev

Inégalité de Bienaymé-Tchebychev

Pour toute variable aléatoire \(X\) d'espérance \(\mu\) et de variance \(V(X)\), et tout réel \(\delta > 0\) :

$$ P\bigl(|X - \mu| \geqslant \delta\bigr) \leqslant \frac{V(X)}{\delta^2} $$

Elle majore la probabilité de s'écarter de l'espérance d'au moins \(\delta\), et elle ne demande rien de la loi : ni sa forme, ni ses valeurs.

Exemple :

Pour \(X\) d'espérance \(20\) et de variance \(9\), avec \(\delta = 6\) :

$$ P\bigl(|X - 20| \geqslant 6\bigr) \leqslant \frac{9}{36} = 0{,}25 $$

Autrement dit, \(X\) tombe dans \(\bigl] 14 \ ; \ 26 \bigr[\) avec une probabilité d'au moins \(0{,}75\).

La majoration est universelle, mais très grossière. Pour un écart de deux écarts types elle donne \(0{,}25\), alors que la plupart des lois usuelles restent en dessous de \(0{,}05\). C'est le prix de ne rien supposer sur la loi.

Elle ne sert donc à rien quand \(\dfrac{V(X)}{\delta^2}\) dépasse \(1\) : la majoration est alors vraie mais sans contenu, puisqu'une probabilité est toujours inférieure à \(1\).

L'inégalité de concentration

Appliquons l'inégalité précédente non plus à \(X\), mais à la moyenne \(M_n\) de l'échantillon, dont la variance vaut \(\dfrac{\sigma^2}{n}\):

Inégalité de concentration

$$ P\bigl(|M_n - \mu| \geqslant \delta\bigr) \leqslant \frac{\sigma^2}{n \delta^2} $$

Exemple :

Pour une variable de variance \(\sigma^2 = 4\), un échantillon de taille \(100\) et un écart \(\delta = 0{,}5\) :

$$ P\bigl(|M_{100} - \mu| \geqslant 0{,}5\bigr) \leqslant \frac{4}{100 \times 0{,}25} = 0{,}16 $$

Le facteur \(n\) est au dénominateur: agrandir l'échantillon fait tendre la majoration vers zéro, quel que soit l'écart \(\delta\) fixé à l'avance.

La loi des grands nombres

Loi des grands nombres

Pour tout réel \(\delta > 0\) fixé :

$$ \lim\limits_{n \to +\infty} P\bigl(|M_n - \mu| \geqslant \delta\bigr) = 0 $$

Elle se lit directement sur l'inégalité de concentration : le majorant \(\dfrac{\sigma^2}{n\delta^2}\) tend vers \(0\), donc la probabilité qu'il encadre aussi.

C'est la justification de tout ce qui a été admis depuis la seconde : la fréquence observée d'un caractère se rapproche de sa probabilité, et la moyenne d'un grand échantillon estime l'espérance.

Dimensionner un échantillon

C'est l'usage que le programme demande : se donner une précision \(\delta\) et un risque \(\alpha\), puis chercher la taille \(n\) qui les garantit.

$$ \frac{\sigma^2}{n\delta^2} \leqslant \alpha \quad \Longleftrightarrow \quad n \geqslant \frac{\sigma^2}{\alpha \, \delta^2} $$

Exemple :

Avec \(\sigma^2 = 4\), une précision \(\delta = 0{,}1\) et un risque \(\alpha = 0{,}05\) :

$$ n \geqslant \frac{4}{0{,}05 \times 0{,}01} = 8 \ 000 $$
$$ n = 8 \ 000 \ \text{observations} $$

Diviser la précision par \(10\) multiplie la taille requise par \(100\): le \(\delta\) est au carré. C'est pourquoi gagner une décimale coûte si cher dans un sondage.