TD1, sur la Régression Logistique

(STA 2211)

Exercice 1 :
Un sondage international cité dans un article de presse (le 14 décembre 2004) rapportait
le faible taux d’approbation de la politique du Président des États-Unis d’Amérique, George
W. Bush, dans les pays traditionnellement alliés des États-Unis : 32% au Canada, 30% au
Royaume-Uni, 19% en Espagne et 17% en Allemagne.
Soient Y la variable aléatoire binaire indiquant l’approbation d’une personne à la politique
de G. W. Bush (1= approuve, 0= désapprouve), X1 la variable indiquant si la personne est
Canadienne (1=Canadien, 0=autre), X2 la variable indiquant si la personne est Britannique
(1=Britannique, 0=autre), X3 la variable indiquant si la personne est Espagnol (1=Espagnol,
0=autre).
Montrez qu’en terme de modèle logistique les résultats du sondage se traduisent par
h i
b = 1|X1 = x1 , X2 = x2 , X3 = x3 ) = −1.59 + 0.83x1 + 0.74x2 + 0.14x3 .
logit P(Y

Solution :

 
−1.59 = log 0.17/(1 − 0.17)

 
0.32/(1 − 0.32)
0.83 = log
0.17/(1 − 0.17)

 
0.30/(1 − 0.30)
0.74 = log
0.17/(1 − 0.17)

 
0.19/(1 − 0.19)
0.14 = log
0.17/(1 − 0.17)

Exercice 2 :
Soit Y une variable aléatoire à valeur dans {0, 1} et X une

variable aléatoire réelle. Sup-
posons que la distribution de X sachant Y = j soit N µj , σ 2 pour j = 0, 1.
Montrez que la distribution de Y sachant X suit un modèle logistique et exprimez les pa-
ramètres du modèle en fonction de µ1 , µ2 , σ et ρ = P(Y = 1).

1
Solution :

D’après le théorème de Bayes,

f (x|Y = 1)P(Y = 1)
P(Y = 1|X = x) = ,
f (x|Y = 1)P(Y = 1) + f (x|Y = 0)P(Y = 0)
avec
(x − µj )2
 
1
f (x|Y = j) = √ exp − , j = 0, 1.
σ 2π 2σ 2
D’où
h 2
i
ρ exp − (x−µ 1)
2σ 2
P(Y = 1|X = x) = h 2
i h i
(x−µ0 )2
ρ exp − (x−µ 1)
2σ 2
+ (1 − ρ) exp − 2σ 2
1
= h i
(1−ρ) (x−µ1 )2 (x−µ0 )2
1+ ρ
exp 2σ 2
− 2σ 2
1
= h i
(1−ρ) (2x−µ1 −µ0 )(µ0 −µ1 )
1+ ρ
exp 2σ 2
1
= h i
(1−ρ) 2x(µ0 −µ1 )−(µ21 −µ20 )
1+ ρ
exp 2σ 2

et ainsi,
1
P(Y = 1|X = x) =
1 + exp[−(α + βx)]
exp(α + βx)
=
1 + exp(α + βx)

avec
µ2 − µ2
 
(1 − ρ)
α = − log + 1 2 0
ρ 2σ

µ1 − µ0
β=
σ2

Exercice 3 :
En épidémiologie, il est fréquent de s’intéresser à l’étude de maladies rares. Lorsqu’on
sélectionne aléatoirement un échantillon de personnes dans la population (par exemple par
tirage au sort sur les listes électorales), les données contiennent alors souvent très peu de
personnes atteintes de cette maladie.

2
Question 1
Soit π la prévalence de la maladie rare dans la population, c’est à dire la probabilité qu’un
individu tiré au hasard soit malade. Soit n la taille d’un échantillon de la population tiré au
hasard. Soit Zn le nombre de personnes malades observé dans un échantillon aléatoire de taille
n.
1.1 Proposez un intervalle de fluctuation à 95% de Zn pour n grand, c’est à dire un inter-
valle dans lequel Zn sera inclut avec une probabilité de 95% pour n grand.

Solution :

D’après le Théorème Central Limite (TCL), pour n grand alors on a approximativement

√
 
Zn  
n − π ∼ N 0, π(1 − π) .
n

D’où, pour n grand, l’intervalle

h p i
nπ ± z1−α/2 nπ(1 − π) , (1)

où z1−α/2 est le quantile à 100(1 − α/2)% d’un loi normale centrée réduite, contient Zn
avec une probabilité approximativement égale à α. Pour = 5%, on connaı̂t z1−α/2 = 1.96
.
1.2 En déduire un intervalle de fluctuation de Zn pour n = 1000 et π = 0.006.

Solution :

Numériquement,
h p i
1000 × 0.006 ± 1.96 1000 × 0.006(1 − 0.006) ≈ [1; 11]

1.2 Supposons que (i) π = 0.006, (ii) que les épidémiologies n’ont d’argent que pour
interroger n = 1000 personnes et (iii) qu’ils récoltent leurs données en interrogeant des
personnes tirées aléatoirement sur les listes électorales.
Pensez vous que les épidémiologistes auront alors probablement assez de données pour
estimer un modèle logistique pour étudier cette maladie rare ?

Question 2
Les épidémiologistes souhaitent collecter leurs données retrospectivement, c’est à dire qu’ils
choisissent d’interroger n1 patients malades (récemment diagnostiqués à l’hôpital) et n0 per-
sonnes non malades, ces derniers étant tirés au sort sur les listes électorales, pour faire des
comparaisons.
Soit Y la variable aléatoire binaire à expliquer (Y = 1 signifiant malade, Y = 0 non malade)
et X = (X1 , . . . , Xp ) le vecteurs des variables explicatives qui modélise les informations qu’ils
récoltent sur chaque personne. On cherche à modéliser la probabilité de Y sachant X dans la
population générale.

3
 2.1 Rappelez la définition du modèle logistique.

Solution :

Pour tout X = (X1 , . . . , Xp ) = (x1 , . . . , xp ) = x :

Pp
eβ0 + j=1 β j xj
P(Y = 1|X = x) = β0 + pj=1 βj xj
P
1+e

On définit par S la variable aléatoire binaire qui indique si une personne (dans la population
générale) est inclue dans l’échantillon (S = 1) ou non (S = 0).

2.2 Quelles sont les valeurs des probabilités τ1 = P(Y = 1|S = 1) et τ0 = P(Y = 0|S = 1) ?

Solution :

τ1 = n1 /(n1 + n0 )
τ0 = n0 /(n1 + n0 )

2.3 Pourquoi est-il raisonnable de supposer que quelque soit j ∈ {0, 1}, pour tout x 6= x0
on a la relation suivante ?

P(S = 1|Y = j, X = x) = P(S = 1|Y = j, X = x0 ) (2)

Solution :
Ici on suppose que les informations (X) sont récoltés après le tirage au sort. Les probabilités
d’être tiré au sort (sachant le statut malade ou non) n’ont donc aucune raison de dépendre de
X (i.e. des réponses des personnes aux questions de l’enquête).

Dans la suite on suppose (2) et on pose τ1 = P(S = 1|Y = 1), τ0 = P(S = 1|Y = 0),
p(x) = P(Y = 1|X = x, S = 1) et π(x) = P(Y = 1|X = x).

2.3 Montrez que

 
τ1
logit{p(x)} = log + logit{π(x)} (3)
τ0

Solution :

4
 p(x) = P(Y = 1|X = x, S = 1)
P(S = 1|Y = 1, X = x)P(Y = 1|X = x)
=
P(S = 1|Y = 1, X = x)P(Y = 1|X = x) + P(S = 1|Y = 0, X = x)P(Y = 0|X = x)
τ1 P(Y = 1|X = x)
=
τ1 P(Y = 1|X = x) + τ0 P(Y = 0|X = x)
τ1 π(x)
=  
τ1 π(x) + τ0 1 − π(x)
 . 
τ1 π(x) τ1 π(x)
= × × +1
τ0 1 − π(x) τ0 1 − π(x)

d’où
 
 τ1 π(x)
logit p(x) = log ×
τ 1 − π(x)
 0
τ1
= log + logit{π(x)}
τ0

Question 3
En déduire si la collecte rétrospective des données permet d’estimer simplement certains
paramètres du modèle logistique, et si oui, lesquels ?

Conclure : une approche consistant à collecter rétrospectivement des données pour ensuite
les analyser avec un modèle logistique vous parait-elle puissante pour l’étude des facteurs de
risques d’une maladie rare ?
Oui, tous les paramètres sauf β0 .
La collecte rétrospective de données et l’utilisation du modèle logistique est une méthode
puissante pour l’étude des facteurs de risque d’une maladie rare