APA11 - GUIDE METHODOLOGIQUE Tome 2 Vdef
APA11 - GUIDE METHODOLOGIQUE Tome 2 Vdef
APA11 - GUIDE METHODOLOGIQUE Tome 2 Vdef
D’ÉLABORATION ET DE SUIVI-EVALUATION
DES POLITIQUES PUBLIQUES
TOME 2
Suivi-Evaluation des politiques publiques
Janvier 2016
En effet, l’agenda post 2015 propose dix-sept objectifs à atteindre à l’horizon 2030
tous aussi légitimes et importants (sécurité alimentaire, santé et bien-être, éducation,
gouvernance et décentralisation, sécurité et paix, etc.). Le parti pris de ce document
méthodologique est de mettre un focus spécifique sur le triptyque emploi-genre-
changement climatique, fondamental dans toutes les stratégies nationales de dévelop-
pement et politiques sectorielles qui se veulent inclusives et durables.
de nos institutions, dont nous espérons qu’il pourra aider les gouvernements africains
et les autres parties prenantes à élaborer des politiques bien conçues pour un déve-
loppement durable au service des peuples et des nations.
AVANT-PROPOS
REMERCIMENTS
LISTE DES FIGURES
LISTE DES TABLEAUX
LISTE DES ENCADRES
GUIDE METHODOLOGIQUE
SIGLES ET ABREVIATION
INTRODUCTION 13
BIBLIOGRAPHIE 76
ANNEXES 78
ANNEXE 1 : CANEVAS TYPE INDICATIF POUR LA STRUCTURATION
D’UN RAPPORT DE SUIVI ET D’EVALUATION 79
ANNEXE 2 : CADRE LOGIQUE (INDICATIF) DU TRIPTYQUE
EMPLOI-GENRE-CHANGEMENT CLIMATIQUE 82
sectorielle 72
Halieutiques
Il est important de souligner que les pratiques et les systèmes de planification, de suivi
et d’évaluation axés sur les résultats sont encore plus efficaces lorsqu’ils sont accom-
pagnés de mesures de reddition de comptes bien définies et de mesures incitatives
promouvant la conduite souhaitée.
Comme évoqué dans le tome 1 du guide, l’’agenda post 2015 propose dix-sept objectifs
à atteindre à l’horizon 2030, dont trois concernent plus spécifiquement le triptyque
genre–emploi–changement climatique pour :
• atteindre l'égalité des sexes et autonomiser toutes les femmes et les filles ;
• développer une croissance économique forte, inclusive et durable et le travail
décent pour tous ;
• promouvoir des actions à tous les niveaux pour lutter contre le changement climatique ;
La prise en compte de ce triptyque reste ainsi fondamentale dans toutes les stratégies
nationales de développement, des politiques sectorielles et de suivi qui se veulent
inclusives et durables.
Cette initiative permettra ainsi aux décideurs de disposer d’outils de suivi et d’évaluation
nécessaires pour répondre aux enjeux liés à la promotion de l’emploi, la réduction des
inégalités en matière de genre et aux changements climatiques dans la perspective
d’une croissance durable et inclusive.
L’élaboration de ce Guide répond à un besoin réel du fait que les outils de suivi et
évaluation permettent d’identifier et de mesurer les résultats des politiques, des
programmes ou des projets gouvernementaux. En l’absence de suivi et d’évaluation, il
serait impossible de déterminer si les activités sont orientées dans la bonne direction,
si des progrès et des succès sont enregistrés, et de quelle manière l’action future pourrait
être améliorée. Avec la production d’information fiable et à temps, les systèmes de suivi
et évaluation contribuent, par exemple, à détecter les problèmes dans la conception des
programmes, ou que ceux-ci ne bénéficient pas aux populations cibles ou sont peu
rentables. Ils favorisent ainsi une réactivité des interventions par des reformulations,
des améliorations ou le cas échéant l’abandon des programmes. Il comporte deux
et les distinctions entre le suivi et l’évaluation (S&E) et les autres activités de supervision ;
la deuxième partie présente les différentes étapes d’exécution du processus de suivi
et évaluation qui sont traitées sous forme de fiche en vue de faciliter leur compréhension.
GUIDE METHODOLOGIQUE
L’efficience : Ce concept permet de vérifier que les effets obtenus d’une intervention
ont été à un coût raisonnable (par exemple en comparaison avec d’autres types
d’intervention).
L’efficacité : Ce concept permet de vérifier que les effets attendus d’une intervention
ont été produits grâce aux actions effectivement menées.
De manière générale, le suivi indique si les activités réalisées vont dans le bon sens et
au bon rythme. Il fournit aux gestionnaires et aux parties prenantes d’une politique,
programme ou projet (PPP), l’information nécessaire pour :
• suivre l’affectation et l’utilisation des ressources (physiques, matérielles, finan-
cières) ;
• apprécier les réalisations (produits, services, etc.) obtenues et mesurer le degré
d’atteinte des résultats en rapport avec les prévisions initiales ;
• détecter les déviations éventuelles enregistrées dans la mise en œuvre ;
• faciliter la prise de décision relative à la poursuite de la politique, du programme
ou du projet (réorientations techniques, réallocation des fonds, ajustement des
objectifs programmés).
Production de
rapports périodiques :
• Analyses
spécifiques rapides
Réorientation des
orientations stratégiques
du projet, programme ou
de la politique
Une confusion courante réside entre l’observation des réalisations produites pour
satisfaire des publics d’une part, et l’observation de leurs effets sur les publics d’autre
part. C’est la confusion entre le suivi et l’évaluation.
Le suivi se focalise sur la mise en œuvre de se singularise donc par le fait que les
informations produites proviennent principalement des opérateurs eux-mêmes et sont
en premier lieu utilisées pour piloter l’intervention. En outre, outre, lorsque le suivi
comporte un jugement, celui-ci fait référence à l’atteinte des objectifs opérationnels.
L’évaluation est une appréciation périodique et objective des PPP prévues, en cours
de réalisation ou achevés. Les évaluations permettent de répondre à des questions
précises liées à la conception, la mise en œuvre ou aux résultats des PPP. Contraire-
ment au suivi qui est continu, les évaluations sont périodiques et effectuées à un
moment donné, généralement par des spécialistes extérieurs au PPP. La conception,
la méthodologie et le coût des évaluations varient fortement en fonction du type de
question à laquelle elles répondent. D’une manière générale, les évaluations s’attèlent
à trois types de questions :
• les questions descriptives : à ce niveau, l’évaluation vise à montrer ce qui se
passe, à décrire les processus, les conditions qui prévalent, les relations orga-
nisationnelles et les points de vue des diverses parties prenantes au PPP ;
• les questions normatives : l’évaluation compare ce qui se passe à ce qui devrait
se passer ; elle consiste à étudier les activités et à estimer si les objectifs ont été
atteints ou non. Les questions normatives peuvent concerner les intrants, les
activités et les extrants (résultats intermédiaires) ;
• les questions de cause à effet : l’évaluation se concentre sur les résultats et
cherche à déterminer dans quelle mesure l’intervention entraîne des changements.
SUIVI EVALUATION
• Lie les activités et les ressources correspon- • Evalue les contributions spécifiques de
dantes aux objectifs certaines activités et leurs effets sur les résultats
L'expérience montre plutôt que les évaluations réussies remplissent une pluralité de
GUIDE METHODOLOGIQUE
fonctions. Il est néanmoins utile de bien préciser les différentes finalités de l’évaluation.
Les critères et classifications des évaluations sont multiples. Deux typologies semblent
ici plus importantes que les autres. La première, liée au moment de réalisation. La
seconde, qui classe les évaluations selon les protagonistes.
On distingue ici (i) l’évaluation ex ante, (ii) l’évaluation en cours d’exécution (souvent à
mi-parcours), (iii) l’évaluation finale, (iv) et l’évaluation ex post.
(i) L’évaluation ex ante est utilisée pour désigner l’étude de faisabilité d’une action
publique. Elle est conduite avant la mise en œuvre de l’action publique
(politique, programme, etc.). Elle est une "appréciation globale de la pertinence,
de la faisabilité et de la durabilité probable d’une action de
1
Basé sur : Conseil scientifique de l’évaluation, 1996
(i) L’évaluation finale prend place à la fin de l’action. Elle examine les résultats et
tire des observations des conséquences à court terme. Elle favorise l’examen
des différents éléments de la PPP, vérifie les effets et les impacts possibles de la
politique ou du programme en accordant une attention particulière à la durabilité
des bénéfices produits et à la rentabilité de l’intervention en des termes aussi
bien économiques que sociaux.
(i) L’évaluation interne (ou auto-évaluation) est "conduite par un service et/ou des
personnes qui dépendent des responsables de l’action de développement au
sein des organisations chargées de la mise en œuvre ou chez le bailleur de
fonds, chez ses partenaires » (CAD/OCDE). Elle est réalisée par les propres
responsables de la gestion de l’action de développement. Les évaluations
internes s’effectuent, habituellement, pendant la phase d’exécution de l’inter-
vention. Généralement moins coûteuses que les évaluations externes, elles ont
également l’avantage de favoriser plus aisément les processus d’apprentissage.
GUIDE METHODOLOGIQUE
(ii) L’évaluation externe d’une action de développement est conduite par des
services et/ou des experts extérieurs à l’organisation responsable de la mise en
œuvre directe de l’intervention. Ce modèle est le plus communément utilisé. Ses
principaux avantages sont sa présumable objectivité, dérivée de son caractère
indépendant, et la possibilité de reposer sur des compétences d’expertise de
haut niveau. Les principaux inconvénients proviennent du temps limité sur le
terrain de ses missions, qui rend difficile la connaissance approfondie de l’envi-
ronnement qui doit être évalué. Ceci peut conduire à des recommandations
d’experts difficilement applicables. Le coût élevé de l’évaluation est également
un facteur à prendre en compte.
(iii) L’évaluation mixte est menée conjointement par les responsables de l’intervention
(équipe interne) et une équipe externe sur la base de termes de référence
communs pour obtenir une évaluation globale qui intègre les deux perspectives.
L’idée est de combiner les points de vue internes au projet avec ceux, plus
objectifs et peut être plus larges, d’évaluateurs extérieurs. Cette approche contri-
bue également au renforcement des capacités institutionnelles.
(iv) L’évaluation participative est une méthode d’évaluation selon laquelle les repré-
sentants des agences d’aide et des autres parties prenantes (y compris les
bénéficiaires) collaborent pour concevoir et conduire une évaluation et en tirer
les conclusions.
Exemples :
• Quel est l’impact de l’amélioration du revenu des femmes sur leur niveau de vie ?
• Quel est l’impact de l’amélioration observée dans la connaissance des préjugés
sociaux et culturels défavorables aux femmes sur leur degré d’insertion dans la
vie économique ?
• Quel est l’impact de l’interdiction de l’utilisation des déchets plastiques non
biodégradables sur la fertilisation des sols dans une région donnée ?
Les évaluations d’impact sont indispensables pour plusieurs raisons. En effet, elles
permettent :
• d’orienter les décisions politiques : en effet, les évaluations d’impact permettent
d’éclairer les responsables politiques lorsqu’ils prennent plusieurs types de
décisions : interruption des programmes inefficaces, expansion des interventions
éprouvées, ajustement des bénéfices, sélection entre plusieurs options de
programmes. Pour être efficaces, les évaluations d’impact doivent être utilisées
de manière sélective pour répondre aux questions de la politique publique les
plus importantes. Elles s’avèrent particulièrement utiles dans le cadre de
programmes pilotes qui éprouvent de nouvelles et prometteuses approches
n’ayant pas encore fait leurs preuves.
que les autres ? Supposons par exemple que l’on veule atténuer le niveau des
pressions sur la dégradation des sols dans une région A donnée (résultat
attendu). On peut décider de mener l’une ou l’autre des diverses politiques
suivantes susceptibles de contribuer à répondre à cet objectif : i) analyser
l’impact d’une politique de reforestation sur la fertilisation des sols ; ii) analyser
l’impact d’un programme de création des forêts classées dans la région A en
question ; iii) analyser dans la mise en œuvre d’un programme d’irrigation massif
des principaux sites arables de la région A en question. Pour toutes ces alternatives
de PPP possibles, compte tenu des moyens limités disponibles, il conviendra de
retenir celle dont l’impact sera le plus important (efficacité). L’évaluation d’impact
permet ainsi d’opérer des choix sélectifs sur les priorités des politiques à mettre
en œuvre et est donc au service d’une meilleure conception des PPP. Elle peut
aussi servir à tester la pertinence des innovations ou des ajustements à envisager
dans la reformulation d’un PPP.
1.3.4.3 A quel moment décider de procéder à une évaluation de l’impact d’un PPP ?
Tous les PPP ne nécessitent pas une évaluation d’impact. Ces évaluations peuvent être
coûteuses et le budget prévu pour les évaluations doit être utilisé de manière straté-
gique. Si on veut lancer un nouveau PPP ou si on veut envisager l’élargissement d’un
PPP en vigueur, et qu’on nous demande si une évaluation d’impact soit nécessaire, les
questions indicatives suivantes peuvent aider à trancher :
Une planification précoce permet d’élargir les possibilités pour la constitution des
groupes de comparaison, permet d’assurer la collecte des données de référence et
contribue à établir un consensus sur les objectifs du programme et de l’évaluation entre
les différentes parties prenantes. Il est donc très important de prévoir l’évaluation dès
la phase de conception du projet, mais il peut être utile d’attendre que le PPP ait acquis
une certaine maturité avant de réaliser l’évaluation.
La collecte des données de référence est toujours nécessaire, mais la question du laps
de temps requis avant de mesurer les résultats se pose souvent. Tout dépend du
contexte : si l’évaluation a lieu trop tôt, il y a un risque de ne mesurer qu’un impact
partiel ou nul. Si elle a lieu trop tard, il y a un risque que le PPP ait perdu le soutien des
donateurs ou des autorités ou qu’un mauvais PPP ait déjà été élargi. Les éléments
suivants doivent donc être pris en considération lorsqu’il s’agit de déterminer le calendrier
de collecte des données du suivi :
• le cycle du PPP, notamment la durée, le temps nécessaire à la mise en œuvre et
les résultats éventuels ;
• le temps jugé nécessaire pour que le PPP produise des résultats ainsi que la
nature des résultats à l’étude ;
• les cycles d’élaboration des politiques publiques.
L’évaluation doit donc être en adéquation avec le cycle de mise en œuvre du PPP et
ne pas modifier son plan de déroulement. Elle doit éventuellement s’adapter aux éventuels
retards de mise en œuvre si les services prévus tardent à être offerts ou sont retardés
par des facteurs externes. En général, même s’il faut prévoir un calendrier d’évaluation
dès la conception du PPP, les évaluateurs doivent faire preuve de flexibilité et accepter
de procéder à des modifications au fur et à mesure du déroulement du PPP.
L’obtention d’impact à long terme constitue parfois l’objectif explicite de certains PPP,
mais ils peuvent aussi résulter d’effets imprévus et indirects, liés par exemple aux
changements de comportement. La détermination de l’impact à long terme peut
du temps. Une méthodologie d’évaluation d’impact bien conçue peut être compromise.
Par exemple, des effets de débordements peuvent se produire entre les bénéficiaires
du programme et les unités du groupe de comparaison (ceux qui ne participent pas
au PPP).
Bien que les données de suivi à court terme et à long terme soient complémentaires,
le calendrier de l’évaluation doit tenir compte du moment opportun pour que les résultats
de l’évaluation éclairent les prises de décision de politique publique. Il doit ainsi assurer
la synchronisation des activités d’évaluation et de collecte de données avec les prises
de décisions majeures. La production des résultats doit être planifiée de manière à
GUIDE METHODOLOGIQUE
justifier les budgets, l’élargissement éventuel du PPP ou toute autre décision stratégique
de politique publique.
Exemple :
Dans le cadre de son programme de distribution de moustiquaires
imprégnées aux ménages identifiés comme les plus pauvres sur
l’ensemble du territoire national, dans un délai de trois mois, le Ministère
de la Santé a mis en place une organisation. Cette dernière permet
d’identifier le profil des cibles potentielles, de planifier l’organisation
par région du processus de distribution, de suivi l’évolution des travaux
conformément au calendrier arrêté, d’évaluer le taux d’exécution des
activités ainsi que le taux de distribution par région (avec un objectif
minimum d’un taux de 80%), d’évaluer les résultats finaux de cette
importante activité avant la période d’hivernage. L’évaluation du pro-
cessus, indépendamment des résultats atteints par le projet, va cher-
cher à savoir si l’organisation initialement prévue pour le bon
déroulement des activités, s’est déroulée comme cela avait été planifié.
Lorsque les résultats de l’évaluation d’impact sont disponibles, ils peuvent être combinés
aux données sur les coûts pour traiter deux autres types de questions. Tout d’abord,
pour les évaluations d’impact élémentaires, le fait de prendre en compte les coûts
permettra de réaliser une analyse coût-bénéfice et de répondre à la question suivante
: quel est le rapport coût-bénéfice d’un PPP donné ? L’analyse coût-bénéfice permet
d’estimer les bénéfices totaux espérés du programme, projet ou politique par rapport
à ses coûts totaux. L’objectif est finalement de déterminer l’ensemble des coûts et des
bénéfices monétaires d’un PPP, et de voir ainsi si les bénéfices sont supérieurs aux
coûts. Dans un monde parfait, une analyse coût-bénéfice fondée sur les résultats
concrets de l’évaluation d’impact pourrait être réalisée non seulement pour un PPP
donné, mais aussi pour toute une série de PPP ou d’alternatives de conception d’un
même PPP.
De façon générale, les conséquences d’un projet ou d’une décision entrent dans l’une
des quatre catégories suivantes :
• coûts directs : coûts en capital, coûts d’opération, . . .
• coûts indirects : perte de productivité, perte de compétitivité, coûts d’opportunités
des
• bénéfices directs : dommages évités (diminution de la probabilité et de la gravité
des accidents), amélioration de la qualité des résultats visés, etc.
• bénéfices indirects : innovations, meilleure image ou réputation, diminution des
risques, etc.
L’objectif de l’ACB est donc finalement d’attribuer une valeur monétaire à chacune des
conséquences identifiées, tâche plus ou moins facile, ou directe, suivant que ces
conséquences ont trait ou non à ces biens ou services mais pour lesquels l’analyste
peut obtenir des données permettant d’estimer des variations de surplus. Si les coûts
sont généralement déjà disponibles ou facilement exprimables en termes monétaires,
les bénéfices n’ont souvent pas de valeur directement marchande et sont très souvent
difficiles à quantifier.
Lorsqu’une évaluation d’impact porte sur des alternatives de mise en œuvre d’un même
programme, la prise en compte des informations de coûts permet de répondre à une
seconde question : quels sont les rapports coût-efficacité des diverses approches ?
L’analyse coût-efficacité compare la performance relative de deux ou plusieurs
programmes, projets ou politiques ou alternatives de conception d’un PPP à atteindre
un même résultat. Il permet ainsi de déterminer les investissements les plus rentables
et d’orienter les décisions des responsables.
Qu’il s’agisse de l’ACB ou de l’ACE, l’évaluation d’impact permet d’estimer les bénéfices
et l’efficacité, tandis que les informations de coûts sont fournies par l’analyse des coûts.
Cette évaluation d’impact, également basique, compare les résultats entre des unités
bénéficiant du programme et des unités n’en bénéficiant pas (avec-sans). Elle constitue
un contrefactuel contrefait. Comment interpréter les résultats de cette approche ? Dans
ce cas, l’estimation du contrefactuel provient de la variable d’intérêt pour les individus
ayant décidé de ne pas participer au programme. Cependant, les deux groupes
(participants au programme et non participants) ont de fortes chances de présenter
des différences fondamentales. Le groupe ayant décidé de ne pas participer au
programme ne permet donc pas d’obtenir un contrefactuel convaincant. Si une
différence est observée dans la variable d’intérêt entre les deux groupes, il sera alors
impossible de l’attribuer au programme mis en œuvre. Le fait que les individus les
moins motivés préfèrent ne pas participer au programme mis en œuvre introduit un
biais (de sélection) dans l’estimation de l’impact du programme.
En général, les évaluations d’impact prospectives donnent des résultats plus solides
et plus fiables et ce, pour les raisons suivantes :
• D’abord, la collecte préalable des données de base (ou enquête de référence)
permet d’assurer la mesure des résultats à l’étude. Les données de base four-
nissent des informations sur les bénéficiaires et les groupes de comparaison
avant la mise en œuvre du PPP, et sont donc primordiales pour connaître la
situation avant le programme. Une enquête de référence couvrant le groupe de
traitement et le groupe de comparaison peut être analysée pour vérifier que ces
Dans tous les cas de figure similaires (le nombre de personnes éligibles au programme
est supérieur au nombre de places effectivement offertes par le programme), les
gestionnaires de programme doivent pouvoir définir un mécanisme d’allocation des
bénéficiaires au programme. Autrement dit, quelqu’un doit décider qui pourra participer
ou non au programme. Plusieurs règles peuvent alors s’appliquer mais de façon aléatoire :
premier arrivé, premier servi, motivation personnelle pour le programme, définition d’un
critère défini de participation ou de non-participation, tirage aléatoire, etc. Si l’échantillon
total est suffisamment grand, les deux sous échantillon (participants au programme,
non participants au programme) devraient pouvoir avoir en théorie des caractéristiques
sensiblement équivalentes. Dans ces conditions, la différence des résultats observés
entre les deux groupes devrait fournir une information pour apprécier l’impact dudit
programme. Cette méthode est donc généralement utilisée dans la phase pilote du
à une population plus importante. Les assignations aléatoires peuvent prendre la forme
soit d’une offre aléatoire, soit d’une promotion aléatoire (accroissement de la partici-
pation à un programme d’un sous-groupe d’individus par le biais d’une campagne
de sensibilisation et d’information, par des mesures d’incitations diverses, ou la mise à
disposition de certains avantages.
Exemple :
Supposons que le Ministère de l’éducation nationale souhaite doter
les écoles publiques d’une bibliothèque, mais que le budget mis à
disposition par le Ministère des Finances ne permet de couvrir qu’un
GUIDE METHODOLOGIQUE
Exemple :
Supposons que l’on veuille estimer l’impact de la participation à un
programme de formation professionnelle des cadres d’un service
donné par cette approche. Afin de s’assurer de la qualité et de la
robustesse des résultats, il convient d’être certain que le groupe des
participants et celui des non participants aient quasiment les mêmes
caractéristiques observables (âge, sexe, niveau d’instruction, formation,
région, milieu, ancienneté dans l’emploi, etc.). Pour cela, faudra par
exemple estimer la probabilité de chacun des individus de chaque
groupe à participer au programme. Pour les individus ayant la même
probabilité de participer au programme, on va identifier ceux qui sont
les plus re sse mb la nts d u po int d e vu de le urs ca ra ctér istiqu es
o b servables (â ge, se xe , n ivea u d’instruc tion, for matio n, ré gio n,
milieu, ancienne té da ns l’e mploi, e tc.). La confrontation (statis-
tique) des individus les plus ressemblants dans les deux groupes
permettra de définir le support commun : le noyau d’individus très
ressemblant mais qui se distinguent uniquement par la participation
ou non au programme. La différence de résultat entre les deux
groupes pour la variable d’intérêt fournit une assez bonne estimation
de l’impact moyen du programme donné.
Exemple :
S u p p o s o n s qu e vo tre se r v ic e d isp o s d e d o n n é e s a u p rè s d e s
m é nages pour deux rondes d’un programme, réalisé à 5 années
d’intervalles. Deux catégories de ménages ont été dès le départ
identifié, l’un participant à un programme spécifique mis en place
p ar l’E ta t e t l’a utre , n ’y pa r tic ipa nt pa s. En r aiso n de fa c te u rs
su sceptibles d’affecter les résultats, il n’est pas vraisemblable de
comparer directement les participants et les non participants. Etant
donné qu’on dispose de ces données, on peut utiliser ces données
pour observer les changements de comportement au sein du groupe
des participants et au sein de celui des non participants. L’évaluation
de l’impact par l’approche de la double différence va consister à
quantifier l’ampleur de la différence de résultat entre participants et
non participants.
Exemple :
P a r e x e m p le , le M i n is tè r e d e l’ e n s e ig n e m e n t su p é r ie u r e n vi -
sa ge , ch a qu e an n é e, d an s le c a dre de son pro g ra m me d’e xc e l-
le n c e , d e ré c om p en se r le s ba c h e lie rs l es p lu s m ér ita n ts a vec
l’attribu tion d e bo ur se d’é tu de s à l’é tr an ge r da n s un e u nive rsité
e uropé en ne. Vu q ue l e no mbre de bou rs es es t l i mi t é pa r
r a p p or t au n o mbre de c an did ats p oten tiels, se uls les ca nd ida ts
a vec un e n o te sup ér ie ure à u n ce r ta in se uil sero n t é ligib les. On
p ou r r a p ar exe m p le re te ni r to us le s c a n di da ts fig u r an t da n s la
tr a nc h e de ré su lta ts de 8 0% à 10 0 % c o m me le s p lu s m é r ita nts.
L a no te glo b a le o b te nu e à l’e xa me n pe r m e ttra d on c d e d é fi ni r
c e c r i tè r e e t p a r c l a s se m e n t, é ta b l i r a l a l i s te d e s c a n d i d a ts
é l ig ibl es a u titre d e l’ an n é e c on sid é ré e .
GUIDE METHODOLOGIQUE
La méthode des variables instrumentales (VI) : Cette méthode, contrairement aux autres
(Double différence, permet de lever les contraintes liées aux biais de sélection dans la
participation à un programme donné. En effet, l’assignation des individus à un
programme donné peut ne pas être aléatoire pour deux principales raisons. D’abord,
des problèmes d’endogénéïté peuvent exister dans le ciblage, notamment quand par
exemple le programme est mis en œuvre dans des zones qui ont des caractéristiques
particulières non observables, qui sont corrélées avec la variable d’intérêt. Ensuite,
l’hétérogénéité individuelle non observable au niveau de l’auto-sélection individuelle
des bénéficiaires du programme ne correspond pas aux conditions initiales de l’expé-
rimentation. L’approche des variables instrumentales suppose de trouver une variable
(un instrument) qui est fortement corrélée avec la participation au programme, mais
qui ne l’est pas avec les caractéristiques non observables affectant la variable de
résultat.
Cette partie s’appuie sur les concepts clés présentés dans la première partie et décrit
les six étapes clés du suivi et de l’évaluation d’un programme, projet ou politique à
travers le prisme du triptyque Emploi-Genre-Changement climatique. Ces six étapes
sont (i) cadre préparatoire ; (ii) cadre logique ; (iii) choix et la définition des indicateurs ;
(iv) élaboration des outils de collecte de données ; (v) exploitation et analyse des
données ; (vi) questions évaluatives. Prises ensemble, ces étapes doivent guider la
planification et la mise en œuvre d’un système de suivi et d’évaluation axés sur la
collecte systématique, régulière et efficace d’informations sur le programme, projet ou
politique, ainsi que sur l’analyse et l’utilisation de ces informations.
Avant la présentation des fiches, quelques préalables méritent d’être signalés sur le
suivi et l’évaluation et son lien avec l’étape de planification des activités et, notamment
l’intégration des dimensions transversales dans l’élaboration des programmes.
Une attention toute particulière devrait être accordée aux intérêts et aux attentes des
parties prenantes tout au long du processus de suivi et de l’évaluation.
Une bonne gestion axée sur les résultats est un processus continu : il y a un retour
d’information, un apprentissage et une amélioration permanents. Les politiques ou
programmes en cours sont régulièrement modifiés grâce aux enseignements tirés de
l’évaluation et du suivi, et les politiques ou programmes à venir sont élaborés à partir
de ces enseignements. Les leçons tirées du suivi sont périodiquement discutées et
mises en application pour informer les prises de décisions. Les évaluations devraient
être réalisées non seulement pour améliorer les politiques ou programme alors qu’ils
sont encore en cours d’exécution mais également pour apporter les informations
nécessaires à la planification de nouvelles politiques ou nouveaux programmes. Ce
processus itératif visant à faire, apprendre et améliorer est ce qu’on appelle l’approche
du cycle de vie de la gestion axée sur les résultats de développement
Dans un cadre idéal, le temps du suivi et de l'évaluation et celui qui rythme la vie d'une
politique ou programme sectoriel (calendrier électoral et budgétaire, événements
sociaux susceptibles de modifier l'agenda politique, etc.) devraient donc être harmonisés.
Les décisions de politiques publiques les plus importantes devraient faire l'objet d'une
évaluation ex ante (notamment pour le cas de programmes et projets), d'une évaluation
concomitante intégrée au dispositif de pilotage de l'action, et d'une évaluation ex post
pour une évaluation finale du programme, projet ou politique. Cela suppose évidemment
que des dispositions ont été dès le lancement du programme prises pour mobiliser les
données nécessaires à la conduite de ces différentes méthodes d’évaluation.
2
Guide méthodologique d’élaboration des politiques sectorielles. République Démocratique du Congo
UNDP le Pôle. Page 48-50
Une fois que l’ensemble des parties prenantes concernées ont la même vision du but
de l’objet du suivi et de l’évaluation, l’étape suivante doit circonscrire le champ de
couverture, c’est-à-dire le domaine d’application et le degré de complexité thématique.
Il faut bien circonscrire les préoccupations suivantes, notamment : « quels sont les
objectifs (globaux, spécifiques) de développement qui sont visés ? », « comment en
assurer le suivi ou quelles dispositions prendre pour en assurer le suivi ? », « qu’est-ce
qui va être évalué ?», ou encore « quelle est taille du système que nous voulons suivre
GUIDE METHODOLOGIQUE
et évaluer » ?
• Le profil Genre : il vise par exemple, pour les décideurs publics à systématiser
l’intégration des problématiques du genre dans les programmes, politiques et
projets mis en œuvrent dans le pays. Cet objectif global passe par exemple par.
Il faut clarifier le rôle et les responsabilités de toutes les parties prenantes (effectives ou
potentielles). A cet titre il faut aussi de définir de manière explicite le cadre institutionnel
de leur collaboration et de leurs différents mandats. A ce niveau, les responsabilités pour
les activités du suivi (qui fait quoi et comment, comment cela est suivi, etc.), mais aussi
pour les questions évaluatives (définition du comment les procédures doivent être mises
en œuvre, avec quels acteurs, à quel moment, etc.) sont plus ou moins esquissées.
Un point important est la définition du cadre institutionnel du suivi avec la mise en place
d’un Comité de pilotage. Ce comité de pilotage ou comité de suivi est un groupe de travail
qui a un rôle de réflexion et de proposition. Il contribue à la préparation et à la réalisation
de l’évaluation, à la validation des rapports et à la dissémination des résultats. Il anime
l’intégralité du processus d’évaluation.
Quels que soient les secteurs ou les services qui conduisent le suivi-évaluation, les Comités
de pilotage doivent être composés d’experts multisectoriels, notamment en genre, chan-
gement climatique et emploi. A défaut, deux actions peuvent être faites : soit associé au
comité de pilotage des personnes ressources en genre, changement climatique et emploi ;
soit formé les membres du comité de pilotage sur les problématiques du triptyque.
Les principaux résultats de ce processus sont résumés dans une matrice, le « cadre
logique » qui décrit les aspects les plus importants d’un projet, d’un programme ou
d’une politique.
Objectif(s)
Global (aux)
Objectif(s)
spécifique(s)
Résultats
attendus
ou Produits
Activités
Il y a une forte corrélation entre le cadre logique et le suivi et l’évaluation. Chaque niveau
du cadre logique de l’intervention publique renvoie à différents types d’information à
collecter et de mesures périodiques à mettre en œuvre. La figure suivante développe
ce point pour le suivi et l’évaluation des programmes engagés dans le cadre de la
politique sectorielle.
Niveau du
Nature de Moment de Critères de
cadre suivi, évaluation et audit
l’information la collecte qualité3
logique
• Changements
importants au niveau
du développement
du secteur.
• Mesures reposant Viabilité
sur les tendances « Maintien du
En fin
GUIDE METHODOLOGIQUE
• Indicateurs de
probabilité de
• Mesures quantita-
tives et qualitatives EFFICACITÉ
Suivi + contrôle de gestion
• Mesures sur la
base du calendrier
des activités
• Comparaison entre
les dates réelles de
commencement Hebdomadaire/
Activités
• et d’achèvement et mensuel
les dates prévues
• Écarts par rapport
au calendrier prévu
• Date et événement ÉCONOMIE
jalon “Assurer le
meilleur rapport
• Contrôles concer- coût-qualité et
nant le budget du délai”
Suivi +audit
programme
• Comparaison entre
le budget réel et
Hebdomadaire/
Moyens / prévu
mensuel
Coûts • Analyse des contri-
butions du gouver-
nement, du bailleur
et des bénéficiaires
• Analyse des écarts
de coûts
Une fois ces exigences brièvement rappelées, les objectifs spécifiques du triptyque
Emploi-Genre-Changement climatique doivent être clairement définis, et leur réalisation
doit pouvoir être mesurée au moyen d’un jeu d’indicateurs (quantitatifs, qualitatifs) bien
à propos, déterminés dans la phase de planification du projet (Etape préparatoire). Il
peut s’agir par exemple de taux de participation des femmes dans la gestion des
activités des projets, programmes, ou politiques mis en œuvre dans une région donnée
(intégration Emploi-Genre), ou encore de l’amélioration significative des connaissances,
compétences et attributs des acteurs en présence en matière d’égalité entre les sexes
dans le champ d’intervention du programme (Genre).
Indicateurs
Logique
Préoccupations à objectivement Sources de Hypothèses
d’intervention
examiner vérifiables vérification importantes
(Exemples)
Les données
La politique, le pourcontrôler le Les facteurs externes
programme ou le niveau d’atteinte et internes importants
Objectif projet a-t-il un de l’objectif et nécessaire pour
global objectifglobal ou un A déterminer globale ou du but permettre que l’objectif
ou but but quiinfluence les sont-elles venti- global ou le but
relationsde genre ? lées par sexe eta- soitsensible au
nalysées en genre à long terme
termes de genre ?
Les données
Les facteurs
La politique, le pour contrôler le
externes et
programme ou le niveau d’atteinte
internes importants
projet a-t-il un de l’objectif spé-
Objectif et nécessaires pour
objectif spécifique A déterminer cifique sont-elles-
spécifique atteindre l’objectifs-
qui tient compte du ventilées par
pécifique qui prend
genre ? sexe et analysées
en compte le genre
entermes de
genre ?
Les données
Les facteurs
La répartition des pourcontrôler le
externes etinternes
bénéfices, des avan- niveau d’atteinte
importants et néces-
Résultats tages prend-t-elle en des résultats
A déterminer saires pour
attendus compte les sont-elles ventilées
atteindre l’objectif
problèmes de genre ? par sexe et analy-
spécifique qui prend
sées entermes de
encompte le genre
genre ?
Les problèmes de
Les données
genre sont-ils
pourcontrôler le Les facteurs
clairement
niveaud’atteinte externes et internes
énoncés dans
de l’exécution importants et néces-
l’application de
Activités A déterminer des activités saires pour
la politique,
sont-elles venti- atteindre l’objectif
l’exécution du
lées par sexe et spécifique qui prend
programme ou du
analysées en en compte le genre
projet ?
termes de genre ?
Année : ..........................................................................................
Ministère : ......................................................................................
Mission : ........................................................................................
Programmes : ................................................................................
Produits
Source de
Résultats Activités (ou Explication Structures
IOV Montant finance-
attendus programmées résultats des écarts responsables
ment
obtenus)
Orientation stratégique1/Programme1
Objectif général 1
Objectif spécifique 1. 1.
1.1.1.
1.1.2.
Objectif général 2
Objectif spécifique 2. 1.
2.1.1.
2.1. 2.
L’examen et l’analyse du cadre logique sont une étape essentielle de l’élaboration d’un
PPP. L’élaboration du cadre logique doit permettre clairement de répondre aux
différentes préoccupations suivantes soulevées par l’examen de la figure2 :
• La pertinence des objectifs visés au regard des enseignements tirés du
diagnostic de la situation ;
• La cohérence globale (tant interne que externe) entre le diagnostic établit, les
objectifs définis, les moyens et le budget disponible ou mobilisable et les actions
ainsi que le dispositif à mettre en œuvre ;
• L’adéquation entre les moyens mobilisés ou mobilisables et les activités programmées
GUIDE METHODOLOGIQUE
(efficience) ;
• L’adéquation entre les objectifs visés et les résultats attendus (efficacité) ;
• L’ampleur des écarts entre les résultats effectivement obtenus et les changements
observés sur les populations cibles (impacts).
Sachant que la planification des programmes s’opère suivant un arbitrage, des propo-
sitions de projets et programmes « gagnant-gagnant » pour toutes les parties prenantes
peuvent faciliter le processus de leur sélection. Ce sont des projets et programmes qui
sont à la fois en adéquation avec les missions et les priorités du secteur et des besoins
urgents des futurs bénéficiaires en matière d’adaptation au changement climatique,
d’équité du genre et de création d’emploi. Par conséquent, les propositions de
programmes sélectionnés doivent résulter d’un croisement entre les priorités du secteur
et un effort d’intégration systématique des préoccupations transversales du triptyque
Emploi-Genre-Changement climatique. Ainsi, toutes les activités du secteur ciblé
Le suivi-évaluation doit être participatif, toutes les parties prenantes doivent être concernées.
Pour cela le mécanisme mis en place doit permettre d’assurer leur implication et leur
participation actives et responsables.
Les outils de collecte des données doivent être appropriés aux les indicateurs choisis-
pour chacune des dimensions transversales. Ces outils doivent être simples et convi-
viaux afin de faciliter la collecte et le suivi des indicateurs du triptyque.
Les indicateurs de performance sont des outils de gestion qui facilitent la conduite
d’une gestion axée sur les résultats et l’utilisation efficace des ressources publiques.
Ils rendent le suivi et l’évaluation plus précis et permettent de minimiser les jugements
personnels et les descriptions narratives. Ils constituent le pilier central du cadre logique
comme outils de gestion de la performance et pour évaluer rapidement la réalisation
des buts et objectifs.
Le rôle des indicateurs ne se limite pas aux étapes du suivi et de l’évaluation. Ils jouent
un rôle fondamental à toutes les étapes du cycle du programme. Les indicateurs de
performance sont également utiles pour la planification stratégique et la conception de
politique, programmes ou projets. Ils permettent aux planificateurs centraux de prendre
de bonnes décisions pour l’utilisation la plus efficace des ressources et servent également
d’outils de diagnostic. Ils peuvent, en outre, constituer des outils précieux pour les
autres parties prenantes clés.
Le choix d’un indicateur repose sur des critères de sélection d’un bon indicateur. De
bons indicateurs doivent répondre aux critères SMART :
• Spécifique : Ce critère se rapporte à une situation spécifique et sa signification
doit être aisément comprise par les différentes parties intéressées
• Mesurable : Ce critère résume le fait que les indicateurs doivent pouvoir être
quantifiés et comparables dans le temps et dans l’espace. Ils doivent donc être
observables, mesurables, et fiables.
• Limité au temps : Ce critère renseigne sur le fait que tout indicateur doit fournir
des informations sur les périodes de mesure auxquelles les données se réfèrent
et répondre dans le temps aux besoins de son utilisation. Ce critère renvoie donc
à la fraîcheur de l’indicateur, c'est-à-dire à son aptitude à répondre dans le temps
à un besoin exprimé par les utilisateurs. Il doit donc être opportun.
"…la piètre précision des indicateurs a fréquemment été invoquée comme étant une
faiblesse majeure des systèmes de conception du suivi et de l’évaluation. On peut citer
parmi les problèmes couramment rencontrés lors de la sélection des indicateurs :
• la sélection d'un trop grand nombre d'indicateurs- les gens ont tendance à surestimer
le volume des informations dont ils ont besoin pour prendre des décisions. La spé-
cification des besoins d'information suppose un compromis entre la somme des
informations requises pour prendre des décisions et le volume des informations
qu'un décideur peut raisonnablement lire et analyser. Trop souvent le gestionnaire
GUIDE METHODOLOGIQUE
surestime ses besoins d'information pour se rendre finalement compte qu'il est
impossible de lire les rapports et d'assimiler les informations qu'ils contiennent. Les
besoins d'information doivent être reliés aux niveaux de la gestion et cette mise en
relation doit se traduire dans la sélection des indicateurs par la spécification d'une
série d'informations réduite au minimum. Une précision plus importante est néces-
saire au niveau opérationnel quotidien, tandis que des données réunies) et résumées
correspondent aux besoins des niveaux supérieurs.
• la sélection d'indicateurs pas trop complexes, ce qui est une source de problèmes
majeurs au niveau de la collecte des données, qu'il s'agisse des compétences ou
des ressources requises. Des indicateurs qualitatifs sont aussi un moyen de
rassembler des informations complexes sous une forme condensée.
• une concentration excessive sur les indicateurs d'avancement, ce qui a pour effet
de fournir des informations insuffisantes sur les performances du projet. La réponse
couramment apportée à cette critique est qu'il n'est pas possible de mesurer les
effets d'un projet"
Cette cartographie des compétences permet de clarifier assez aisément les rôles,
contributions et responsabilités attendues des différentes parties :
• Producteurs de données de routines (tous les services) ;
• Producteurs de méthodes et des données statistiques (les services de statis-
tiques et/ou structures spécialisées dans le domaine) ;
• Utilisateurs des données produites (société civile, organisations non gouverne-
mentales, autres acteurs ;
• Décideurs (pouvoirs publics, autres responsables, leaders d’opinion, etc.).
une meilleure
compris les les possibili- l'initiative privée dans
appréciation
femmes et les tés d'emploi le pays ;
de l'offre
jeunes, de
d'emploi dans
trouver un tra- * Mesure régulière de
le pays
vail décent et la situation sur les Taux de chômage
productif tendances du mar- des 15-64 ans
ché du travail et de
l’emploi
Pourcentage de
Favoriser le décideurs
Systématiser * Réalisation de
plaidoyer en (hommes et
le plaidoyer Les décideurs campagnes de sensi-
direction des femmes)
en direction locaux sont bilisation et d'IEC
décideurs sensibilisés à
des déci- sensibilisés pour les décideurs en
locaux pour l'approche Genre
deurs locaux pour systéma- vue de la prise en
améliorer
pour amélio- tiser la prise compte des besoins
durablement Taux de participa-
rer durable- en compte spécifiques des
la prise en tion des femmes
Genre
thématique
Champ
programmes
des programmes,
/politiques du
projets ou politiques Taux d'urbanisa-
développe-
mis en œuvre sur les tion de la zone de
ment écono-
modes de consom- référence donnée
mique et
mation des activités
Environnement et changement climatique
De même, le dispositif à mettre en œuvre, pour un meilleur suivi et pour l’examen des
préoccupations relatives aux questions évaluatives, doit déjà pouvoir être intégré dans
la conception des outils de collecte.
Enfin, le dispositif pour le suivi et l’évaluation des activités réalisées mais aussi des
interventions mises en œuvre doit prévoir les ressources (humaines, financières,
2.4.3 Examen du dispositif de validation des indicateurs retenus (sources de vérification - SDV)
L’évaluation des facteurs extérieurs a pour finalité de déterminer leur incidence sur la
faisabilité du programme. Il est nécessaire de comprendre l’importance relative de
chaque facteur dans la réussite du programme et les chances qu’il a de survenir.
Tous les facteurs externes doivent être repris dans le cadre logique énoncé en termes
positifs comme s’ils avaient été réalisés. La proposition d’action publique peut
comporter une description des facteurs externes sur lesquels le programme n’a pas
de contrôle direct, mais qui influencent, néanmoins, la probabilité de réalisation de ces
objectifs. Il est possible de relever d’autres facteurs qui ne figurent pas dans le
document en fonction de l’expérience acquise dans d’autres programmes semblables
ainsi que dans le secteur.
Il est recommandé d’utiliser dans le cadre logique, dans la mesure du possible, des
indicateurs standard reconnus sur le plan international (ex. : les indicateurs liés aux
OMD).
• Les indicateurs standards ou basés sur les normes internationales ne permettent
pas seulement de gagner du temps. Ils sont aussi généralement assortis de
définitions standards acceptées, garantissant qu’ils sont mesurés de façon fiable
et cohérente, les méthodes de mesure étant bien établies et éprouvées. Un autre
avantage essentiel est que les indicateurs standards peuvent être comparés
dans le temps, en fonction du lieu et du projet. En fin de compte, les indicateurs
GUIDE METHODOLOGIQUE
Le traitement des données et l’analyse des résultats obtenus sont des étapes complé-
mentaires. Le traitement des données est le processus par lequel les données collectées
(brutes ou non) sont transformées en informations utilisables pour des besoins parti-
culiers. C’est une étape essentielle du processus de planification du suivi et de l’éva-
luation car elle conditionne l’information rapportée et la manière dont elle sera utilisée.
Il s’agit d’un processus qui est conduit tout au long du cycle du projet/programme et
qui permet de donner un sens aux données collectées afin d’orienter la mise en œuvre
du programme à court et à long terme. L’analyse des résultats peut être effectuée dès
que les données sont collectées, mais également à partir des rapports de données.
L’analyse des résultats consiste à distinguer les tendances, des groupes homogènes
de comportements ou tout autre lien entre les différents types de données ou d’acteurs,
à interpréter et à évaluer les résultats par rapport aux plans et aux objectifs, à formuler
des conclusions, à anticiper les problèmes et à envisager des solutions et des
meilleures pratiques pour orienter les décisions, mais aussi à favoriser l’apprentissage
organisationnel. Une analyse fiable et réalisée en temps opportun est essentielle pour
la crédibilité et l’utilisation des résultats obtenus.
Quel que soit le domaine concerné, deux phases subdivisées en étapes, comme
mentionné ci-dessous, caractérisent la démarche méthodologique pour la réalisation
de l’analyse des résultats.
S’agissant du traitement des données et de l’analyse des résultats obtenus relatifs aux
dimensions transversales, il est recommandé qu’il soit conduit par une équipe pluridis-
ciplinaire de spécialistes compte tenu de la spécificité de chacun des domaines.
Attention toutefois à ne pas tomber dans l’excès ! Analyser les données de manière
excessive peut coûter cher et compliquer la prise de décision. Ne gaspillez pas votre
temps et vos ressources en analysant des aspects sans importance. Concentrez-vous
plutôt sur ce qui est nécessaire et suffisant pour orienter la gestion du
projet/programme, conformément à la problématique identifiée dans l’étape préparatoire.
Dans ce contexte, il est utile de se référer aux objectifs et indicateurs du cadre logique
du projet/programme pour guider l’analyse et de s’appuyer sur les enseignements, recom-
mandations et mesures spécifiques qui ont été définis et diffusés.
Les données quantitatives étant numériques, leur description et leur analyse impliquent
des techniques statistiques. Par conséquent, il est utile d’examiner brièvement l’utilisation
des statistiques dans l’analyse des données. L’analyse statistique simple (tels que les
pourcentages) peut être faite à l’aide d’une calculatrice, alors que les analyses statis-
tiques plus complexes, telles que les données d’enquête, peuvent être effectuées en
utilisant Excel ou des logiciels statistiques tels que SPSS (Statistical Package for Social
Sciences), Stata ou SAS. Il est souvent judicieux de solliciter le conseil d’un expert en
statistique.
Pour garantir la bonne formulation des recommandations et des mesures, il est essentiel
de bien comprendre la relation qui existe entre elles et les produits, les constatations
et les conclusions issus de l’analyse des données, et de bien utiliser chacun de ces
termes. Par conséquent, le tableau x ci-dessous donne un bref aperçu des différences
qui existent entre ces éléments d’apprentissage clés4.
Tableau 6 : Comparaison des termes utilisés pour l’analyse des données : constatation,
conclusion, recommandation et mesure
4
Pour de plus amples informations sur l’analyse des données, se référer à : « Monotoring and evaluation guide.
Fédération internationale de la Croix Rouge et du Croissant Rouge ». Pages 60-69
En tenant compte du triptyque, il faut dresser la liste d’une série de questions qui
mesurent les effets des programmes et des actions dans le but de permettre aux parties
prenantes d’en apprécier la valeur et en même temps, de donner la possibilité aux
autorités gouvernementales de pouvoir décider, éventuellement de les améliorer.
Ces questions doivent être en cohérence avec les indicateurs de performance choisis
pour chacune des dimensions et permettront d’apprécier les performances enregistrées,
les insuffisances constatées et, par ricochet, susciter des mesures correctives.
GUIDE METHODOLOGIQUE
Intégration de l’objectif d’égalité • L’égalité entre les femmes et les hommes est-elle inscrite dans les
objectifs, la politique, les priorités, les programmes d’action des ministères sectoriels ? • Si non, y a-t-il
un intérêt, une ouverture ?
Dispositif interne axé sur le genre et l’égalité • Un tel dispositif interne existe-t-il ? • Si oui, à quel niveau
se situe le dispositif (niveau central, niveau de la prise de décisions ou inférieur) ? • Dispose-t-il de
moyens suffisants ? • Quel est son impact sur les politiques et les programmes généraux (fort, faible) ?
Responsabilisation des dirigeantes et du personnel • Les dirigeant-e-s et le personnel sont-ils/elles
responsabilisé-e-s par rapport à l’égalité et impliqué-e-s dans le processus de changement ? • Si non,
des mesures de sensibilisation sont-elles prévues/en cours ? • Des « sanctions », « récompenses » sont-
elles prévues (exemple : un rapport n’est accepté que s’il intègre la dimension de genre et traite de
l’objectif d’égalité) ?
Politique du personnel • Y a-t-il une politique d’égalité dans la gestion du personnel ? • Quelle est la part
des hommes et des femmes dans le personnel, aux différents niveaux de la hiérarchie ? • Le genre et
l’égalité sont-ils intégrés dans les programmes de formation du personnel, y compris le personnel tech-
nique et à tous les niveaux de la hiérarchie ?
Choix des consultant-e-s extérieur-e-s • Les compétences et l’expérience en matière de genre et d’égalité
sont-elles prévues dans les cahiers des charges et utilisées comme critères de sélection ?
Représentation des intérêts féminins et masculins dans la prise de décision • La participation des femmes
et des hommes dans les instances chargées de la prise de décisions est-elle équilibrée ? • Les priorités,
les besoins et les intérêts spécifiques des femmes et des hommes sont-ils représentées et pris en compte
de manière effective dans la prise de décisions ?
5
Source : Initiative communautaire Equal intégrer la dimension de « genre » dans les projets equal. Un guide pratique
à l’usage des promoteurs. Agence Fonds social Européen de la Communauté française. 2003. Page 38.
6
Source : Intégration du changement climatique dans les processus nationaux de développement et de programmation
de pays des Nations Unies.
Un manuel pour aider les équipes de pays des Nations Unies à intégrer les risques et les opportunités liés au change-
ment climatique.
2012 PNUD. Groupe Environnement et énergie.
Pour formuler les questions évaluatives, il faut tenir compte des indicateurs choisis et
de comment les renseigner dans le cadre logique. Les réponses à ces questions
évaluatives rappellent si besoin est, l’importance de l’intégration global des données
collectées avec les outils conçus dès le démarrage du processus (étape préparatoire,
cadre logique, dispositif de collecte des données, traitement et analyse des données,
etc.).
Par ailleurs, la complexité des outils et des méthodes de l’évaluation, impose d’adjoindre
des spécialistes de ces questions en sus des spécialistes en genre, emploi et en
changement climatique dans l’exercice de formulation des questions évaluatives.
Relations interpersonnelles
Les spécialistes de l'évaluation interagissent avec des particuliers de groupes profes-
sionnels, de domaines spécialisés, de programmes et de milieux différents. Ils doivent
pouvoirs reconnaître les contributions exceptionnelles des autres et comprendre
l'importance d'établir et d'entretenir des relations de travail positives. Ils doivent aborder
chaque situation interpersonnelle avec sensibilité et diplomatie et doivent avoir un
respect sincère pour les autres et un souci véritable pour leurs situations. Les spécialistes
de l'évaluation doivent être doués pour reconnaître et désamorcer les conflits possibles,
se servant d'interactions ouvertes et honnêtes. Ils doivent faire appel à leurs habilités
de facilitation pour guider la clientèle, les gestionnaires et les organisations en travaillant
ouvertement et en collaboration avec d'autres.
Communications
Une partie essentielle du rôle des spécialistes de l'évaluation est la communication.
Ces spécialistes doivent de faire un devoir de communiquer avec clarté, transparence
et de manière concise. Ils doivent traduire des renseignements techniques dans une
forme intelligible et adaptée aux besoins de l'auditoire. Ils doivent communiquer des
résultats impopulaires aux intervenants et intervenantes avec tact, diplomatie et trans-
parence et faire preuve d'un jugement sûr lorsqu'ils communiquent du matériel de
nature délicate. Les spécialistes possèdent les habiletés de communication néces-
saires pour identifier et transmettre le niveau d'information requis afin de permettre des
prises de décisions opportunes et précises. Ils doivent pouvoir écouter activement et
chercher continuellement à comprendre de façon complète et détaillée l'enjeu qui est
discuté.
Travail en équipe
Les spécialistes de l'évaluation doivent être orientés vers le travail en équipe et travailler
côte à côte avec la clientèle, les gestionnaires et les intervenants et intervenantes afin
de favoriser une efficacité accrue. Ils doivent contribuer pleinement aux initiatives
d'équipe et en établissant et en maintenant des relations respectueuses, positives et
de collaboration avec les membres d'équipe, la clientèle et les gestionnaires. Ils doivent
demander des suggestions, partager leur expertise et consulter ouvertement, et ce, en
sachant tirer profit de la diversité des expériences, des connaissances, de l'expertise
et des antécédents des autres. Ils devraient être à l'aise lorsqu'ils collaborent avec des
particuliers qui ont des points de vue professionnels différents et travailler pour atteindre
un consensus lorsque des conflits d'opinion surviennent.
Éthique et valeurs
Les spécialistes de l'évaluation doivent adhérer à des normes éthiques et profession-
nelles élevées. Ils doivent faire preuve d'objectivité, de justesse et d'équilibre lorsqu'ils
évaluent des programmes, des politiques et des initiatives, et doivent s’efforcer de
s'assurer que les renseignements qu'ils recueillent soient conformes aux faits et
complets. Ils doivent évaluer à fond les possibilités de conflits d'intérêts et s'assurer
continuellement de l'objectivité du processus d'évaluation. Ils doivent remplir constamment
leurs engagements et obligations, garder leurs distances sur le plan professionnel et
conserver leur crédibilité, même dans des situations difficiles et très stressantes. Ils
doivent pouvoir traiter leurs collaborateurs équitablement et contribuer à un climat de
Recommandations clés
Afin de satisfaire aux principes de base (ligne directrice) d’un bon rapport d’évaluation,
les rapports d'évaluation doivent communiquer de façon claire et objective les résultats,
conclusions et recommandations.
Les rapports d'évaluation sont rédigés de façon à ce que les gestionnaires et les
lecteurs de l'extérieur puissent rapidement se concentrer sur les questions importantes
signalées et les comprendre. Afin de vous assurer que votre rapport d’évaluation
réponde à cet objectif, vous pourrez vous soumettre à cette grille d’auto-appréciation
de votre travail de rédaction (Pas du tout acceptable, acceptable, bon ou très bon) et
expliquez votre note.
Une série de préoccupations est explicitée ci-après, qui permettent d’orienter l’élaboration
GUIDE METHODOLOGIQUE
du rapport d’évaluation :
Le style de rédaction
Un rapport d’évaluation qui sera lu par divers public exige un style de rédaction soigné.
Pour convaincre et s’assurer de sa neutralité, le ton du rapport d’évaluation doit être
impersonnel (éviter dans la mesure du possible l’utilisation trop fréquente du pronom
personnel je, me, moi, nous, notre pour éviter de donner l’impression de parler de soi),
positif (le lecteur veut savoir la situation actuelle et non ce qu’elle n’est pas) et à la voix
active (le sujet de la phrase fait l’action, ce qui lui donne un rythme et un style direct et
dynamique aux conclusions).
• La livraison n’a pas été faite à temps • La livraison a été faite cet après midi
• La participation des bénévoles était décevante • Quarante bénévoles ont participé au sondage
• Il ne peut vous recevoir avant 16h • Il vous recevra à 16h
▪ Le plan a été approuvé par nos clients Nos clients ont approuvé le plan
Cette architecture (indicative) est structurée autour de six (6) parties suivantes : une
introduction qui présente le contexte du projet ou du programme, mais aussi de la
méthode ou des méthodes d’évaluation à utiliser pour les besoins de l’étude. Cette partie
est suivie de l’exposé des considérations méthodologiques, des limites éventuelles de
l’étude (à clarifier dès le départ), de la mise en évidence des principales constatations,
et des conclusions, mais surtout des principales recommandations.
Introduction et contexte
GUIDE METHODOLOGIQUE
La description du projet ou du programme fera par exemple état des questions contro-
versées, comme la démonstration que la mesure entraînera véritablement des chan-
gements, qu’il s’agit d’un domaine où les besoins sont cruciaux et où les ressources
sont rares et qu’il s’agit d’un moyen raisonnable pour le gouvernement de dépenser
les fonds publics.
Le contexte de l’évaluation
En substance, l’objectif de l’évaluation est de démontrer que les fonds publics ont été
bien dépensés. La question suivante doit donc être posée dans le rapport d’évaluation :
les fonds publics ont-ils été bien dépensés ? A titre illustratif, voici ci-après des éléments
d’orientation :
• Enoncez clairement le but de l’évaluation. En fonction de celui-ci, le rapport se
penchera sur la valeur de la conception de la mesure, la qualité de la mise en
œuvre de la mesure ou l’atteinte des résultats visés ;
Cette section décrit non seulement la conception de l’évaluation, mais aborde aussi
les sujets suivants :
• la pertinence de la conception adoptée pour répondre aux questions de
l’évaluation ;
• la sélection des participants au projet ou programme ;
• la répartition des participants dans les groupes ou les situations ;
• l’attention accordée aux participants, le programme auquel ils ont participé ou
les mesures dont ils ont bénéficié, dans diverses situations ;
• la façon de déterminer les résultats ;
• les méthodes et outils de collecte des données ;
• la méthode de traitement et d’analyse des données collectées ;
• les décisions prises au sujet de la résolution/signalement des constatations
contradictoires ou atypiques ;
• les contraintes des méthodes employées (taille de l’échantillon, absence de
données pour un essai préliminaire, etc.) ;
De même, cette section doit résumer toutes les facettes de l’évaluation, de façon à ce
que le lecteur puisse évaluer dans quelle mesure les résultats notés découlent du projet
ou du programme. Grâce à une description claire de la méthode, le lecteur pourra
évaluer la rigueur de la conception, la qualité des données collectées et, par la suite,
la validité et la fiabilité des conclusions tirées des constatations de l’évaluation. Cette
description doit être assez claire pour être répliquée. Le Figure 7 suivant résume les
différents éléments devant figurer dans le rapport d’évaluation.
Principales Recommanda-
Introduction tions Som- Plan Rapport
Méthode connota-
Et contexte maire d’action d’évaluation
tions
Etablissement
Rédaction de
du calendrier Description
rapports
et du budget
GUIDE METHODOLOGIQUE
Conception
de la collecte Evaluation
des données
Analyse des
Approche
données
Thème de
l’évaluation
Principales conclusions
Dans cette section, i faut traiter des interprétations plausibles des constatations de
l’évaluation. Il est donc essentiel que les conclusions formulées par l’évaluateur soient
clairement validées par les constatations de l’évaluation. Cette section du rapport
devrait donner aux lecteurs un contexte et un sens aux constatations énoncées. Pour
le rédacteur du rapport, la formulation de conclusions à partir des constatations d’une
évaluation constitue un défi majeur, parce qu’il doit faire des affirmations au sujet des
constatations sans tenir compte des autres interprétations plausibles. Il ne faut pas tirer
de conclusions au hasard, sans avoir examiné et rejeté toutes les autres explications
plausibles à la lumière de la recherche et/ou de la théorie empirique.
Les recommandations
Il n’existe pas de méthode idéale de présentation des recommandations. La rédaction
de celle-ci doit faire l’objet de discussions et d’une entente, notamment sur la formulation
des recommandations, soit détaillée ou générale. Dans ce dernier cas, c’est à la
direction qu’incombe la tâche de fournir le contenu détaillé des recommandations. Les
exigences du ministère ou du programme doivent spécifier de quelle façon les recom-
mandations seront formulées. Les recommandations doivent s’appuyer sur des
éléments probants, comme suit :
• les recommandations sont étayées par les constatations et les conclusions, dont
elles découlent logiquement ;
• les recommandations portent sur des questions importantes, elles ne constituent
pas une liste de souhaits en vrac ;
• dans la mesure du possible, une évaluation des incidences potentielles (sur la
politique, l’initiative ou le programme évalué) de la mise en œuvre de chaque
recommandation est présentée ;
• les recommandations font état des perspectives d’avenir, des points à améliorer
et des possibilités de financement ou de ressources ;
L'Approche du Cadre Logique est un outil pour apprécier l’action publique et repose
sur deux phases principales : l'analyse et la planification. Ces deux phases sont réalisées
progressivement au cours de l'identification et de la formulation du programme
politique.
L'analyse des problèmes (profil des principaux problèmes avec les relations de cause
à effet). L’identification des problèmes est une étape essentielle de l’ACL. En effet, si
les problèmes à l’origine de la situation insatisfaisante que le projet/programme vise à
améliorer ne sont pas clairement et précisément identifiés, il est à craindre que les
activités mises en œuvre pour améliorer cette situation ne produisent les effets escomptés.
Les relations de cause à effet entre ces problèmes doivent clairement être examinées
pour éviter de traiter certains problèmes sans s’attaquer aux racines profondes qui les
provoquent et, de ce fait, de ne pas enregistrer les résultats attendus. Les problèmes
identifiés et les relations de cause à effet entre eux sont généralement représentés par
un diagramme dénommé « arbre à problèmes ». L’«arbre à problèmes » visualise
l’ensemble des problèmes relatifs à la situation que le projet/programme se propose
de traiter en partant des causes les plus profondes et en remontant la chaîne des
relations de cause à effet jusqu’au problème principal. Il constitue une image récapi-
tulative de la situation négative existante que le projet/programme se propose d’améliorer.
Si les problèmes sont déjà clairement identifiés, l’outil « arbre à problèmes » n’est pas
nécessaire.
L'analyse des stratégies représente une comparaison des différentes options en fonction
d'une situation donnée. Le choix des différentes options face à un problème donné se
fait parfois directement lors de la phase d’analyse et d’indentification des objectifs.
Certains outils d’analyse de l’évaluation, de l’impact des mesures susceptibles d’être
mises en œuvre, permettent parfois de faire des choix.
elle doit être revue et retouchée au fur et à mesure que de nouvelles questions se
posent et que de nouvelles préoccupations apparaissent.
Ce point examine plus en détail le cadre logique en tant qu’outil d’analyse. Sa définition,
le rappel de ces principes directeurs, mais aussi les limites de l’outil ainsi qu’un exemple
d’application de l’ACL sont également abordés.
Le cadre logique est un outil qui a été développé par l’USAID dans les années 1970 et
est utilisé depuis lors par de nombreux organismes différents. Cette méthode implique
la mise en forme des résultats d’une analyse de manière à présenter de façon systé-
matique et logique les objectifs d’une politique ou programme. La mise en forme doit
refléter les liens de causalité entre les différents niveaux d’objectifs, indiquer comment
vérifier si les objectifs ont été réalisés et définir les hypothèses échappant au contrôle
de la politique ou du programme, susceptibles d’influencer sa réussite. Les principaux
résultats de ce processus sont résumés dans une matrice (le « cadre logique ») qui
décrit les aspects les plus importants d’une politique, ou d’un programme.
Le cadre logique est donc un outil pour améliorer la planification et la mise en œuvre.
Le cadre logique s’avère utile pour les personnes chargées de la préparation et de la
mise en œuvre de projets. Il leur permet de mieux structurer et formuler leur réflexion
et de l’exprimer de manière claire et standardisée. Si les politiques sont mal conçues,
ou si la logique « ne tient pas », le cadre logique devrait en révéler les contradictions,
bien qu’il ne soit pas en mesure, à lui seul, de concevoir les meilleures politiques. Tou-
tefois, un outil, aussi bon soit-il, ne peut pas, à lui seul, garantir des résultats positifs.
La réussite d’une politique, d’un projet/programme dépend de nombreux autres
facteurs, tels que la capacité organisationnelle de l’équipe ou des organismes respon-
sables de la mise en œuvre.
Le programme, projet ou politique a un objectif global ou un but qui est visé et clairement
exprimé pour chacun des axes thématiques ciblés. Il s’agit généralement du but auquel
le programme, projet ou politique cherche à contribuer sans les atteindre (ou sans les
atteindre nécessairement) à lui seul dans le laps de temps du programme, projet ou
politique. Il donne sens au programme, projet ou politique et répond à la question «
Pourquoi fait-on ce programme, projet ou politique ? ». En général, la définition de
l’objectif global préexiste au programme, projet ou politique dans la mesure où celui-ci
vient répondre à des motivations de développement et à l’intention d’agir dans un
secteur donné, dans un but donné. Quand une mission d’identification est lancée, c’est
en effet, normalement pour s’inscrire dans une programmation prédéfinie qui déterminera
GUIDE METHODOLOGIQUE
les objectifs globaux du programme, projet ou politique. Une fois que sont définis les
objectifs à retenir pour le programme, projet ou politique, ceux-ci sont à classer
explicitement en trois catégories, dont les statuts sont distincts :
• Ceux qui dépassent le programme, projet ou politique : les objectifs globaux ;
• Ceux qui le définissent et/ou le délimitent : les objectifs spécifiques ;
• Ceux qui y sont inclus : les résultats attendus.
• L’objectif global doit expliquer la manière dont le programme cadre avec les objectifs sectoriels
du ministère. Si le lien avec les objectifs du niveau supérieur n’est pas clair, il peut être nécessaire
d’obtenir des renseignements supplémentaires pour justifier la pertinence du programme au regard
de la politique sectorielle ou nationale.
• Sur la base des renseignements contenus dans la proposition du projet de programme, il devrait
être possible de formuler l’objectif spécifique en faisant ressortir les avantages dont devrait béné-
ficier le groupe cible appelé à utiliser les services fournis par le programme (les résultats).
• Si tel n’est pas le cas, des informations supplémentaires seront nécessaires pour justifier la perti-
nence du programme au regard des besoins du groupe cible.
• Si l’objectif spécifique est correctement formulé sur la base des informations que renferme la
proposition, mais que les résultats attendus du programme semblent logiquement insuffisants, pour
que les bénéfices escomptés (résultats attendus) se concrétisent, des renseignements supplé-
mentaires s’avéreront nécessaires pour préciser et identifier les services qui font défaut.
• Les actions ou activités du programme qui sont énoncées peuvent être insuffisantes logiquement
pour atteindre ces résultats. Il s’avère indispensable d’obtenir des informations précisant la manière
d’atteindre résultats escomptés.
1. Les moyens mobilisés sont-ils en adéquation avec les objectifs visés (1. Oui, 2.
Oui mais insuffisant, 3. Non) adéquats ?
N.B. : Afin d’exploiter de façon synthétique ces informations dans le cadre logique, il
faudra privilégier une codification géométrique.
Exemple :
Supposons que pour un objectif spécifique donné et des résultats attendus, les
moyens mobilisés sont certes suffisants mais ne sont pas suffisants pour encourager
une participation plus active des femmes aux activités tout comme les services ne
sont ni accessibles, ni adaptés aux besoins des femmes. Dans le cadre logique, le
code à renseigner dans la colonne FDR1 est bien 123.
L’adéquation des coûts avec les objectifs visés (FDR2) : Cette série de préoccupations
permet de répondre aux interrogations suivantes :
• Les ressources mobilisées sont-elles suffisantes pour atteindre les objectifs visés
(résultats, activités à mettre en œuvre, moyens nécessaires, etc.) (1. Oui, 2. Oui
mais insuffisant, 3. Non) ?
• Les moyens mobilisés permettent-ils globalement de réaliser les activités qui
visent explicitement à promouvoir l’égalité des sexes (1. Oui, 2. Oui mais insuffisant,
3. Non) ?
N.B. : Afin d’exploiter de façon synthétique ces informations dans le cadre logique, il
faudra privilégier une codification géométrique.
Exemple :
Supposons que pour un objectif spécifique donné et des résultats attendus, les res-
sources (humaines, financières, logistiques) mobilisés sont certes suffisantes mais
ne visent en réalité pas explicitement la promotion de l’égalité des sexes. Dans le
cadre logique, le code à renseigner dans la colonne FDR2 sera bien 12.
N.B. : Afin d’exploiter de façon synthétique ces informations dans le cadre logique, il
faudra privilégier une codification géométrique.
Exemple :
Supposons que pour un objectif spécifique donné et des résultats attendus, une
convention de collaboration a bien été formalisée entre les principaux partenaires
mais que de fait, la mise en œuvre des activités par les partenaires ne suit pas (pro-
blème d’adhésion). Dans le cadre logique, le code à renseigner dans la colonne
FDR3 sera bien 13.
6. Comment mettre en place des systèmes de S&E pour améliorer les performances
du secteur public, Keith Mackay, World Bank/Independant Evaluation Group (IEG),
2007
10. Retour sur l’expérience française et les conceptions syndicales, Nicolas Fleury,
Centre études & prospective du groupe alpha, Octobre 2011
11. Mesurer le succès d’interventions axées sur les moyens de subsistance des
jeunes, Un guide pratique du suivi et de l’évaluation, Kevin Hempel, Nathan Fiala,
Washington, D.C.: Partenariat mondial pour l’emploi des jeunes, 2011
14. Outils et approches pour évaluer et soutenir les mesures de santé publique en
matière de déterminants de la santé et d'équité en santé, Tableaux comparatifs │
Novembre 2012, Anika Mendell, Lesley Dyck, Sume Ndumbe-Eyoh Val Morrison,
Edition Geneviève Hamel et Marianne Jacques Centre de collaboration nationale sur
les politiques publiques et la santé
15. Performance, efficacité, efficience : les critères d’évaluation des politiques sociales
sont-ils pertinents ? Virginie GALDEMAR, Léopold GILLES, Marie-Odile SIMON, Cahier
de recherche, n°299, décembre 2012
16. Regards croisés sur la démarche d’évaluation des politiques publiques, Benchmark
international, Deloitte, Octobre 2013
17. Suivi et évaluation des politiques publiques, méthodes de planification axée sur
les résultats, Mireille Linjouom, Le pôle Stratégies de développement et finances
publiques, 31 mars 2014
20. Guide pour le suivi et évaluation axés sur les résultats des stratégies nationales
de développement de la statistique. AFRISTAT. Série Etudes N° 10, mars 2014.
ANNEXES
Lorsque les informations relatives à ces éléments sont rassemblées, en plus du cadre
logique dûment renseigné, on procède à la rédaction proprement dite du rapport. Il
s’agit de la partie analytique. La description du contenu des éléments se présente
comme suit :
L’introduction :
Elle comporte : (i) le contexte général du déroulement des activités du système statistique
national (SSN) ; (ii) les évènements marquants ; (iii) une brève évaluation des réalisations ;
(iv) l’articulation du rapport.
Les axes représentent les orientations stratégiques autour desquelles s’articule la partie
centrale du rapport. Ils découlent de la stratégie nationale du développement statistique.
Les objectifs
Ce sont les objectifs qui figurent dans le plan d’action annuel et précisent ce que l’on
poursuit à travers la mise en œuvre d’une action donnée, c’est-à-dire, état de choses
que l’on souhaite atteindre dans un délai donné et pour un groupe ou une zone cible
déterminée. On distingue différents objectifs : objectif global ou de développement et
objectif spécifique.
GUIDE METHODOLOGIQUE
Un objectif global est libellé de façon très large et se rapporte dans notre cas à un axe
stratégique du plan d’action et donc du rapport d’activités. De façon générale, il est
défini comme un échelon supérieur de programmation à celui de l’objectif spécifique.
Il constitue la finalité de l’action et explicite le but vers lequel tendent les efforts de
l’institution chargée de l’exécution.
Un objectif spécifique est libellé de façon plus restreinte et se rapporte à une activité
ou plusieurs activités pour lesquelles des résultats sont attendus. L’objectif spécifique
est le point de référence central, le véritable « centre de gravité » permettant de gérer
l’action et de mesurer sa réussite ou son échec en termes de bénéfices durables pour
le groupe cible.
L’explication des écarts entre les résultats obtenus et les résultats attendus
Il s’agit de donner les raisons objectives qui n’ont pas permis d’obtenir les résultats
attendus ou programmés.
La conclusion
Les grandes tendances, les leçons tirées de la mise en œuvre du plan d’action ainsi
que les recommandations pour mieux construire un nouveau plan d’action sont
évoquées dans la conclusion.
82
GUIDE METHODOLOGIQUE D’ÉLABORATION ET DE SUIVI-EVALUATION DES POLITIQUES PUBLIQUES
intégrant les dimensions transversales : emploi, genre et changement climatique TOME 2 83
D’ÉLABORATION ET DE SUIVI-EVALUATION DES POLITIQUES PUBLIQUES
GUIDE METHODOLOGIQUE
D’ÉLABORATION ET DE SUIVI-EVALUATION
DES POLITIQUES PUBLIQUES