Monitoring and evaluation  
of health systems strengthening1 
 
An operational framework 
 
 
 

WHO, Geneva. November 2009

1
Paper prepared by WHO (Ties Boerma and Carla Abou‐Zahr), World Bank (Ed Bos), GAVI (Peter 
Hansen) and Global Fund (Eddie Addai and Daniel Low‐Beer) as part of the joint work on health 
systems strengthening and IHP+ common evaluation framework. 
 
Table of contents
 

Summary .................................................................................................................................... 1

Background................................................................................................................................. 3

General principles ...................................................................................................................... 3

A framework for M&E of health systems strengthening ........................................................... 6

Use of core indicators ......................................................................................................................... 6
Data sources........................................................................................................................................ 7
Data analysis and synthesis................................................................................................................. 8
Data dissemination, communication and use..................................................................................... 9
 
Operationalization of the framework ...................................................................................... 10

Country M&E systems....................................................................................................................... 10
Global community of practice (CHeSS) ............................................................................................. 11
Roles and responsibilities of global partners .................................................................................... 12
Illustrative applications of the framework........................................................................................ 14

Annexes

A: IHP+ common evaluation framework .................................................................................. 16

B: Illustrative examples of health systems monitoring indicator and data sources................ 17

C: Tools ..................................................................................................................................... 19

D: Use cases of the M&E framework for HSS........................................................................... 21

Use case 1: Evaluation ...................................................................................................................... 21
Use case 2: HSS joint programming .................................................................................................. 22
Use case 3: Immunization ................................................................................................................. 23
Use case 4: HIV/AIDS......................................................................................................................... 24
Use case 5: Performance‐based funding .......................................................................................... 25
Use case 6: Informatics ..................................................................................................................... 25
 
E: Baseline assessement in countries....................................................................................... 26

 
 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Figure 1 
Summary Monitoring & evaluation of health systems strengthening

Inputs & processes Outputs Outcomes Impact

This  paper  presents  a  framework  for  Infrastructure;   Improved 
Intervention
monitoring  and  evaluation  of  health  system  Information & 
communication  access & 
Coverage of 
interventions
health  outcomes 
& equity
services 
strengthening  (HSS)  and  discusses  how  it  can  technologies

G o v e rn a n c e
Indicator readiness

F in a n cin g
Social and financial 
domains risk protection
be  operationalized  at  the  country  level  and  Health 
workforce Intervention
Prevalence risk 
behaviours & 
quality, safety factors Responsiveness
how  global  partners  can  work  together  to  Supply chain
Efficiency
support the implementation.  Information
Data 
  collection Administrative sources
Financial tracking system; NHA
Facility assessments  Population‐based surveys
Coverage, health status, equity, risk protection, responsiveness

Databases and records: HR, 
Principles infrastructure, medicines etc.
Policy data
Clinical reporting systems
Service readiness, quality, coverage, health status 

The framework builds upon principles derived  Civil  registration

from  the  Paris  declaration  on  aid  Analysis & 

synthesis
Data quality assessment; Estimates and projections; In‐depth studies; Use of research results; 
Assessment of progress and performance and efficiency of health systems
harmonization and effectiveness and the IHP+.  Communication 
The  core  is  the  strengthening  of  one  country  & use Targeted and comprehensive reporting; Regular country review processes; Global reporting 
 
platform for monitoring and evaluation (M&E)   Strategies  for  operationalizing  the  framework 
of  HSS.  The  framework  is  intended  to  be  should meet three criteria:  
relevant  for  countries  and  for  global  health   be primarily country‐focused but also offer 
partnerships,  donors,  and  agencies.  It  will  the basis for global monitoring; 
result  in  better  alignment  of  country  and   address  monitoring  and  evaluation  needs 
global  monitoring  systems  and  can  be  used  for multiple users and purposes, including 
both for monitoring HSS joint programming as  monitoring  programme  inputs,  processes 
well as for tracking specific programmes.  and  results;  tracking  health  systems 
  performance; and evaluation;  
The results chain  facilitate  the  identification  of  indicators 
The  framework  shows  how  health  inputs  are  and  data  sources,  provide  tools  and 
reflected  in  outputs,  outcomes  and  impact  guidance for data analysis, and show how 
(Figure  1).  System  inputs,  processes  and  the  data  can  be  communicated  and  used 
outputs  reflect  health  systems  capacity,  for decision‐making. 
whereas  outcomes  and  impact  reflect  health   
systems performance.  Country M&E system
   The  primary  aim  is  to  have  a  strong  M&E 
The  framework  addresses  indicator  selection,  system in place for the national health sector 
related  data  sources,  analysis  and  synthesis  strategic plan that comprises all major disease 
practices  (including  quality  assessment),  and  programmes and health systems. The national 
communication  and  use.    Based  on  existing  M&E  plan  should  address  all  components  of 
work,  indicators  and  data  sources  can  be  the  framework  and  lay  the  foundation  for 
identified  for  each  step  in  the  results  chain.  regular reviews  during the implementation of 
HSS  efforts  should  lead  to  measurable  the  national  plan.  Existing  country  health‐
changes  in  health  system  inputs  such  as  sector  review  processes  are  key  events  to 
human  and  financial  resources  and  measures  assess progress and performance.  
of  output  such  as  levels  and  distribution  of   
health service access and "readiness". In turn,  The  work  on  country  M&E  should  generate 
this should lead to results such as coverage of  the information needed for global monitoring 
key  interventions  and  improved  health  levels  while  minimizing  the  reporting  burden  for 
and equity.    countries.   
   
   
   
   
 

1 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Country operationalizaton tools  for  data  quality  assessment,  addressing 

A national country health systems surveillance  data gaps, data analysis and for translating of 
(CHeSS)  platform  is  needed  to  bring  together  data  into  policy  relevant  formats;  multi‐
the  monitoring  and  evaluation  work  in  country  capacity  building  workshop  and 
disease‐specific  programmes,  such  as  TB,  institutional capacity building. 
HIV/AIDS  and  immunization,  with  cross‐  
cutting  efforts  such  as  tracking  human  The  multi‐purpose  and  multi‐directional 
resources,  logistics  and  procurement,  and  orientation of the HSS M&E framework and its 
health  service  delivery  (Figure  2).  It  also  operational  country  platform  supports  the 
includes  a  contextual  component  that  synthesis  of  data  from  multiple  sources  to 
describes  health  systems  in  a  systematic  inform  annual  health  sector  reviews,  country 
manner. The main goal of CHeSS is to improve  planning  processes,  country  management  of 
the  availability,  quality  and  use  of  the  data  health  strategy  and  the  tracking  of  progress 
needed  to  inform  country  health  sector  made  under  global  initiatives,  such  as  HSS 
reviews  and  planning  processes,  and  to  joint programming.   It  should  also be  used to 
monitor  health  progress  and  system  better integrate  M&E of specific programmes, 
performance.    It  is  the  platform  for  such  as  immunization  and  HIV/AIDS  into  a 
subnational,  national  and  global  reporting,  national health information system. 
aligning  partners  at  country  and  global  levels   
around  a  common  approach  to  country   
support and reporting requirements.  
Figure 2 

Country Health Systems Surveillance (CHeSS) platform

External validation and estimates Common standards and tools

Annual
reviews
GAVI
reporting Analysis MDG / UN
& synthesis reporting
HSS
Joint
Prog.
Programme

Global Fund Country

Country
Statistical
reports

reports

reporting data
data
generation
generation
&
& compilation
compilation
m ty
In rev

ss ali
t
de iew

Programme
en
se qu
pe

PEPFAR Reporting
nd s

as at a

reporting (e.g. TB, MCH,

en

HIV/AIDS)
t

Performance
Minimization of assessment Harmonization of
reporting requirements reporting requirements

 
 

Roles of global partners

Building  on  the  IHP+  and  H8‐related  work  a 
global  community  of  practice  will  aim  to 
support  the  operationalization  of  the  M&E 
framework  through  the  CHeSS  platform  in 
countries  through  a  community  of  practice 
using  web‐enabled  tools  for  information 
sharing  and  dissemination.  This  will  improve 
access  to  available  data  on  key  health 
indicators  and  on  systems  performance  and 
will  enable  linking  of  statistical  and  broader 
contextual information. Partners will promote 

2 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Background
Recent substantial increases in international funding for health have been accompanied by increased 
demand  for  statistics  to  accurately  track  health  progress  and  performance,  evaluate  impact,  and 
ensure accountability at country and global levels. The use of results‐based financing mechanisms by 
major  global  donors  has  created  further  demand  for  timely  and  reliable  data  for  decision‐making. 
There is increasing in‐country demand for data in the context of annual health sector reviews; this 
demand is also strong in countries that have established IHP+ compacts. However, on the supply side, 
there  are  major gaps  in  data  availability  and quality.  Many developing  countries  face challenges  in 
producing  data  of  sufficient  quality  to  permit  the  regular  tracking  of  progress  in  scaling‐up  health 
interventions and strengthening health systems. Data gaps span the range of input, process, output, 
outcome and impact indicators. 
 
An  increasing  number  of  stakeholders,  including  global  health  partnerships,  bilateral  donors,  UN 
agencies, and academic institutions are involved in health‐related monitoring and evaluation (M&E). 
Activities  include  the  financing  of  strengthening  monitoring  and  evaluation  systems,  and  the 
development  of  frameworks,  standards,  tools  and  methods  for  data  generation,  collection, 
compilation,  analysis  and  dissemination.  Data  are  used  to  enable  monitoring  of  progress  towards 
targets,  results‐based  funding,  and evaluation of  large‐scale  programmes. While these efforts have 
generally been linked to disease‐specific initiatives, there is growing interest in tracking the overall 
performance  of  country  health  systems,  acknowledged  to  be  pivotal  to  the  achievement  of  the 
disease‐specific goals.  For example, the Global Fund, GAVI, the World Bank and WHO are developing 
strategies for joint approaches to health systems strengthening (HSS). Monitoring and evaluation of 
HSS  will  need  to  be  implemented  in  ways  that  take  into  account  and  minimize  the  apparent 
dichotomy between systemic and categorical or disease‐focused approaches.  
 
This  paper  aims  to  provide  a  comprehensive  general  framework  for  M&E  of  health  system 
strengthening  and  reform.  It  first  describes  related  efforts  which  have  laid  the  foundation  for  this 
paper, notably the H8 health information discussions and the International health Partnership (IHP+) 
common  evaluation  framework.    The  M&E  framework  builds  upon  those  efforts,  putting  country 
health sector strategic plans and the related M&E processes such as annual health sector reviews at 
the  centre.  The  paper  provides  examples  through  brief  use  cases  that  describe  how  the  M&E 
framework can be applied for different purposes, including specific global programme needs as well 
as  HSS  joint  programming,  and  evaluation.  The  final  section  proposes  concrete  activities  for 
international partners to support the operationalization of the framework in countries. 

General principles
The  potential  advantages  of  harmonized  approaches  to  HSS  monitoring  and  evaluation  include 
reduced  transaction  costs,  increased  efficiency,  and  diminished  pressures  on  countries.  However, 
there  are  a  number  of  practical  issues  that  need  to  be  addressed  if  greater  harmonization  is  to 
become  a  practical reality.  For  example, there  are  multiple  analytical  and  strategic  frameworks  for 
health  systems,  leading  to  considerable  potential  for  duplication,  overlap  and  confusion.2 These 
include  the  WHO  framework  for  health  systems  performance  assessment3 (2000);  the  World  Bank 

2
 For a recent overview see Shakarishvili G. Building on Health Systems Frameworks for Developing a Common Approach to 
Health Systems Strengthening. Prepared for the World Bank, Global Fund to Fight AIDS, Tuberculosis and Malaria, and GAVI 
Alliance, Technical Workshop on Health Systems Strengthening, Washington, DC, June 25‐27, 2009 
3
 World Health Organization. Health systems performance assessment. World health report 2000. 

3 
 Monitoring and evaluation of health systems strengthening: An operational framework 

control knobs framework4 (2004); and the WHO building blocks framework5 (2006). Such frameworks 
have varying starting points, resulting in emphases on different outcomes to be tracked. The WHO 
framework  emphasizes  equity,  solidarity,  and  social  inclusion;  access  to  effective,  safe  and 
responsive  services;  community  health  promotion  and  protection;  and  responsible  health  system 
stewardship on the part of health authorities.  The World Bank framework focuses on aspects of the 
health  system  that  are  under  the  control  of  the  authorities,  including  financing  health  sector 
activities;  payment  methods  for  transferring  money  to  health  care  providers;  organizational  issues 
such  as  the  mix  of  providers  in  the  health  care  market;  regulation  of  health  system  actors;  and 
influencing  the  behaviours  of  individuals  in  relation  to  health  and  health  care.  What  all  these 
frameworks have in common is consensus that monitoring and evaluation must address performance 
in terms of  both health  system  measures –  availability,  access,  quality,  efficiency −  and  population 
health measures − health status, responsiveness, user satisfaction, financial risk protection.  
 
Work  has  continued  to  develop  conceptual  frameworks  for  health  systems  strengthening  and  to 
come  up  with  a  taxonomy  that  would  permit  clarification  of  the  indicators,  data  sources  and 
collection methods, and analytics underpinning monitoring and evaluation6. However, the choice of 
the  strategic  framework  does  not  necessarily  substantively  affect  the  monitoring  and  evaluation 
strategy. There are many commonalities in the various strategic frameworks for health systems that 
permit  a  coherent  approach  to  the  choice  of  indicators  and  measurement  strategies.  In  this  paper 
HSS  may  include  both  cross‐cutting  interventions  not  aimed  at  specific  diseases  and  the  health 
systems aspects of disease‐specific interventions. 
 
The  H8  discussions  on  health  information  have  led  to  the  development  of  four  global  health 
information  goals  which  aim  to  strengthen  country  data  sources  and  analytical  capacity  for  better 
decision  making.  The  global  health  information  goals  include  a  common  data  architecture; 
harmonized  and  strengthened  monitoring  and  evaluation;  enhanced  data  sharing;  and  increased 
level  and  efficiency  of  health  information  investments.7   The  H8  also  endorsed  the  principles  of  a 
strategic framework for results and accountability, developed through the IHP+ M&E working group.8 
The IHP+ framework builds upon principles derived from the Paris declaration on aid harmonization 
and  effectiveness:  alignment  with  country  processes;  balance  between  country  ownership  and 
independence; harmonized  approaches using international standards; capacity building and system 
strengthening: collective action; and adequate investment. It outlines monitoring activities required 
along the length of the results chain − from inputs and processes through outputs and outcomes to 
impact  (Annex  A).  The  latter  is  broadly  defined  as  including  not  only  reduced  mortality,  but  also 
reduced morbidity, improved equity, protection from financial risks and responsiveness to users.   
 
However,  the  IHP+  framework  requires  adaptation  in  order  to  make  it  operational  for  targeted 
monitoring and evaluation of HSS efforts.9  This adaptation has to meet three essential criteria.  First, 
4
  Roberts MJ, Hsiao W, Berman P, Reich MR. Getting health reform right: a guide to improving performance and equity.  
2008: Oxford University Press. 
5
 World Health Organization. Everybody's business. 2006: Geneva. 
6
 Hsiao W, Siadat B. In search of a common framework for health systems strengthening. Atun R. Overview of multiple 
approaches to health systems frameworks. Papers presented at a World Bank, GAVI, Global Fund meeting on health 
systems strengthening. Washington DC: 25‐27 June 2009.  
7
 H8 Health information working group. Monitoring Performance and Evaluating Progress towards the Health MDGs: Ten 
Strategic Goals at Global and Country Level. December 2008: Geneva. 
http://www.internationalhealthpartnership.net/en/working_groups/monitoring_and_evaluation 
8
 Monitoring and evaluation working group of the International Health Partnership (IHP+). Monitoring performance and 
evaluating progress in the scale‐up for better health.  a proposed common framework.  April 2008. Geneva. 
http://www.internationalhealthpartnership.net/en/working_groups/monitoring_and_evaluation 
 
9
 An example of a  results framework based on the IHP+ M&E framework was produced for the evaluation design of the 
Catalytic Initiative to Save One Million Lives. Institute for International Programs. Evaluating the scale‐up for maternal and 
child survival. Johns Hopkins Bloomberg School of Public Health, Baltimore, Maryland. 2008.

4 
 Monitoring and evaluation of health systems strengthening: An operational framework 

application  of  a  framework  for  M&E  of  HSS  should  be,  first  and  foremost,  country‐focused  and 
supportive  of  country  needs  for  evidence‐based  and  reliable  health‐sector  reviews  and  planning 
processes.  In addition, but secondarily, it should offer the basis for global monitoring.   
 
Second, a framework for M&E of HSS should address monitoring and evaluation needs for different 
users and multiple purposes, including: 
 monitoring  of  programme  inputs,  processes  and  results,  required  for  management  of  health 
system investments; 
 health systems performance assessment, as the key for country decision making processes; and  
 evaluating the results of the health reform investments and identify which approaches work best. 
It is  essential to  strike  a  balance between the  short‐term  demand  for data to inform results‐based 
funding  initiatives  that  will  tend  to  be  focused  on  the  process  and  output  elements  of  the  results 
chain, with the longer term need for data on outcomes and impact − such as access to and quality of 
care, utilization of services, financial protection, and patient satisfaction. A longer term perspective is 
also critical for dealing with the issue of attribution, showing how the intermediate results contribute 
to improved health impacts – reduced mortality and morbidity.  
 
Third, the framework should facilitate not only the identification of core indicators along each link in 
the  results  chain,  but  should  also  connect  indicators  to  data  sources  and  data  collection  methods, 
provide tools and guidance for the analysis of data from multiple sources, and demonstrate how the 
data can be communicated and used to inform decision‐making at different levels. 
 

5 
 Monitoring and evaluation of health systems strengthening: An operational framework 

A framework for M&E of health systems strengthening

The  results  framework  for  HSS  monitoring  and  evaluation  is  shown  below  (Figure  1).  It  comprises 
four  major  indicator  domains:  1)  system  inputs  and  processes,  2)  outputs,  3)  outcomes,  and  4) 
impact.  System  inputs,  processes  and  outputs  reflect  health  systems  capacity.  Outputs,  outcomes 
and impact are the results of investments and reflect health systems performance. For each block of 
indicators, preferred and alternative data sources are recommended, spanning a time horizon from 
the immediate to the longer term.   The framework  also outlines  what  is needed  across the results 
chain  in  terms  of  tools  for  data  quality  assurance,  synthesis  and  analysis,  with  a  focus  on  building 
country  level  capacities.  Finally,  the  framework  addresses  the  importance  of  dissemination, 
communication and use of the monitoring and evaluation results to inform policy‐making at all levels.  
 
Figure 1 
 

Monitoring & Evaluation of health systems reform /strengthening

Inputs & processes Outputs Outcomes Impact

Infrastructure 
/ ICT Intervention Coverage of  Improved 
access &  interventions health  outcomes 
Governance

services 
Financing

Health  & equity
Indicator readiness
workforce
domains Prevalence risk  Social and financial 
Supply chain Intervention behaviours &  risk protection
quality, safety  factors
Information and efficiency Responsiveness

Administrative sources Facility assessments  Population‐based surveys

Data  Financial tracking system; NHA Coverage, health status, equity, risk protection, responsiveness
Databases and records: HR, 
collection infrastructure, medicines etc. Facility reporting systems
Policy data Service readiness, quality, coverage, health status 

Vital registration

Analysis &  Data quality assessment; Estimates and projections; Use of research results; 
synthesis Assessment of progress and performance; Evaluation

Communi‐ Targeted and comprehensive reporting; Regular country review processes; Global reporting 
cation & use
 
 
The added value of this framework is that it brings together indicators and data sources across the 
results chain in its entirety. Monitoring of health system performance needs to show how inputs to 
the system (resources, infrastructure etc.) are reflected in outputs (such as availability of services and 
interventions) and eventual outcomes and impact including use of services and better health status. 
This results chain framework can be used to demonstrate performance of both disease‐specific and 
health systems interventions.  
 
Use of core indicators
 
The  main  issues  are  balanced  selection  of  indicators  covering  all  areas  of  the  framework, 
identification  of  indicators  that  can  be  measured  and  are  amenable  to  setting  of  targets,  and 
appropriate metadata for the indicators, preferably in line with international standards. 
 

6 
 Monitoring and evaluation of health systems strengthening: An operational framework 

The first goal is that countries identify a comprehensive list of core indicators that capture all areas of 
the M&E framework. Such indicators should be drawn upon existing indicator lists and focus on key 
priorities and cover the full range of health issues. Indicator definitions should be aligned with global 
standards  and  include  all  necessary  metadata  descriptors.10   The  choice  of  the  indicator  and  its 
attributes,  such  as  frequency  of  measurement  and  level  of  disaggregation,  should  also  take  into 
account national and subnational measurement capacities.  
 
Selection  of  the  indicators  within  each  domain  should  be  informed  by  considerations  of  scientific 
soundness,  relevance,  usefulness  for  decision‐making,  responsiveness  to  change,  and  data 
availability. The ability to set meaningful targets is critical. 
 
In many countries lists of well‐tested indicators are currently available but skewed towards particular 
elements of the results chain. In some settings, indicators focus primarily on  inputs, processes  and 
outputs.  Elsewhere,  the  skew  is  towards  indicators  for  outcomes  and  impact.  The  challenge  is  to 
ensure  an  appropriate  balance  across  the  full  range.  Another  issue  is  data  availability  and  quality 
especially  for  impact  indicators.  In  many  instances,  baseline  data  are  not  available,  rendering 
monitoring efforts particularly problematic.  
 
By way of example, selected indicators and associated data sources for each domain are described in 
Annex  B.  These  are  intended  to  be  illustrative  and  to  offer  an  initial  basis  for  discussion  among 
stakeholders. The indicators have been selected on the basis of the following criteria: 
 they address all aspects of health systems performance and cover each domain along the results 
chain; 
 they draw upon existing  indicator lists,  including the  MDGs, Countdown, programme indicators 
(HIV,  TB,  malaria,  MCH),  OECD  and  EUROSTAT  indicators  of  health  sector  performance  and 
quality of care; 
 they are scientifically robust, useful, accessible, understandable and SMART (Specific, Measurable, 
Achievable, Relevant and Time‐bound).  
 
Data sources
 
The next stage is to review data sources used to generate the data. For each indicator, the preferred 
data source should be identified along with best alternatives. Sources of health data can be divided 
into two broad groups: those that generate data relative to populations as a whole, and those that 
generate  data  as  an  outcome  of  health‐related  administrative  and  operational  activities.11 Other 
sources of information such as health research, clinical trials and longitudinal community studies may 
also feed into the health information system. The goal is that all countries have in place the range of 
data sources needed to generate critical data sets. In practice, there are far fewer core data sources 
than  there  are  potential  indicators.  The  challenge  is  to  ensure  that  there  is  an  appropriate  mix  of 
data  sources  to  ensure  that  data  sets  and  core  indicators  can  be  generated  to  high  standards  of 
quality and efficiency.  
 
In some countries certain important sources (such as civil registration for vital statistics data (births, 
deaths) may be incomplete, non‐functional or too costly.  In such cases, alternative sources are used 
or  data  from  multiple  sources  are  combined.    The  optimal  choice  of  data  source  will  depend  on  a 

10
 Eventually, each country should maintain an indicator and metadata registry, linked to the country observatory of health 
statistics,  within  which  core  and  supplemented  indicators  would  be  identified  and  defined,  along  with  data  sources  and 
analytic methods and the statistical values for the indicators.  

11
Health Metrics Network. Framework and standards for country health information systems. World Health Organization. 
2007.

7 
 Monitoring and evaluation of health systems strengthening: An operational framework 

range  of  factors,  including  epidemiology,  specific  characteristics  of  the  measurement  instrument, 
cost and capacity considerations, and programme needs.  In many cases, a combination of sources 
can  contribute  to  better‐quality  information  while  maintaining  efficiency.  In  other  cases,  it  will  be 
more efficient to avoid duplication.   
 
A  set  of  common  principles  applies  to  the  way  any  data  source  is  used  to  generate  data  sets  and 
indicators. The review should  examine  the extent  to which  core  procedures to ensure  data quality 
have been implemented.  This includes the use of standard definitions, appropriate data collection 
methods, and metadata descriptions.  
  
Innovation  facilitated  by  information  technologies  has  an  important  role  to  play,  in  terms  of  the 
efficient  generation  of  data  (for  example,  from  patient  and  facility  records  or  field‐based  data 
collection),  data  sharing  and  exchange  through  interoperable  databases,  which  may  be  located  at 
facility, district, regional and national levels. 
 
Data analysis and synthesis
 
A first step involves systematic data quality assessment and if necessary adjustment. Such analyses 
need to be transparent and in line with international standards. Identifying and accounting for biases 
because  of  incomplete  reporting,  inaccuracies,  non‐representativess  etc.  are  essential,  and  will 
greatly enhance the credibility of the results for users. Establishing a data and information repository 
as  a  shared  resource  at  national,  subnational  and  district  levels  is  an  important  step  in  improving 
information practices and enabling the necessary high‐quality data analyses. 
 
M&E  of  HSS  involves  data  synthesis,  comparisons  and  analysis,  and  summarizing  into  a  consistent 
assessment  of  the  health  situation  and  trends,  using  the  core  indicators  and  targets.    This  can  be 
complemented  by  more  complex  analyses  that  provide  estimates,  for  example,  of  the  burden  of 
disease, patterns of risk behaviour, health service coverage, trends in indicators, and health system 
performance. There is also a need to make much use of health systems research as well as qualitative 
data gathered through systematic processes of analyzing health systems characteristics and changes. 
 
Subnational  analyses  are  conducted  by  some  countries.    The  degree  of  statistical  sophistication 
involved in such analyses varies from country to country and there is a need to develop standardized 
tools  that  would  permit  broader  engagement  with  such  analytical  processes.  The  involvement  of 
country academic, public health and research institutions can help foster a broader understanding of 
the  potential  of  such  analysis  to  improve  the  quality  of  the  health‐related  statistics.  The  utility  of 
subnational  analyses  not  only  lies  at  the  national  level  but  also  extends  to  provincial  and  district 
health decision makers. 
 
Efficiency can be assessed through the analysis of inputs with results in terms of outputs, outcomes 
and  impact.    This  can  be  done  through  relatively  simple  bivariate  analyses,  but  could  also  involve 
more  complex  and  aggregate  indexes.  Finally,  assessing  country  performance  through  comparison 
with peers (benchmarking) is a powerful tool to influence decision makers. 
 
Information technologies can facilitate data synthesis and analysis. Tools are needed to support data 
quality assessment, correction for bias, imputation of missing values, and forecasting. Research and 
development  will  be  needed  to  develop  and  fine‐tune  such  tools  and  render  them  accessible  to 
potential  analysts  and  users  in  resource‐constrained  settings  and  at  different  levels,  and  especially 
where capacities are limited. 
 

8 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Evaluation  of  scaling  up  requires  a  solid  monitoring  system  with  data  on  baseline  trends  for  key 
indicators, provided by the country M&E platform of HSS as described in Figure 2. Such data need to 
be  complemented  by  in‐depth  studies,  both  quantitative  (preferably  longitudinal)  and  qualitative, 
and analyses that bring together all data and aim to draw conclusions about attribution of changes to 
specific  interventions  and  carefully  assess  the  role  of  contextual  changes.  Furthermore,  if 
effectiveness  of  the  interventions  can  be  established,  this  is  where  cost‐effectiveness  analysis  is 
essential to draw the ultimate conclusions. 

To inform country health policy making the quantitative work needs to be brought together with the 
qualitative  information.  At  present,  most  countries  do  not  have  systematic  way  in  which  data  and 
statistics and qualitative information are brought together. A web‐based mediawiki‐mechanism that 
aims to systematically gather, analyse and communicate qualitative information on health systems in 
countries  needs  to  be  brought  together  with  quantitative  data.12 Such  a  country‐driven  platform 
should become a solid basis for health intelligence that can inform planning cycles, regular reviews 
and monitoring and evaluation.  
 
Data dissemination, communication and use
 
The  final  step  is  the  translation  of  the  data  into  information  relevant  for  decision‐making.  This 
requires  packaging,  communication  and  dissemination  of  statistics  in  a  format  and  language 
accessible to the higher‐level policy‐ and decision‐makers. Information is used at various levels of the 
health system for health service management, health system management, planning, advocacy and 
policy development. A broad range of users are involved in these various uses, each from different 
technical  disciplines  and  vocations  with  associated  vocabularies  and  methods  of  communication.  
Dissemination  should  be  planned  for  the  unique  characteristics  of  each,  and  the  most  effective 
packaging and channels of communication for carrying "the story" should be chosen. The timing of 
information dissemination should be planned carefully to fit in with the planning cycles and needs of 
users. Communications experts can assist with the packaging of information for different audiences. 
Information technology provides new ways of effectively communicating data to specific audiences. 
 
The  dynamic  links  between  demand,  supply  and  quality  of  information  should  be  addressed  by 
encouraging  an  information  culture  where  information  is  demanded  and  the  use  of  information 
promoted.  In  practical  terms,  this  depends  on  the  establishment  of  institutional  mechanisms  and 
incentives for information use. Experience shows that the most effective mechanisms involve linking 
data/information  to  actual  resource  allocation  (budgets)  and  developing  indicator‐driven  planning. 
The key is to build it around country use processes of data and strengthen the availability, quality and 
use of data within those processes rather than propose new ones. 
 
 
 

12 http://km.euro.who.int/infoway/index.php/WHO/Europe_Health_systems_infoway. 

9 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Operationalization of the framework

 
Country M&E systems
 
Every country needs to have a strong monitoring and evaluation system in place as the foundation 
for  national  health  sector  strategic  planning,  covering  all  major  disease  programmes  and  health 
systems activities. The national M&E plan should address all components of the M&E framework and 
lay the foundation for regular reviews during the implementation of the national health plan and for 
related poverty‐reduction and development plans. It should form the basis for M&E work related to 
processes  such  as  SWAp13 and  IHP+14,  and  for  activities  supported  by  GAVI,  the  Global  Fund  and 
other  donors.  It  should  be  closely  linked  to  national  strategies  for  the  development  of  statistics. 
Programme‐specific  M&E  plans,  if  required,  should  be  fully  aligned  with  the  overall  plan.  Existing 
country health‐sector review processes are the key entry point to assess progress and performance: 
addressing the need for better data is not an end in itself but is an intrinsic part of country health 
sector programme review and planning cycles, and is central to ensuring effective management and 
public accountability.  
 
Figure 2 

National platform for 
Country Health System Surveillance (CHeSS)
External validation and estimates Common standards and tools
Annual
reviews
GAVI
reporting Analysis MDG / UN
& synthesis reporting
HSS Joint
Programming
Programme

Global Fund Country

Country
Statistical
reports

Evaluation
reports

reporting
data anddata
information
generation
generation
&
& compilation
compilation
m ty
In rev

ss ali
t
de i e w

en

Programme
se qu
pe

PEPFAR Reporting
nd s

as ata

reporting (TB, MCH,

en

HIV, etc.)
t

Performance
Minimization of assessment Harmonization of
reporting requirements reporting requirements
  
 
A platform for country health systems surveillance and intelligence (CHeSS) is needed to improve the 
availability, quality and use of data and related information needed to inform country health sector 
reviews and planning processes and to monitor health progress and system performance.  The CHeSS 
platform brings together the monitoring and evaluation work in disease‐specific programmes, such 
as  TB,  HIV/AIDS  and  immunization,  with  cross‐cutting  efforts  such  as  tracking  human  resources, 
logistics  and  procurement,  and  health  service  delivery  (Figure  2).  It  provides  the  platform  for 
subnational,  national  and  global  reporting,  aligning  partners  at  country  and  global  levels  around  a 
common  approach  to  country  support  and  reporting  requirements.  It  should  be  coordinated  with 

13
 http://www.who.int/trade/glossary/story081/en/ 
14
 http://www.internationalhealthpartnership.net/ 

10 
 Monitoring and evaluation of health systems strengthening: An operational framework 

national  strategies  for  the  development  of  statistics.  The  joint  assessments  of  national  health 
strategies (JANS) are an opportunity to assess the current status in countries and develop joint plans 
to strengthen the development of the platform. 

Global community of practice (CHeSS)

 
Good practices in the implementation of the CHeSS platform in countries  include:  

Planning and data use processes 
 Annual health sector reviews are the leading mechanism for planning and assessment of progress. 
They  involve  all  key  stakeholders  and  are  strongly  based  on  data  and  statistics.  In  addition, 
qualitative  information  on  the  health  system,  health  programmes  and  societal  context  is  used. 
Many  countries  have  established  an  annual  process  of  compiling  all  relevant  data  to  assess 
progress  against  a  defined  set  of  health  indicators  with  targets.  Some  of  those  indicators  and 
targets  are  part  of  the  multi‐year  national  health  sector  strategic  plan,  others  have  been 
established at a previous review meeting.  
 The M&E plan of the national health sector strategic plan has been developed with participation 
of  key  stakeholders  and  covers  a  core  set  of  indicators,  targets,  measurement  strategies  and 
requirement  investments,  data  quality  assessment,  analysis  and  synthesis,  institutional    and 
partner responsibilities, and review mechanisms, as well as costing, and covers the full period of 
the national health‐sector plan; 
 There  is  seamless  integration  of  data  collection  strategies,  capacity  building  and  budgets 
between  HMN‐supported  health  information  system  assessment  and  plans  (which  focus  on 
building  the  health  information  systems)  and  national  M&E  plans  (which  focus  on  tracking 
specific indicators).  

Indicators and targets 
 There is a balanced selection of indicators, covering all key areas of the framework 
 There  is  consensus  around  agreed  standards  for  indicator  and  data  definitions,  measurement, 
metadata  and analyses, building  upon  existing  work such  as the  health  systems  building  blocks 
toolkit;15 

Data sources 
 Data  collection  draws  upon  the  full  range  of  data  sources,  including:  vital  events  monitoring 
including  cause‐of‐death,  through  civil  registration,  census,  demographic  surveillance  sites,  or 
hospital statistics; a country‐led national plan for population‐based health surveys with a focus on 
service  coverage,  equity  and  population  health  outcomes,  and  using  global  standards;  timely, 
complete  and  high  quality  facility  data  using    information  technology  as  appropriate  and 
comprising  an  up‐to‐date  national  health‐facility  database  covering  public  and  private  health 
facilities  with  data  on  infrastructure,  equipment  and  commodities,  service  delivery,  and  health 
workforce;  and  a  system  of  tracking  financial  resource  flows  and  expenditures  to  subnational 
levels. 

15
 WHO and the World Bank. Measuring Health Systems Strengthening and Trends: A toolkit for countries 
(forthcoming):http://www.who.int/healthinfo/statistics/toolkit_hss/en/index.html.  A Health Systems 
Strengthening M&E toolkit has been developed by WHO and the World Bank in close collaboration with partners and 
several countries. Based on the health systems "building blocks" framework, it identifies core and supplementary indicators 
in the areas of financing, human resources, medical products and health service delivery. It also describes a set of core 
instruments for data collection, including routine health information management systems and facility assessments. Further 
work is needed to develop indicators and data collection methods for the governance and health information system 
components. 

11 
 Monitoring and evaluation of health systems strengthening: An operational framework 

 Systematic attention is paid to the preferred and complementary data sources and measurement 
issues for the indicators and addressing data gaps with a focus on data to inform annual reviews  
 There is adequate investment in data generation and analysis to monitor trends and additional 
timely investment to evaluate performance; 

Analysis and synthesis 
 Maximum use is made of all available information through analysis and synthesis of existing data 
sets  and  analyses  brought  together  in  a  country  documents  and  data  repository  to  which  all 
stakeholders  have  access.  The  repository  includes  primary  data  sets,  reports  of  data  collection 
efforts, existing reviews and published and grey literature.  
 There is a system for regular and objective data quality assessment for key indicators, preferably 
led by in‐country independent institutions  
 Regular studies are carried out of data availability and quality and analytical work is undertaken 
to bring together data from all sources, including qualitative data, in a systematic manner 
 Work  is  undertaken  to  generate  and  analyse  subnational  level  data,  providing  relevant 
information  for  decision  makers  at  district,  regional  and  national  levels  as  well  as  key  socio‐
economic disaggregations. 
 Mechanisms exist to bring together qualitative information with quantitative data for contextual  
enrichment and better understanding of the data analyses.  
 Continuous evaluation and operations research are built into the M&E plan and part and parcel 
of the country monitoring processes. 

Communication 
 There is effective communication of results using multiple media, including dashboards, targets 
and benchmarking 
 Systematic efforts are made to reach all audiences from national media and decision makers to 
local health managers 

Institutional capacity 
 There is clear definition of roles and responsibilities of country institutions to support the M&E of 
national  plan  and  annual  health  sector  reviews,  supported  by  international  partners,  as  a 
necessary and integral part of any approach. 
 
Roles and responsibilities of global partners
 
Over  the  past  few  years,  there  have  been  many  efforts  at  international  level  that  are  relevant  to 
M&E  of  HSS.  These  include  the  development  of  standards  and  tools,  initiatives  to  work  with 
countries  including  investment  in  data  generation,  technical  assistance  to  support  the 
implementation of standards and tools, and capacity building.  Building on the IHP+ and H8 related 
work,  global  partners  can  support  the  operationalization  of  the  M&E  framework  through  a 
community of practice for CHeSS. This approach places country needs and actions at the centre and 
offers a way for donor and development partners to coordinate their support in line with the Paris 
principles.  
 
Global  reporting  requirements  should  primarily  be  based  on  the  country  processes  of  data 
generation, compilation, analysis and synthesis and communication and use for decision making. This 
also  requires  harmonization  and  minimization  of  global  reporting  requirements  between  "vertical" 
disease  programmes  and  "horizontal"  health  systems  actions.  The  goals  would  be  to  minimize 
transaction  costs  for  countries  and  global  partners,  reduce  fragmentation  and  duplication, 
strengthen  national  health  information  systems,  while  meeting  global  standards.  It  enables  joint 
action  among  donors,  global  health  partnerships  and  UN  agencies,  and  provides  a  common  data 

12 
 Monitoring and evaluation of health systems strengthening: An operational framework 

architecture with associated standards and tools. Basic mapping of demand and use of information, 
supply of data and statistics and institutional capacity can help identify priorities areas for working 
with countries (see Annex E for a more detailed outline). 

Coordination 
The CheSS community of practice will comprise a web‐based information‐sharing and communication 
component, and a coordination or steering group, facilitated by WHO.  The web‐based platform will 
provide  the  key  documents,  standards,  country  activities,  etc.  and  provide  a  platform  for 
communication and discussion. It will also be an entry point for the country pages described in the 
CHeSS strategic document. The coordination group currently consists of representatives of the Global 
Fund,  GAVI,  the  World  Bank  and  WHO  but  aims  to  include  the  main  global  partners  in  health 
information  and  health  systems,  such  as  the  H8  agencies,  bilateral  donors,  foundations  and 
partnerships.  

Indicator and reporting harmonization 
Improved  coordination  among  partners  will  enable  better  alignment  between    country  and  global 
reporting.  Through  a  global  web‐based  indicator  and  metadata  registry,  indicators  will  be  better 
standardized, and reporting made easier and more effective, in part through the implementation of 
electronic information systems.   

Support to strengthening data sources 
Data gaps are likely to be multiple and varied across countries. Global partners will coordinate their 
efforts to enable  countries  to  fill  data  gaps on  all  components of  health  systems  functioning  along 
the causal chain from inputs, processes and outputs, to outcomes and impact, using  the full range of 
data  sources.    Innovation  through  the  introduction  of  new  technologies  will  be  critical  to  achieve 
greater  efficiencies  and  address  long‐standing  data  gaps,  such  as  causes  of  death  and  clinical 
information.  

Support to enhanced data analysis and synthesis  
Global partners will support the development of easily accessible standards and tools to permit the 
most  effective  and  efficient  generation  and  use  of  data.  These  will  include  tools  and  methods  for 
data quality assessment and assurance; tools to address major data gaps; and tools and approaches 
for data synthesis and analysis.  Annex C provides a description of these three types of tools. Global 
partners will support and facilitate multi‐country workshops and country technical assistance will be 
organized for country institutions to enhance country capacity to use the tools.  

Support to improved data access and communication 
A  country‐focused,  web‐based  wiki‐type  platform  will  improve  access  to  all  available  data  on  key 
health indicators and on systems performance  and  provide  easy access to country health  data and 
statistics documents, country health statistics, estimation tools and results, communication tools and 
results, and international standards, as well as country‐driven qualitative assessments of the health 
systems  and  its  components.  The  web  platform  will  initially  be  maintained  by  WHO  with  remote 
entry  facilities  for  programmes,  country  offices,  countries  and  international  partners.    The  web 
platform is not intended to replace existing or planned country websites which often cover multiple 
purposes. Ministries of Health and National Statistical Offices maintained websites however should 
be able to draw freely and easily from the health observatory country pages. 
 

13 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Support to institutional capacity‐building 
Support  to  country  capacity  will  be  through  direct  technical  assistance  to  the  key  institutions  in 
countries responsible for or contributing to annual health sector reviews and related analyses, and 
through multi‐country workshops that focus on the key analytical methods and techniques. 
 

Illustrative applications of the framework

 
Generic use  cases  are presented  to illustrate and test  the M&E  framework’s relevance  to  different 
situations, including country and global demand for data. The example of the country annual sector 
reviews has already been described above. The broad M&E framework should serve health‐systems 
performance monitoring as well as providing sufficient disease‐focused specificity to meet the needs 
of GAVI and the Global Fund.  This section briefly describes selected use cases, which are presented 
in  greater  detail  in  Annex  D:  evaluation,  HSS  joint  programming,  immunization,  HIV/AIDS,  results‐
based funding and health informatics. 

Evaluation 
Large‐scale evaluation studies of complex interventions often use a stepwise approach to link trends 
in  health  outcomes,  coverage  and  risk  behaviours,  access  and  quality  of  services,  and  funding,  as 
randomizations  are  not  possible.    Time  series  and  dose  response  analyses  are  used  to  explain 
changes  over  time  and  attribute  to  specific  investments,  often  complemented  by  modelling.  The 
stepwise approach can easily be mapped onto the M&E framework as shown in Figure 3, Annex C. 

M&E of HSS joint programming 
The IHP+ common evaluation framework and the associated CHeSS platform can be used to monitor 
and evaluate HSS joint programming. At the country level, the monitoring of HSS joint programming 
will be  driven by  countries’ own  priorities  and  processes, but  supported  by  standardised  tools  and 
aligned and harmonised technical and financial support from partners.  

Immunization tracking 
Every national M&E plan will already include indicators of immunization coverage and child mortality 
among the core set of priority indicators measured and reported against on a regular basis. Efforts to 
improve M&E of immunization programmes ‐ particularly in the context of results‐based financing ‐ 
need high quality data and systematic review processes that should be integrated into national M&E 
systems, linked to national plans. This should form the basis for effective use of immunization data in 
national review processes and for global reporting. 

HIV/AIDS tracking 
HIV/AIDS has received the greatest increase in international funding during the past five years. Some 
of  those  investments  have  gone  into  strategic  information,  including  surveys,  surveillance,  facility 
based  information  systems  and  programme  monitoring  &  evaluation,  although  its  impact  on 
strengthening  of  the  country  systems  has  been  limited.  Future  investments  should  improve  the 
availability of quality data and strengthen AIDS M&E in a way that it increasingly benefits the health 
information  system.  The  M&E  framework  and  CHeSS  approach  provide  a  platform  for  better 
integration  of  HIV  monitoring  and  evaluation  systems  into  a  country  health  information  system, 
while still ensuring complete and accurate reporting for key HIV interventions.  

Performance‐based funding and tracking results 
This is increasingly used within countries and at the international level and puts a high premium on 
timely, high quality data. Solid data quality assessment systems will need to be put in place, which 

14 
 Monitoring and evaluation of health systems strengthening: An operational framework 

should  benefit  national  health  information  systems.  It  will  also  be  important  that  investments  in 
improving  data  availability  and  quality  for  performance‐based  funding  are  made  in  a  way  that  the 
general  system  of  country  health  systems  surveillance  improves,  including  better  data  for  annual 
health sector reviews and other key decision making processes. Routine monitoring of performance‐
based funding initiatives should track over time the level of discrepancy between administrative data 
and independent data sources, such as household surveys.   

Informatics 
Health information technologies can be considered as an input or building block of health systems. 
This may include electronic health records and registers, aggregation of data at health facility, district 
and national levels, transfer of information up and down between the different levels of the health 
system,  reporting  of  outbreak  diseases  through  mobile  technologies,  etc.    The  great  potential  of 
these interventions is acknowledged. In order to make an impact the new technologies need to focus 
on  improvements  in  data  quality  and  availability  that  affect  health  decision  making.  The  M&E 
framework  and  CHeSS  approach  indicate  that  this  implies  that  the  success  of  informatics 
interventions should be assessed by measuring what results are achieved in terms of better health 
outputs, outcomes and impact, and at what cost. 
 
 
 
 
 
 

15 
Monitoring and evaluation of health systems strengthening: An operational framework 

Annex A
 

Common framework for monitoring performance and

evaluating progress in the scale-up for better health
Inputs Processes Outputs Outcomes Impact

Improved survival

Governance, HR, medical products, information

Funding National plan Increased service Child mortality
Domestic sources implementation utilization and Maternal mortality

Access, safety, quality, efficiency

Systems strengthening Adult mortality due to

Improved services
International sources intervention

Health system strengthened

Priority interventions coverage infectious diseases
scale-up
Improved nutrition
Plan Capacity building Reduced inequity Children
Coherent, prioritised Programmes (e.g. gender, Pregnant women
and funded Institutions socio-economic
People position) Reduced morbidity
HIV, TB, malaria,
reproductive health
Harmonization Accountability Responsiveness
Aligned international Performance Improved equity
efforts with national monitoring No drop-off non-
plan health sector Social and financial
Well coordinated and Results focus and interventions (e.g. risk protection
harmonized support evaluation water & sanitation) Reduced
impoverishment due to
Use for better practices health expenditures

M & E actions
Aid process Implementation Health-system monitoring Coverage monitoring Impact monitoring
monitoring Monitoring
Resource tracking Strengthen country health information systems

Evaluation: process, health-system strengthening, impact

16 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Annex B
Health systems monitoring indicator and data sources
Illustrative examples
Indicator  Additional dimension  Preferred source  Alternative 
Inputs and processes 
Health financing       
1  Total health expenditure as %    NHA, PER   
of GDP 
2  Total health expenditure per    NHA, PER   
capita 
3  % General government    NHA, PER   
expenditure on health 
Health workforce       
4  Doctors per 10,000 population    Multiple   
5  Nurse/midwives per 10,000    Multiple   
population 
6  Graduates of health training    Administrative records   
institutions per 10,000 
population 
Infrastructure & IT       
7  Hospital beds per 10,000    Administrative records   
population 
8  Doctors using electronic health    Facility assessment  Clinic data 
records 
Procurement & supplies       
9  Tracer medicines availability    Facility assessment   
10  Median drug price ratio for    Facility assessment   
tracer drugs 
Outputs 
Service readiness and access       
1  Index of service readiness  Subnational; by specific  Facility assessment   
(combines availability of  intervention (IMCI, MCH, ART 
infrastructure, human  etc) 
resources, medicines & 
equipment, training) 
2  Service accessibility (distance to  Subnational  Survey  Facility 
facility)  assessment 
3  General practitioner utilization  Outpatient department  Clinic data  Survey 
rate  utilization rate 
Service quality and safety       
4  TB treatment success rate    Clinical data   
(DOTS) 
5  30 day hospital case fatality    Hospital records   
rate AMI and stroke 
6  Waiting time to elective  PTCA, hip replacement  Hospital records   
surgeries: cataract 
7  Surgical wound infections (% of    Hospital records   
all surgical operations) 
8  Cancer treatment delay (time    Hospital records   
between first GP visit and first 
treatment, for breast and colon 
cancer) 

17 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Indicator  Additional dimension  Preferred source  Alternative 

Outcomes          
Coverage of interventions       
1  Antenatal care coverage (4+)  Antenatal care coverage (1+)  Survey  Clinic data 
2  Skilled birth attendance    Survey  Clinic data 
3  DPT 3 Immunization coverage  HiB, Hep3, measles, OPV  Survey  Clinic data 
4  ART coverage    Clinic data   
5  Contraceptive prevalence rate    Survey  Clinic data 
6  TB smear+ case detection rate    Survey  Notifications. 
+ model 
7  ARI in under‐fives taken to  Received antibiotics  Survey   
health facility 
8  Diarrhoea in under‐fives  With continued feeding  Survey   
receiving ORT 
9  ITN coverage among children  Pregnant women  Survey   
10  Cervical cancer screening (20‐ Breast cancer screening (50‐69  Survey  Clinic data 
64 years) coverage   years) coverage 
Risk factors and behaviours       
1  Tobacco use (adults)  Youth (13‐15), pregnant women  Survey   
2  Access to safe water  Urban rural  Survey   
3  Access to improved sanitation  Urban rural  Survey   
4  Low birth weight newborns    Clinic data  Survey 
5  Breastfeeding exclusive for 6  Initiation first hour  Survey   
months 
6  Obesity in adults (over 15 years)  Overweight   Survey   
7  Children under 5  Underweight, wasting,  Survey   
anthropometry ‐ stunting   overweight 
8  Condom use at last higher risk  15‐24 years  Survey   
sex, 15‐49 
9  Particulate Matter (PM10)    Environmental data   
exposure 
Impact          
1  Life expectancy at birth  Life expectancy at age 65  Death registration   
2  Child mortality (under‐5)  Neonatal, infant, perinatal  Death registration  Survey 
3  Maternal mortality ratio    Death registration  Survey 
4  Mortality by major cause of  25 major causes of death, ICD  Death registration   
death  based 
5  TB prevalence in population  TB incidence  Survey  TB clinic data 
6  HIV prevalence among adults  15‐24 year olds  Survey  ANC survey. 
15‐49 
7  Notifiable diseases (IHR)    Disease surveillance   
8  Depression prevalence (last 12       
months) 
Financial risk protection       
1  Out of pocket as % of total  Catastrophic expenses  NHA, PER   
health expenditure 
2  Insurance coverage (% covered    Survey   
by public or private health 
insurance) 

18 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Annex C
Tool development
Tools for data quality assessment and assurance 
Data quality issues are likely to be multiple and varied across countries and affect all data sources. A 
common feature observed everywhere is that routine reports from health facilities and districts are 
often subject to bias, incompleteness, tardiness, and poor quality. The need to systematically address 
such problems is particularly acute in light of the importance of regular data to inform annual health 
sector review processes and of the increasing use of performance‐based disbursement mechanisms 
used  by  countries,  funds  and  donors.  In  both  cases,  routine  reporting  from  health  facilities  is  the 
main source of data, yet it is clear that there are multiple problems in clinic and programme‐based 
reporting  systems.  Financial  incentives  carry  the  risk  of  aggravating  the  problems  and  creating 
incentives for gaming and for data manipulation.  
 
The assessment of data quality has different components.  First, a general picture of data quality can 
be obtained by analyzing data from multiple sources. This may include comparison of results, on for 
instance  intervention  coverage,  from  population  based  household  surveys  with  facility  reports.  To 
assess  the  completeness  and  accuracy  of  recording  of  events,  observational  and  follow‐up  studies 
are required. The most visible reporting problem is non‐reporting of facilities, districts or provinces.  
Errors in aggregating data are much harder to detect. Comparisons of individual data at the facility 
level  (registers, tally  sheets)  with  aggregate  reports from the  facilities  and  at  the district  level  may 
provide insights into such errors.  
 
The  assessment  of  data  quality  should  form  the  basis  for  adjustments  of  the  statistics.  Missing 
facilities  and  districts  should  be  taken  into  account  using  standardized  methods  for  adjustment. 
Limited  reporting  by  the  private  sector  should  be  taken  into  account,  and  can  benefit  from 
population‐based surveys. In addition, electronic reporting systems have great potential to improve 
such systems, not only in terms of timeliness but also in terms of quality. 
 
A range of disease programmes and studies have developed data quality assessment and adjustment 
methods and tools. For instance, GAVI uses a data quality audit to assess reporting problems.16 The 
Global Fund has developed a set of tools to assess data quality. Disease programmes, such as TB and 
HIV, are using a range of analytical methods and tools to adjust for recording and reporting problems. 
Also  several  countries  have  developed  ways  to  adjust  for  data  quality  problems.  Data  quality 
assessment needs to look at different levels of the system of data collection and aggregation, from 
facility to district, provincial and national level.    

Tools to address major data gaps 
Data gaps are likely to be multiple and varied across countries. It is essential to fill data gaps on all 
components of health systems functioning along the causal chain from inputs, processes and outputs, 
to  outcomes  and  impact.    A  comprehensive  plan17 to  improve  the  information  available  on  health 
progress and systems performance should include relevant data sources with particular emphasis on:  

16  GAVI is following up on its data task team recommendations to improve data used for funding decisions in a way that 
contributes to country health information systems strengthening. The extensive experience with the DQA tool needs to be 
harnessed and work is under way on indicators and reporting requirements for monitoring health systems strengthening. 
17
 The  Health  Metrics  Network  is  focused  on  development  of  country  health  information  system  plans  and  support  to 
countries for applications to GAVI and the Global Fund. Other areas of activity include strengthening civil registration and 
informatics (country operationalization, standards, enterprise architecture). 

19 
 Monitoring and evaluation of health systems strengthening: An operational framework 

 strengthening  vital  events  monitoring  with  causes  of  death,  through  existing  civil  registration 
systems, demographic surveillance sites, or hospital statistics; 
 harmonizing  health  surveys  through  a  country‐led  national  plan  for  population‐based  health 
surveys  with  a  focus  on  service  coverage,  equity  and  population  health  outcomes,  and  using 
global standards; 
 improving  the  timeliness,  completeness  and  quality  of  facility  generated  data  with  the  help  of 
information  technology  and  supported  by  an  up‐to‐date  national  health‐facility  database  that 
covers  all  public  and  private  health  facilities  with  data  on  infrastructure,  equipment  and 
commodities, service delivery, and health workforce18; 
 a system of tracking financial resource flows and expenditures to subnational levels. 
 
In follow‐up to the five‐year evaluation, the Global Fund is developing a model evaluation platform 
that includes tools for monitoring disease programmes and health systems strengthening, based on 
the WHO toolkit. It also includes data quality assessment tools and a M&E system strengthening tool. 
The  Fund  is  increasing  resource  allocation  for  health  information  systems,  including  operational 
research, and strengthening performance incentives for use of data. 

Data synthesis and analysis tools 
WHO,  UNICEF  and  other  international  organizations  produce  comparable  estimates  for  key  health 
indicators based on available data and methods to correct for data deficiencies and predict in time 
and space. The results are available in global databases and for some health indicators, such as HIV 
prevalence and child mortality, it is possible to obtain further insights from web sites and use tools to 
make or reproduce the global estimate. In general, however, access to methods, tools and results is 
piecemeal, countries’ use is limited and there is a need to facilitate country access. This needs to be 
combined  with  capacity  building.  Similarly,  access  to  global  investments  to  effectively  present  and 
communicate  results  is  limited.  Improved  access  to  and  use  of  profiles,  dashboards,  interactive 
graphics  and  mapping  tools,  such  as  those  used  in  the  Global  Health  Observatory,  can  benefit 
country health analyses. 

Data communication tools 
Once data have been gathered and summarized to high standards, further analysis – of what is both 
reported and missing – is needed before the information can be disseminated and communicated to 
non‐technical audiences and used as the basis for policymaking. Data should be presented in formats 
that emphasize relations to past trends, current policy, and  fiscal considerations. In practice, many 
country reports contain a wealth of raw data served in formats unpalatable or incomprehensible to 
policymakers. Presentation of complex information in formats that are easy to read and interpret – 
the dashboard – is a well‐tested route to enhancing use of data for decision‐making.  
 The US government / OGAC remains a lead investor in health data collection and informatics and 
is taking forward work on health systems monitoring through Health Systems 20/20. The USAID‐
supported  MEASURE  Evaluation  is  active  in  data  communication  tools  and  data  quality 
assessment.  
 The Countdown for maternal, neonatal and child survival 2015 produces country profiles and in‐
depth  analyses  of  progress  that  include  a  strong  health  systems  component  with  both 
quantitative indicators and policy information.  

 
18
 A Health Systems Strengthening M&E toolkit has been developed by WHO and the World Bank in close collaboration with 
partners  and  several  countries.  Based  on  the  health  systems  "building  blocks"  framework,  it  identifies  core  and 
supplementary indicators in the areas of financing, human resources, medical products and health service delivery. It also 
describes  a  set  of  core  instruments  for  data  collection,  including  routine  health  information  management  systems  and 
facility  assessments.  Further  work  is  needed  to  develop  indicators  and  data  collection  methods  for  the  governance  and 
health information system components.  
 

20 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Annex D
Use cases of the M&E framework for HSS
 
Use case 1: Evaluation
Scaling up interventions and health systems strengthening typically aim for nation‐wide coverage of a 
diverse  set  of  priority  interventions.  It  is  therefore  unlikely  that  a  quasi‐experimental  design  with 
intervention  and  comparison  populations  can  be  used  to  evaluate  the  results  of  HSS  and  attribute 
those  to  specific  aspects  of  the  changes.  Under  such  circumstances,  large‐scale  evaluation  study 
designs  may  opt  to  use  a  stepwise  approach  to  link  trends  in  health  outcomes,  coverage  and  risk 
behaviours,  access  and  quality  of  services,  and  funding,  as  randomizations  are  not  possible.    Time 
series  and  dose  response  analyses  are  used  to  explain  changes  over  time  and  attribute  to  specific 
investments, often complemented by modelling. 
 
The  stepwise  approach  can  easily  be  mapped  onto  the  M&E  framework  (Figure  3).  The  underlying 
logic is to start with tracking the health systems strengthening related resources. The availability of 
increased resources, money, people, commodities etc., contributes to the scaling up of services and 
should result in  enhanced access to and quality of  service  and  increased exposure to interventions 
(coverage  of  interventions  and  reductions  in  risk  behaviours).  If  the  resources  disbursed  are 
sufficient,  the  impact  of  increased  interventions  coverage  will  depend  on  the  efficacy  of  the 
interventions, on factors related to translating efficacy into effectiveness (i.e., coverage and quality), 
and  on  contextual  factors  (e.g.,  epidemiology,  economic  changes,  political  stability).  Therefore, 
ultimate disease trends need to be interpreted against the trends in these factors. The last step is to 
relate morbidity and mortality levels to the first four steps to assess impact. Health impact is defined 
as the measured or estimated overall program effect on morbidity and/or mortality, brought about 
by all initiatives and programs combined, irrespective of their financing source(s).  

The stepwise framework has been used to evaluate large scale interventions in several evaluations, 
such as multi‐country evaluations of scaling up child health  interventions (IMCI, Catalytic Initiative) 
and  the  country  studies  of  the  Global  Fund  5  year  evaluation,  and  is  currently  also  proposed  to 
monitor and evaluate short and long term changes related to the health reforms in China. 

Evaluation  of  scaling  up  requires  a  solid  monitoring  system  with  data  on  baseline  trends  for  key 
indicators, provided by the country M&E platform of HSS as described in Figure 2. Such data need to 
be  complemented  by  in‐depth  studies,  both  quantitative  (preferably  longitudinal)  and  qualitative, 
and analyses that bring together all data and aim to draw conclusions about attribution of changes to 
specific  interventions.  Furthermore,  if  effectiveness  of  the  interventions  can  be  established,  this  is 
where cost‐effectiveness analysis is essential to draw the ultimate conclusions. 

21 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Figure 3 
Evaluating health systems reform and strengthening:
A stepwise approach
Inputs & processes Outputs Outcomes Impact

Infrastructure; Improved 
Intervention Coverage of  health  outcomes 
Information & 
access &  interventions & equity
communication 

Governance
services 

Financing
technologies
readiness Financial risk 
Health  Prevalence risk  protection
Intervention behaviours & 
workforce
quality, safety  factors Responsiveness
Supply chain
Information Efficiency

Have finances been disbursed?
Have policies been changed? Contextual changes
Non health system determinants
Is the process of implementation 
happening as planned?

Has availability of and access to services improved?
Did the quality of services improve?

Has service utilization and coverage improved? 
Have risk behaviours changed?
Contextual changes Have health outcomes and equity improved? 
Non health system determinants Are services responsive to the needs? 
Are people protected against financial risks?
Has efficiency improved?
 
 

Use case 2: HSS joint programming

The IHP+ common evaluation framework and the associated CHeSS platform can be used to monitor 
and evaluate HSS joint programming. At the country level, the monitoring of HSS joint programming 
will be  driven by  countries’ own  priorities  and  processes, but  supported  by  standardised  tools  and 
aligned and harmonised technical and financial support from partners. At the global level, the web‐
based  CHeSS  platform  will  bring  together  the  key  documents,  standards,  country  activities  and 
results. This will serve as an entry point for country health systems surveillance pages where results 
within  and  across  countries  can  be  monitored  through  publicly  accessible  websites.    The  same 
platform can be used for integration with qualitative information about health systems, which needs 
to be done at the country level. 
 
Data used to track progress in implementation of HSS joint programming will be synthesised on the 
CHeSS platform from three primary sources: 
1. Country financial reporting: amount received and spent on HSS programming. 
2. Country performance reporting: based on country’s national M&E plan for the health sector. 
3. Additional performance indicators: synthesised from supplemental, existing sources.   

Country financial reporting 
Countries  receiving  financial  support  through  HSS  joint  programming  will  report  annually  on  the 
amount of funds received for HSS programming from different sources and the breakdown of how 
those funds are used. The reporting burden should not be onerous, but it must be sufficient to track 
the amount of resources being invested in HSS programming in a country by different partners and 
the  amount  spent  by  category.  Donors  investing  in  HSS  joint  programming  will  use  harmonised 
categories for classifying expenditures, so that countries only have to report one set of expenditure 
figures  to  donors  rather  than  reporting  separately  for  different  donors.  Balance  will  have  to  be 
sought  between  alignment  with  country  processes  and  the  need  for  expenditure  categories  to  be 

22 
 Monitoring and evaluation of health systems strengthening: An operational framework 

consistent and comparable across  countries.  This  financial reporting  is  intended  to  replace  existing 

financial reporting mechanisms that donors have used for HSS support provided to countries.  

Country performance reporting 
The starting point for monitoring of country performance will be the existing country M&E plan that 
is  part  of  the  national  health  plan.  For  effective  stewardship  of  the  health  sector,  each  country 
requires its own monitoring, based on its health sector strategy and plan. Support will be provided to 
countries  that  do  not  have  a  single  overall  M&E  plan  for  the  health  sector  to  assist  in  the 
development of such a plan. Work is underway to develop a list of 50 core indicators with standard 
definitions and recommended data sources that all countries will be encouraged to include in their 
national  M&E  plans.  Partners  providing  support  to  countries  through  HSS  joint  programming  will 
conduct performance monitoring by tracking progress against the indicators constituting the country 
health sector M&E plan and summarised, analysed and interpreted through the health sector annual 
review. Global partners should aim to minimize additional reporting requirements on countries and 
build as much as possible on existing M&E practices, while strengthening them where appropriate.   

Additional performance indicators 
If all country M&E plans contained all performance indicators that partners supporting HSS needed 
to  track  on  a  regular  basis,  there  would  be  no  need  for  additional  performance  measures  beyond 
those already included in country M&E plans. In practice, many partners supporting HSS will need to 
track  additional  performance  indicators  on  a  regular  basis  to  assess  progress  in  specific  areas  and 
report  to  governing  bodies.  Countries,  donors,  other  partners  and  the  general  public  can  track 
country and global performance in implementing HSS joint programming through the CHeSS platform 
without requiring onerous reporting from countries.  
 
An  important  characteristic  of  the  CHeSS  platform  is  its  multi‐purpose  and  multi‐directional 
orientation.  CHeSS  represents  not  a  platform  for  countries  to  report  to  global  partners,  but  a 
platform to synthesise results from multiple sources to inform annual health sector reviews, country 
planning processes, country management of health strategy and the tracking of progress made under 
global initiatives, such as HSS joint programming.    
 
Use case 3: Immunization
Every  national  M&E plan  will  already  include  indicators of  immunisation  coverage,  infant  mortality 
and under‐five mortality among the core set of priority indicators measured and reported against on 
a  regular  basis.  However,  many  other  immunisation‐related  indicators  of  importance  to  countries 
and global partners will not be included in the core set of priority indicators included in country M&E 
plans,  especially  process  and  output  indicators.  The  following  is  a  list  of  illustrative  areas  where 
countries  and  global  partners  can  track  progress,  but  which  are  not  included  in  all  country  M&E 
plans. Note that these are not indicators, but areas in which specific, appropriate indicators will be 
used to measure country and global progress over time.   
 
1. Impact: Incidence of vaccine preventable diseases 
2. Coverage 
• Regional equity in DTP3 coverage (percentage of districts with at least 80% coverage) 
• Population equity in DTP3 coverage (poor vs. non‐poor, female vs. male, other groups as 
appropriate) 
3. Output: 
• Injection safety practices 
• Efficiency in use of vaccine supplies 

23 
 Monitoring and evaluation of health systems strengthening: An operational framework 

4. Process:  Quality  of  immunisation‐related  administrative  data  (summary  measures  from  Data 
Quality  Audit,  discrepancy  between  coverage  estimates  from  administrative  sources  and 
household surveys)  
5. Input: performance in introducing new vaccines (time taken to scale up new vaccines to coverage 
levels achieved with existing vaccines, effect of introducing new vaccines on coverage of existing 
vaccines) 
 
Countries, donors, other partners and the general public can track country and global performance in 
these  areas  through  the  CHeSS  platform  without  requiring  onerous  reporting  from  countries.  Data 
used to construct indicators to measure the above are likely to derive from multiple sources that are 
already  available:  for  example,  the  WHO/UNICEF  Joint  Reporting  Form,  WHO/UNICEF  Estimates  of 
National Immunisation Coverage, household surveys and surveillance systems. In using supplemental 
data sources, country reporting does not increase and parallel systems do not have to be established, 
since  the  data  used  would  be  extracted  from  existing  sources.  There  are,  of  course,  constraints  in 
data  availability  that  will  hinder  the  tracking  of  supplemental  indicators  in  some  countries—for 
example, not all countries have extensive data on incidence of vaccine preventable diseases.        
 
Use case 4: HIV/AIDS
The selection of indicators for monitoring and evaluation of HIV/AIDS programmes is generally based 
on a similar results chain framework, covering a wide range of prevention and treatment and care 
interventions, several of which are multi‐sectoral in nature.  The investments in HIV/AIDS data 
collection have generally included household surveys with AIDS modules or special HIV indicator 
surveys, target population surveys, efforts to strengthen clinical reporting for ARV therapy, PMTCT 
and HIV testing and counselling, and tracking of HIV resources. In addition, investments have been 
used to improve HIV/AIDS databases and introduce electronic health records and reporting systems. 
 
HIV monitoring and evaluation efforts are often separated from a country health surveillance 
platform.  Some of this is due to the multi‐sectoral nature of HIV/AIDS programmes, especially 
prevention which has led to establishment of HIV coordination mechanisms outside of the health 
sector.  But, more frequently, HIV M&E programmes are run as separate entities with generous 
external funding. For instance, AIDS reviews are conducted in isolation and there is limited  
interaction or alignment with annual health sector reviews. Separate databases of (large numbers of) 
indicators are introduced for HIV. Investments in clinic based reporting for ARV therapy and PMTCT 
are made with too little attention for strengthening the reporting system as a whole.  Single disease 
(AIDS) mortality surveillance systems are developed in countries where no reliable information exists 
on any cause of death. 
 
The M&E framework and CHeSS approach provide a platform for better integration of HIV 
monitoring and evaluation systems into a country health information system, while still ensuring 
complete and accurate reporting for key HIV interventions. This implies balancing the number of 
indicators between diseases according to the country burden of disease, efficient investment in and 
use of population‐based health facility‐based and administrative data sources as well as data transfer 
and database management, and mainstreaming AIDS into country health sector reviews. 
Furthermore, minimizing international reporting requirements will be essential. 
 

24 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Use case 5: Performance-based funding

Performance‐based funding strategies − such as those used by the global health partnerships or for 
World  Bank  grants  −  are  increasingly  common  and  generate  additional  demand  for  timely,  high 
quality data.  In addition to such international transfers there are within‐country systems which may 
reward  districts,  facilities,  health  workers,  managers  and  civil  society  organization  for  good 
performance or results.  
 
Indicators  for  performance‐based  disbursement  are  often  focused  on  processes,  outputs  and 
sometimes  outcomes  such  as  intervention  coverage,  especially  within  countries,  but  also  at  the 
global  level.  It  is  also  argued  that  more  attention  is  needed  on  impact,  even  though  results  in  this 
area often take more time and many factors beyond the immediate control of programme managers 
influence changes in impact measures over time.  
 
Performance‐based funding puts a heavy premium on the quality of the data upon which decisions 
are made. The possibility of a reward may affect the quality of reporting at all levels (from individual 
to  country),  which  further  complicates  the  use  of  data  from  health  information  systems  which 
already have multiple data quality problems. Solid data quality assessment systems need to be put in 
place,  which  should  benefit  national  health  information  systems.  It  will  also  be  important  that 
investments in improving data availability and quality for performance based funding are made in a 
way that the general system of country health systems surveillance improves, including better data 
for annual health sector reviews and other key decision making processes.  
 
Use case 6: Informatics
Health information technologies can be considered as an input or building block of health systems. 
This may include electronic health records and registers, aggregation of data at health facility, district 
and  national  levels,  transfer  of  information  up  and  down  between  different  levels  of  the  health 
system, reporting of disease outbreaks, etc.  
 
The CHeSS framework and approach indicate that the focus needs to be on two types of results from 
these innovations. First what results can be expected in terms of better data availability, quality etc. 
that affects health decision making. In other words, results would have to be measurable in national 
level  decision‐making  processes  and  would  indirectly  benefit  international  reporting.  Second,  what 
results  can  be  measured  in  terms  of  better  health  outcomes,  one  of  the  main  goals  of  the  health 
system.  This  emphasizes  the need  for  evaluation of  the informatics  intervention, which  should use 
both  small  scale  evaluation  studies  with  randomized  or  quasi  experiemental  designs  and  a  broad 
approach based as proposed in use case 2. 

25 
 Monitoring and evaluation of health systems strengthening: An operational framework 

Annex E
Rapid (self-)assessment of country practices and
capacity to conduct
health systems performance assessment

Demand and use of information

1. What are the main country processes for review of progress and performance to inform annual 
and  longer  term  planning?  For  example,  annual  meetings  with  domestic  and  international 
stakeholders, special processes to review progress and develop new strategic plans. 
2. Are  special  assessments  planned  to  inform  such  assessment  and  planning  processes?  For 
example,  analyses  and  reports  for  annual  health  sector  reviews,  disease  specific  reviews,  mid 
term and final review of national health strategic plans? 
3. What  is  the  use  of  indicators,  data  and  analyses  to  inform  such  processes:  are  there  core 
indicators with targets and trends? Is much attention paid to analysis of equity and subnational 
performance? Is benchmarking of country performance with other countries done? 
4. Who/what institution(s) conduct the quantitative and qualitative analyses and synthesis for such 
reviews? 
 
Supply of data and statistics
1. What  kind  of  data  are  used  for  the  country  reviews  and  health  systems  performance 
assessments? For example, health facility data, surveys etc. 
2. What are the main strengths and what are the main data gaps, using the different levels of the 
framework for monitoring health systems strengthening? 
3. What  is  the  status  of  the  five  main  data  sources  and  which  ones  have  the  greatest  scope  for 
improvement? See the framework for the five sources. 
4. Does  the  country  have  data  quality  control  mechanisms  and  is  reporting  on  data  quality  and 
adjustments part of the whole process? Could it be improved? 
5. Are the data and analysis used for the reporting in the public domain? 
6. Are there systematic processes to pull together all the qualitative information on health systems? 
 
Institutional capacity
1. What country mechanisms and institutions are there to conduct data collection? What are the 
major strengths and weaknesses and what could be done to improve its capacity? 
2. And for data quality assessment, analysis and synthesis in preparation for annual reviews? 
 
Global reporting
1. Who does the main work on global reporting, e.g. MDGs, UNGASS, disease programmes?  
2. How well is the global reporting aligned with country processes of health systems progress and 
performance assessment?  
3. What can be done to improve it? 

26