Teoria da Mudança

Carolina Morais Araújo

Gerente do J-PAL no Brasil
Revisão: Tipos de avaliação

Avaliação de Necessidades

Avaliação Teórica

Avaliação de Processos

Avaliação de Impacto
Impact Evaluation

Cost-Effectiveness
Avaliação Analysis
de Eficiência
2
Estrutura

• O que é a Teoria da Mudança?

• Como fazer uma Teoria da Mudança?

• Por que a Teoria da Mudança é importante?

3
O que é a Teoria da Mudança?
O que é a Teoria da Mudança?

• A Teoria da Mudança é uma descrição ampla e ilustrada de como se

espera que aconteça uma mudança num contexto particular

• A Teoria da Mudança é um meio de sabermos até onde vamos (resultados)

e como chegamos (processos)

• Detalha todas as mudanças implícitas que têm que ocorrer entre as

atividades de um programa e seus objetivos de longo prazo

5
Objetivos da Teoria da Mudança

• Comunicação e descrição da intervenção

• Desenho de Intervenção e Planejamento Estratégico

• Monitoramento e Avaliação

6
A Teoria da
Mudança
pode ter
diferentes
formas…

Fonte: Oxfam America,

Freedom From Hunger 7
A Teoria da Mudança pode ter diferentes formas…

Fonte: AmplifyChange

8
A Teoria da Mudança pode ter diferentes formas…

Fonte: Infographic (artofagency.com) 9

Outra abordagem: o marco lógico
Fonte de
Objetivos Indicadores Premissas
verificação
Impacto

Propósito

Componentes

Atividades

10
Nosso exemplo de Teoria da Mudança
Problema/
Necessidade

Insumo/
Atividade

Produto Produto

Resultado Resultado Resultado

Intermediário Intermediário Intermediário

Resultado final Resultado final

11
Como construir uma Teoria da Mudança?
 Exemplo: Programa Um Laptop por Aluno

Fonte:
http://one.
laptop.org 13
Cinco passos

1. Definir o propósito

2. Completar a cadeia causal

3. Identificar premissas e riscos

4. Resumir a hipótese causal

5. Definir indicadores

14
1. Definir o propósito

O que é o propósito?

• É a mudança macro que queremos realizar com nosso programa

• Também pode ser pensado como a “razão pela qual existe nosso
programa”

• Muitas vezes, assemelha-se à missão da organização que implementa o

programa

15
1. Definir o propósito

Um laptop por aluno:

• Melhorar a educação básica de regiões vulneráveis

16
2. Completar a cadeia causal
Problema/
Necessidade

Insumo/
Atividade

Produto Produto

Resultado Resultado Resultado

Intermediário Intermediário Intermediário

Resultado final Resultado final

17
Problemas/ Necessidades
Problema/
Necessidade
• Explicitam as carências que
queremos enfrentar, não o
Insumos/
objetivo que queremos alcançar
Atividade

• Especificam a população-alvo Produto

Produto

• Relacionam-se diretamente aos

resultados finais do programa Resultado Resultado Resultado
Intermediário Intermediário Intermediário

Resultado Resultado
final final
18
Exemplo: Um Laptop por Aluno

Problema/
Baixo desempenho escolar
necessidade

19
Resultados finais Problema /
Necessidade

• São as mudanças de longo Insumos /

prazo que queremos conseguir Atividade
provocar com nosso programa
• São o avanço no estado de
desenvolvimento de nossa Produto Produto

população-alvo
• Estão diretamente relacionados
às necessidades Resultado
Resultado Resultado
Intermediário Intermediário Intermediário

Resultado Resultado
final final
20
Exemplo: Um Laptop por Aluno

Problema/
Baixo desempenho escolar
necessidade

Resultado final Melhor desempenho escolar

21
2. Completar a cadeia causal
Problema /
Necessidade

Insumos /
Atividades

Produto Produto
Do final
ao início
Resultado Resultado Resultado
Intermediário Intermediário Intermediário

Resultado final Resultado final

22
Útil na etapa de desenho do programa

Pensar na Teoria da
Mudança nos obriga a
focar nos resultados que
queremos provocar e
comprovar a credibilidade
das nossas premissas

Identificar a melhor
estratégia para
conseguir o
resultado desejado

23
2. Completar a cadeia causal
Problema/
Necessidade

Insumos/
Atividades

Produto Produto
Do início
ao fim
Resultado Resultado Resultado
Intermediário Intermediário Intermediário

Resultado final Resultado final

24
Resultados intermediários
Problema/
• Mudanças que se realizam devido à Necessidade
intervenção e que são necessárias
para se chegar ao resultado final Insumos/
Atividade

• Mudanças em
– Atitudes Produto Produto
– Conhecimentos
– Capacidades
– Comportamentos
Resultado Resultado Resultado
Intermediário Intermediário Intermediário

• Essas mudanças são um dos

principais focos das Resultado Resultado
avaliações de impacto final final
25
Exemplo
Problema/
necessidade
Baixo desempenho escolar

Uso de laptops em casa Uso de laptops em aula

Resultados
intermediários

Mais tempo Aulas mais Mais presença e

dedicado a lições interessantes e de matrícula
e leituras melhor qualidade

Resultados
Melhor desempenho
finais
escolar 26
Produtos
Problema/
Necessidade

Insumos/
• Resultados diretos Atividade
das atividades
programadas

Produto 1 Produto 2
• Muitas vezes, são
uma reformulação
das atividades do
ponto de vista dos Resultado Resultado Resultado
Intermediário Intermediário Intermediário
beneficiários

Resultado Resultado
final final
 Problemas/ Baixo desempenho escolar
necessidade

Alunos e professores
Produtos Professores capacitados
com laptops

Uso de laptops em casa Uso de laptops em aula

Resultados
intermediários

Mais tempo Aulas mais Mais frequência

dedicado a lições divertidas e de e matrículas
e leituras melhor qualidade

Resultados
Melhor desempenho
finais
escolar 28
Insumos/atividades Problema/
Necessidade

Insumos/
Atividades
• Os recursos e as
ações importantes
para se chegar aos Produto Produto
produtos do programa, do
ponto de vista de quem o
implementa
Resultado Resultado Resultado
Intermediário Intermediário Intermediário

Resultado Resultado
final final
 Problemas/ Baixo desempenho
necessidades escolar

Insumos/ Entrega de laptops com Curso para professores sobre

atividades material pedagógico uso de laptops em aula

Produtos Alunos e professores com laptops Professores capacitados

Uso de laptops em casa Uso de laptops em aula

Resultados
intermediários
Mais tempo Aulas mais Mais
dedicado a divertidas e de presença e
lições e leituras melhor qualidade matrícula

Resultados finais Melhor desempenho

escolar 30
 2. Completar a cadeia causal

Problema/
Necessidade

Desenho e Insumos/
implementação Atividades
do programa

Produto Produto

Resultado Resultado Resultado

Intermediário Intermediário Intermediário
Impactos do
programa

Resultado final Resultado final

31
Como construir uma Teoria da Mudança?
3. Identificar premissas e riscos

Premissas
Condições externas necessárias que devem ser cumpridas para que a
cadeia causal estabelecida na Teoria da Mudança seja válida

Riscos
Efeitos negativos não esperados gerados pelo programa

No contexto de uma avaliação de impacto

Premissas e riscos podem ser perguntas de pesquisa que uma avaliação
de impacto pode responder

33
 Baixo desempenho escolar

Entrega de laptops com material Curso para professores sobre

pedagógico a alunos e professores uso de laptops em aula

Alunos e professores com laptops Professores capacitados

Premissa: as escolas contam com acesso à rede elétrica

Uso de laptops em casa Uso de laptops em aula

Risco: os alunos usam mais os laptops para escutar música e jogar,
reduzindo o tempo dedicado a lições e leitura

Mais tempo Aulas mais Mais presença e

dedicado a divertidas e de matrícula
lições e leituras melhor qualidade

Melhor desempenho
escolar 34
4. Resumir a hipótese causal
Formulação:

“Se [atividades] geram [produtos], isto deveria levar a

[resultados intermediários] que ao final melhorarão
[resultados finais], contribuindo para [propósito]”

“Se a entrega de laptops nas escolas permite que mais alunos e

professores possuam um computador, isto deveria levar a um
aumento da motivação dos alunos, que, ao usar mais os
laptops, estudarão mais e melhor, o que ao final melhorará seu
rendimento escolar, contribuindo para a melhora da educação
básica em regiões vulneráveis”

35
5. Definir indicadores

Para avaliar se um programa é bem-sucedido ou não, é

necessário medir resultados tangíveis

Devemos desenvolver indicadores que nos permitam

• Quantificar os insumos/atividades
• Avaliar a implementação do programa
• Quantificar os resultados e impactos
• Registrar as percepções de quem está no programa

36
 Baixo desempenho escolar
Pontuação em provas de matemática e português

Entrega de laptops com material Curso para professores sobre uso

didático a alunos e professores de laptops em aula
N° de laptops enviados para escolas N° de cursos organizados

Alunos e professores com laptops Professores capacitados

N° de alunos e professores que
possuem um laptop N° de professores capacitados

Uso de laptops em casa Uso de laptops em aula

Número de horas de uso dos Número de horas de uso
laptops em casa dos laptops na escola

Mais tempo Aulas mais Mais presença e

dedicado a divertidas e de matrícula
lições e leituras melhor qualidade
Frequência de uso dos laptops Taxa de satisfação de alunos Taxa de presença
em casa em sala de aula

Melhor desempenho escolar

Pontuação em provas de matemática e português 37
Por que a Teoria da Mudança é
importante?
Ajuda a desenhar a avaliação de impacto

• Permite identificar perguntas de avaliação, geralmente

relacionadas às premissas identificadas pela teoria da mudança

• Ajuda a definir que dados coletar e que variáveis medir

• Ajuda a entender o “porquê” de um programa gerar determinados
resultados
• Importante para definir conhecimento mais generalizável e
mecanismos para replicar programas em diferentes contextos

39
 Baixo desempenho escolar

Entrega de laptops com material Curso para professores sobre

pedagógico a alunos e professores uso de laptops em aula

Alunos e professores com laptops Professores capacitados

Uso de laptops em casa Uso de laptops em aula

Mais tempo Aulas mais Mais presença e

dedicado a divertidas e de matrícula
lições e leituras melhor qualidade

Melhor desempenho
escolar ? 40
 Baixo desempenho escolar

Entrega de laptops com material Curso para professores sobre

pedagógico a alunos e professores uso de laptops em aula

Alunos e professores com laptops Professores capacitados

Uso de laptops em casa Uso de laptops em aula

Mais tempo Aulas mais Mais presença e

dedicado a divertidas e de matrícula
lições e leituras melhor qualidade

Melhor desempenho
Não há
escolar
impacto 41
 Baixo desempenho escolar

Entrega de laptopsEntrega
com material
de laptops aCurso para professores sobre
pedagógico a alunos e professores
alunos e professores uso de laptops em aula

Alunos e professores com laptops Professores capacitados

Uso de laptops em aula Uso de laptops em casa

Aulas mais Mais tempo

Mais presença divertidas e de dedicado a lições
e matrícula melhor qualidade e leituras

Melhor desempenho Não há

escolar
impacto 42
 Baixo desempenho escolar

Entrega de laptops com material Curso para professores sobre

pedagógico a alunos e professores uso de laptops em aula


Alunos e professores com laptops

Professores capacitados

Uso de laptops em casa Uso de laptops em aula

Mais tempo Aulas mais Mais presença e

dedicado a divertidas e de matrícula
lições e leituras melhor qualidade

Melhor desempenho Não há

escolar
impacto 43
 Baixo desempenho escolar


Entrega de laptops com material Curso para professores sobre
pedagógico a alunos e professores uso de laptops em aula


Alunos e professores com laptops

Professores capacitados

 Uso de laptops em casa


Uso de laptops em aula

 Aulas mais

Mais presença e
Mais tempo
dedicado a divertidas e de matrícula
lições e leituras melhor qualidade

   Não há
impacto
Melhor desempenho
44
escolar
 Baixo desempenho escolar

Entrega de laptops com material Curso para professores sobre

pedagógico a alunos e professores uso de laptops em aula

Alunos e professores com laptops Professores capacitados

Uso de laptops em casa Uso de laptops em aula

Mais tempo Aulas mais Mais presença e

dedicado a divertidas e de matrícula
lições e leituras melhor qualidade

Melhor desempenho Impacto

escolar
positivo 45
 Baixo desempenho escolar

Entrega de laptops com material Curso para professores sobre

pedagógico a alunos e professores uso de laptops em aula

Alunos e professores com laptops


Professores capacitados

 Uso de laptops em casa


Uso de laptops em aula

 Aulas mais

Mais presença e
Mais tempo
dedicado a divertidas e de matrícula
lições e leituras melhor qualidade

   Impacto
positivo
Melhor desempenho
46
escolar
 Baixo desempenho escolar

Entrega de laptops com material Curso para professores sobre

pedagógico a alunos e professores uso de laptops em aula


Alunos e professores com laptops

Professores capacitados

 Uso de laptops em casa


Uso de laptops em aula

 Mais tempo Aulas mais


Mais presença e
dedicado a divertidas e de matrícula


lições e leituras melhor qualidade

  Impacto
Melhor desempenho
escolar positivo 47
Conclusões
Em resumo

• A Teoria da Mudança torna explícito o caminho que se espera para um

programa gerar impacto

• Os cinco passos para construir uma Teoria da Mudança são: definir o

propósito, construir a cadeia causal, identificar as premissas e os riscos,
descrever a hipótese causal e definir indicadores

• A Teoria da Mudança pode ajudar a desenhar uma avaliação de impacto

que não apenas meça se um programa é efetivo ou não, mas também
quais são os mecanismos necessários para que o impacto aconteça

49
Pontos em comum da Teoria da Mudança

• Consiste em um mapa dinâmico sobre o programa

• Mostra relação de causa e efeito entre os diferentes

elementos e resultados de uma intervenção

• É um instrumento não apenas descritivo, mas explicativo

50