Teoria e Pesquisa

Artigo

O que é, para que serve e como se faz

uma meta-análise?

Dalson Britto Figueiredo Filho

([email protected])
Docente Departamento de Ciência Política / UFPE

Ranulfo Paranhos
([email protected]),
Docente Instituto de Ciências Sociais / UFAL

José Alexandre da Silva Júnior

([email protected]),
Docente do Instituto de Ciências Sociais / UFAL

Enivaldo Carvalho da Rocha

([email protected]),
Docente Departamento de Ciência Política / UFPE

Dáfni Priscila Alves

([email protected]),
Graduanda do Centro de Filosofia e Ciências Humanos/ UFPE

Resumo: Esse trabalho apresenta uma breve introdução à técnica de meta-a-

nálise. Nosso público-alvo são estudantes de graduação e pós-graduação em Ciên-
cia Política. Metodologicamente, descrevemos o passo a passo do planejamento de
um desenho de pesquisa meta-analítico e apresentamos dois exemplos aplicados
sobre como fazer revisões sistemáticas. Com esse artigo, esperamos facilitar não só
a compreensão, mas também a utilização da meta-análise. Em termos substantivos,
esperamos contribuir para que as revisões de literatura sejam realizadas de forma sis-
temática, favorecendo a acumulação do conhecimento científico.
Palavras-chave: Meta-análise; Revisão de literatura; Revisão sistemática.

Abstract: This paper provides a brief introduction to meta-analysis technique.

Our target audience is both undergraduate and graduate students in Political Science.

http://dx.doi.org/10.4322/tp.2014.018 205
T&P O que é, para que serve e como se faz uma meta-análise?

Methodologically, we describe the step by step of a meta-analytic research design

and we present two applied examples on how to do systematic reviews. With this
paper we expect to facilitate not only the understanding but also the application of
meta-analysis. On substantive grounds, we hope to contribute to set a more system-
atic pattern of literature reviews, increasing scientific knowledge accumulation.
Keywords: Meta-analysis; Literature review; Systematic review.

The importance of a scientific work can be measured by the number of previ-

ous publications it makes superfluous to read.
David Hilbert

The foundation of science is the cumulation of knowledge from the results of

many studies.
John Hunter e Frank Schmidt

Introdução

O que é, para que serve e como se faz uma meta-análise? O principal objetivo des-
te trabalho é responder essas questões. Nosso público-alvo são estudantes de gradu-
ação e pós-graduação em Ciência Política. Metodologicamente, descrevemos o passo
a passo do planejamento de um desenho de pesquisa meta-analítico e apresentamos
dois exemplos aplicados sobre como fazer revisões sistemáticas. A importância desse
trabalho repousa no fato de que a grande maioria das revisões de literatura em Ciências
Humanas são realizadas de forma narrativa-literária, ou seja, sem critérios objetivos de
seleção/inclusão de trabalhos. A principal consequência da falta de procedimentos sis-
temáticos de revisão é a baixa confiabilidade das sínteses produzidas. Com esse artigo,
esperamos facilitar não só a compreensão, mas principalmente a utilização da técnica
de meta-análise. Em termos substantivos, esperamos ainda contribuir para que as revi-
sões de literatura sejam realizadas de forma sistemática, favorecendo a cumulatividade
do conhecimento científico.
Para tanto, o artigo está dividido em quatro seções. Na próxima seção, discutire-
mos as vantagens da meta-análise como instrumento para produzir revisões de litera-
tura. Depois disso, descreveremos o passo a passo do planejamento de um desenho de

206 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

pesquisa meta-analítico. Em seguida, apresentaremos exemplos aplicados sobre como

fazer uma revisão sistemática. Por fim, na última seção sumarizamos nossas conclusões.

1. Meta-análise e acumulação do conhecimento1

O avanço do conhecimento científico depende da acumulação sistemática de in-

formação. Nesse sentido, é imperativo estabelecer procedimentos confiáveis que orien-
tem a síntese de estudos produzidos em uma determinada área de pesquisa (Wolf,
1986). Logisticamente, revisões da literatura se justificam, dada a enorme quantidade
de informação produzida em diferentes ramos do conhecimento. Do ponto de vista do
leitor, o objetivo da síntese de pesquisa é concentrar em um só trabalho resultados de
vários outros e definir o atual status do conhecimento sobre um determinado problema
de pesquisa, tornando desnecessária a consulta sistemática a trabalhos mais antigos.
Para Hunter et al. (1982),

o que é necessário são métodos que integrem os resultados dos estudos dis-
poníveis no sentido de revelar padrões relativamente estáveis a respeito de relações
e causalidades. O estabelecimento disso constituirá princípios gerais e conhecimento
acumulado (Hunter et al., 1982: 26).

O problema, de acordo com Glass, McGaw e Smith (1981), é a incapacidade da

mente humana de coletar, processar e sintetizar diferentes resultados de pesquisa em
um pequeno número de fatores comuns. Com efeito, essa incapacidade pode produzir
diferentes vieses, reduzindo a confiabilidade das sínteses oferecidas e comprometendo
o desenvolvimento do conhecimento científico.
A maioria das revisões de literatura em Ciências Humanas ainda é realizada de
forma narrativo-literária, ou seja, não adota técnicas específicas.2 A falta de critérios sis-
temáticos gera vários efeitos perversos. Por exemplo, o que garante que uma amostra

1  Para um software específico sobre meta-análise ver: http://www.meta-analysis.com/pages/why_use.php. Para cursos ver:
http://www.meta-analysis.com/pages/online_courses.php. Para uma instituição voltada especificamente para meta-análi-
se ver: http://www.cochrane-net.org/openlearning/html/mod12-2.htm. Para o artigo pioneiro sobre o assunto ver Glass
(1976). Para uma introdução, ver Wolf (1986). Para abordagens mais avançadas, recomendamos Hunter e Schmidt (2004)
e Cooper, Hedges e Valentine (2009). Para diferentes aplicações em Ciência Política ver Doucouliagos e Ulubasoglu (2008),
Roscoe e Jenkins (2005), Imbeau et al. (2001), Lau et al. (1999). Em Economia ver Stanley e Jarrell (1989).
2  Santos (2009), Figueiredo Filho (2012), Medeiros, Crantschaninov e Silva (2013) e Paranhos (2014) adotam critérios siste-
máticos para elaboração de revisão de literatura.

207 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

representativa dos estudos sobre determinado fenômeno foi devidamente selecio-

nada? Na ausência de procedimentos específicos de coleta de dados: nada. Para Wolf
(1986), um problema típico dos modelos tradicionais de revisão da literatura é a inclusão
seletiva de estudos, em geral baseada nas impressões do revisor sobre a qualidade dos
trabalhos. Isso porque as revisões tradicionais geralmente utilizam um critério a posterio-
ri para julgar se um determinado estudo deve ou não ser incluído.
Um viés comum é o de que a maior parte dos estudos revisados ou foram pro-
duzidos na língua materna do revisor e/ou foram produzidos por colegas de departa-
mento e/ou amigos dentro da academia, configurando uma amostra por conveniência.
A amostra por conveniência é um exemplo de amostra não probabilística em que são
selecionadas as unidades amostrais mais facilmente acessíveis. Comparativamente, é a
técnica amostral que menos consome tempo e recursos. No entanto, é extremamente
tendenciosa, sendo desaconselhado a sua utilização para realizar inferências.
Outro problema refere-se à irreplicabilidade3 dessas revisões, tendo em vista que,
mesmo utilizando as mesmas referências bibliográficas sobre o tema, outro revisor pode
chegar a conclusões totalmente diferentes. Por exemplo, Cooper e Rosenthal (1980)
conduziram um experimento em que alunos e professores analisaram exatamente as
mesmas fontes, a única diferença era que um grupo utilizou técnicas específicas para re-
alizar a revisão, enquanto o outro empregou a abordagem tradicional narrativo-literária.
Os resultados sugerem que o grupo que utilizou métodos encontrou mais evidências
em favor da hipótese de trabalho e maiores níveis de associação entre as variáveis em
comparação com o grupo narrativo-literário.
Por fim, pela sua própria natureza literária, essas revisões não oferecem uma esti-
mativa da relação de pesquisa de interesse. Elas são incapazes de responder questões
do tipo: Qual é o efeito médio da variável independente sobre a variável dependente?
Em que medida x e y estão correlacionadas? Que variável importa mais para explicar y?
Para Wolf (1986),

literature reviews of empirical studies often go professionally unrewarded and

are notorious for depending on the subjective judgments, preferences, and biases of

3  O replication consiste no processo de realizar novas análises a partir de um banco de dados já existente com o objetivo de
aprimorar os resultados de pesquisa. Nas palavras de King (1995), “replication standard holds that sufficient information exists
with which to understand, evaluate, and build upon a prior work if a third party could replicate the results without any additional
information from the author” (King, 1995: 444).

208 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

the reviewers; conflicting interpretations of the evidence are not uncommon, while
even consistent interpretations by independent reviewers my be built on similar bias-
es and misreadings of the literature (Wolf, 1986: 10).

Para Cooper (2010), “concern about the potential for error and imprecision in tra-
ditional narrative syntheses encouraged social science methodologists to develop the
more rigorous and transparent alternatives (Cooper, 2010: 07). É exatamente contra es-
ses problemas que se presta a utilização da meta-análise.4
Mas o que é meta-análise, afinal? Na definição pioneira de Glass (1976),

Primary analysis is the original analysis of data in a research study (...) Secondary
analysis is the re-analysis of data for the purpose of answering the original research
question with better statistical techniques, or answering new questions with old data
(…) Meta-analysis refers to the analysis of analyses (…) the statistical analysis of a large
collection of analysis results from individual studies for the purpose of integrating
the findings. It connotes a rigorous alternative to the casual, narrative discussions of
research studies which typify our attempts to make sense of the rapidly expanding
research literature (Glass, 1976: 03).5

Roscoe e Jenkins (2005) afirmam que “meta-análise consiste em colocar diferentes

estudos juntos em um mesmo banco de dados e utilizar metodologias analíticas e es-
tatísticas para explicar a variância dos resultados utilizando fatores comuns aos estudos”
(Roscoe & Jenkins, 2005: 54). Ou seja, é um procedimento metodológico que sintetiza
uma determinada quantidade de conclusões num campo de pesquisa específico. Uma
de suas vantagens é elevar a objetividade das revisões de literatura, minimizando pos-
síveis vieses e aumentando a quantidade de estudos analisados. Segundo Imbeau et
al. (2001), a “meta-análise habilita os pesquisadores a resolver disputas na literatura, a
determinar que fatores têm contribuído para as diferenças sistemáticas entre os estudos
e para identificar as áreas que têm sido negligenciadas” (Imbeau et al., 2001: 03).
Além disso, a meta-análise permite comparar os resultados das pesquisas não
só no que diz respeito ao aspecto substantivo, mas principalmente em relação aos

4  Leviton e Cook (1981) apresentam uma comparação entre os métodos tradicionais de revisão de literatura e a perspectiva
meta-analítica.
5  A literatura especializada é unânime em atribuir a Glass (1976) o pioneirismo não só na utilização do termo meta-análise,
mas também no desenvolvimento do argumento de que revisões da literatura deveriam ser produzidas seguindo técnicas
específicas. Todavia, é importante ressaltar que desde 1975 Schmidt e Hunter vinham aplicando técnicas meta-analíticas em
suas pesquisas, o que culminou com a conquista do prêmio James McKeen Cattell também em 1976. No entanto, a publi-
cação do trabalho ocorreu apenas em 1977.

209 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

procedimentos metodológicos. Por exemplo, ela permite estimar em que medida uma
técnica específica se correlaciona com um determinado padrão de conclusão.
Concluindo, o termo meta-análise é utilizado como sinônimo de síntese de pes-
quisa, revisão de pesquisa ou revisão sistemática. Nesse artigo, definimos meta-análise
como a utilização de técnicas estatísticas para analisar resultados empíricos de pesquisa
com o objetivo de produzir sínteses de literatura.

2. O planejamento de uma meta-análise

Diferentes manuais apresentam algumas variações no que diz respeito aos está-
gios que devem ser seguidos para elaborar uma meta-análise. Para os propósitos deste
trabalho, replicamos o modelo desenvolvido por Cooper (2010). O quadro abaixo suma-
riza esses estágios.

Quadro 1 – Planejamento de uma meta-análise em sete estágios

Estágio Descrição
1 Identificação/formulação do problema de pesquisa
2 Coleta da literatura (livros, artigos, teses, documentos, artigos não publicados, etc.)
3 Coleta das informações de cada estudo
4 Avaliação da qualidade dos estudos
5 Análise e síntese dos resultados dos estudos
6 Interpretação dos dados coletados
7 Apresentação dos resultados de pesquisa

Fonte: elaboração dos autores a partir de Cooper (2010).

1o estágio: Identificação/formulação do problema de pesquisa

Todo trabalho científico começa ou pelo menos deveria começar com a descrição
detalhada do problema de pesquisa que se pretende investigar. Em sua forma mais
rudimentar, uma questão de pesquisa envolve a definição de variáveis e do padrão
esperado de associação entre elas (Cooper, 2010). Da mesma forma, na pesquisa meta-
-analítica, o pesquisador deve definir o problema de pesquisa que pretende investigar,
identificando como as variáveis utilizadas pela literatura foram operacionalizadas. Para
os propósitos da meta-análise, é imperativo que os resultados de pesquisa sejam ex-
pressos em algum formato numérico. Uma vez determinada a natureza dos resultados,

210 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

o próximo passo é identificar o principal objetivo da pesquisa: descrição, associação ou

relação causal.

2o estágio: Coleta da literatura

Em toda pesquisa empírica, o pesquisador deve definir se vai trabalhar com a po-
pulação ou com uma parte dela (amostra). Em geral, amostras são mais baratas e rápi-
das de coletar. Quando devidamente selecionadas, são também extremamente con-
fiáveis. Logisticamente, amostras devem ser utilizadas em detrimento de populações.
Na pesquisa meta-analítica cada estudo é considerado como um caso, de modo que
a totalidade de trabalhos sobre um determinado problema de pesquisa configura a
população de interesse. No caso de amostras, o pesquisador deve explicar os critérios
utilizados para sua seleção.
Adicionalmente, o pesquisador deve deixar claro onde os estudos foram coleta-
dos, ou seja, é necessário definir as fontes de pesquisa. Também se deve descrever o
tipo de publicação analisada (livros, artigos, capítulos de livro, teses etc.). Todos esses
elementos são centrais para garantir a replicabilidade do estudo (King, 1995).

3o estágio: Coleta de informações de cada estudo

O pesquisador deve coletar informações de cada estudo com o objetivo de ali-
mentar sua base de dados. Para tanto, é necessário estabelecer uma codificação espe-
cífica do tipo de informação que se deseja coletar (número de casos analisados, tipo de
técnicas utilizadas, magnitude das estimativas reportadas, forma funcional das variáveis
etc.). A regra geral é maximizar a quantidade de informações coletadas, mesmo que
posteriormente o pesquisador não as utilize. Isso porque o custo monetário e logístico
de uma nova coleta geralmente é proibitivo.

4o estágio: Avaliação da qualidade dos estudos

De acordo com Cooper (2010), a avaliação da qualidade dos estudos consiste em
examinar o grau de correspondência entre os métodos e técnicas utilizados e as con-
clusões observadas. Por exemplo, seria inadequado incluir um estudo com pretensões
generalizantes que tenha utilizado uma amostra reduzida. Com efeito, o problema de
avaliar a qualidade dos desenhos de pesquisa é mais pronunciado nas ciências naturais,

211 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

em que a utilização de experimentos é amplamente difundida. Como a maior parte

dos estudos empíricos realizados em Ciência Política é observacional, o pesquisador
raramente tem a oportunidade de interagir sistematicamente com seu objeto de pes-
quisa, o que impossibilita, por exemplo, que as expectativas dos participantes afetem
os resultados observados.

5o estágio: Análise e síntese dos resultados dos estudos

Nesse estágio o pesquisador deve escolher os métodos e técnicas que serão uti-
lizados para integrar os resultados de pesquisa. Operacionalmente, para garantir a va-
lidade dos resultados encontrados, o pesquisador deve satisfazer três pressupostos: (a)
os achados individuais de pesquisa que serão agregados de forma cumulativa devem
analisar a mesma questão de pesquisa; (b) os testes individuais que serão acumulados
devem ser independentes e (c) o pesquisador deve acreditar que os resultados de cada
estudo são válidos (Cooper, 2010).
A forma mais simples de acumular os achados de pesquisa é analisar a distribuição
dos testes de significância ou da direção dos resultados. Por exemplo, o pesquisador
deve contar quantos achados foram estatisticamente significativos na direção esperada
(rejeita a hipótese nula); quantos achados foram estatisticamente significativos na dire-
ção não esperada (rejeita a hipótese nula) e quantos achados foram não significativos
(não rejeita a hipótese nula).
Outro procedimento é comparar a frequência dos achados que foram estatistica-
mente significativos na direção esperada e a frequência dos achados que foram esta-
tisticamente significativos na direção não esperada. Se a hipótese nula for verdadeira,
espera-se que os valores sejam iguais. Se os valores forem diferentes, o pesquisador
deve rejeitar a hipótese nula em favor da maior frequência observada. O quadro abaixo
apresenta os procedimentos mais usualmente utilizados para integrar os resultados de
pesquisa de diferentes trabalhos.

212 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

Quadro 2 – Testes combinados

Teste Descrição Fórmula

Fisher 6
A distribuição da estatística de Fisher se aproxima de uma distribuição de
chi-quadrado (χ2) com grau de liberdade igual a 2n, onde n representa o
número de testes combinados e p representa o nível de significância de
cada teste.
Winer7 A variância observada se expressa pelos graus de liberdade (df/df-2) e se
aproxima de uma distribuição normal quando o grau de liberdade é igual
ou maior a 10 (df ≥10).

Stouffer Medida similar ao teste combinado de Winer, a diferença é que no teste

de Stouffer, ao invés de utilizar estatística t, emprega-se a estatística z. N
representa o número de testes combinados.

Cooper Utiliza apenas a direção dos achados de pesquisa, estimando em que

medida o resultado acumulado poderia ter ocorrido por chance. Np
representa a quantidade de achados na direção esperada e N representa
o total de achados (ambas as direções).

Fonte: Elaboração dos autores a partir de Wolf (1986) e Cooper (2010).

Em síntese, o pesquisador pode computar o número de resultados em direções

opostas e/ou a quantidade de relações estatisticamente significativas para estimar qual
é o status da literatura sobre um determinado problema de pesquisa. Além disso, ele
pode combinar os resultados de cada estudo individual, calculando a probabilidade de
cada resultado.
Um procedimento ainda mais sofisticado é analisar o tamanho do efeito. Uma das
estatísticas mais amplamente utilizadas para estimar o tamanho do efeito é a média
padronizada da diferença entre grupos (medida d). Ela é apropriada para realizar com-
paração de médias. Em geral, é utilizado em conjunto com o teste t e o teste F. A me-
dida d revela a distância entre duas médias em termos de desvio padrão (assumindo
homogeneidade de variância).8 Quanto maior o d, maior é a diferença entre as médias
dos grupos.

6  Pode gerar resultados inconsistentes, quando a maior parte dos estudos demonstra resultados na mesma direção.
7  Pode gerar resultados inconsistentes, quando aplicado a amostras pequenas (N<10).
8  Para estimar o desvio padrão nesse caso específico, deve utilizar a seguinte fórmula:

  Onde σ1 e σ2 representam o desvio padrão dos grupos 1 e 2, respectivamente e n1 e n2 representam o tamanho da amos-
tra do grupo 1 e grupo 2, respectivamente.

213 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

Similarmente, quando o pesquisador está interessado em mensurar a associação entre variáveis,

tem-se a correlação de Pearson9 como a medida mais usualmente empregada. Esse coefi-

ciente é uma medida de associação linear entre variáveis. Ele varia entre -1 e + 1, o sinal
indica a direção da correlação, enquanto o valor do coeficiente indica a magnitude da
associação.
Por fim, é possível analisar os coeficientes de regressão. Cooper (2010) adverte que
a combinação de coeficientes de regressão em análises meta-analíticas é um proce-
dimento extremamente complicado. Isso porque o coeficiente não padronizado é in-
fluenciado pelas escalas das variáveis. Por esse motivo, a agregação de coeficientes de
regressão oriundos de variáveis com diferentes escalas não tem interpretação substan-
tiva. Uma eventual solução seria utilizar os coeficientes padronizados, todavia, aqui se
tem o problema da inclusão de diferentes variáveis de controle de diferentes estudos, o
que também impossibilita a agregação desses coeficientes.
Tecnicamente, para que a agregação de coeficientes de regressão seja inteligível,
é necessário satisfazer três pressupostos: (a) a variável dependente e a variável indepen-
dente foram mensuradas de forma semelhante em diferentes estudos; (b) as variáveis
de controle são constantes entre os diferentes trabalhos e (c) as distribuições da variável
dependente e independente devem ser similares.

6o estágio: Interpretação dos dados coletados (evidência)

Que inferências podem ser realizadas a partir da agregação dos diferentes resulta-
dos de pesquisa? Essa é a questão que o pesquisador deve responder no sexto estágio
da execução de uma pesquisa meta-analítica. O pesquisador deve conferir a interpre-
tação substantiva dos resultados de pesquisa, discutindo como os resultados observa-
dos se relacionam com a produção teórica sobre o assunto. Deve também deixar claro
os principais problemas enfrentados durante a execução do desenho de pesquisa, de
modo que as limitações do trabalho sejam devidamente expostas.

9  O coeficiente de correlação de Pearson não tem esse nome por acaso. É comum atribuir exclusivamente a Karl Pearson o
desenvolvimento dessa estatística, no entanto, como bem lembrou Stanton (2001), a origem desse coeficiente remonta ao
trabalho conjunto de Karl Pearson e Francis Galton (Stanton, 2001:1).

214 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

7o estágio: Apresentação dos resultados de pesquisa

Assim como em uma pesquisa com dados primários ou secundários, a meta-aná-
lise exige a apresentação sistemática dos resultados encontrados. Para Cooper (2010),
“the transformation of your notes, printouts, and coding forms into a cohesive public
document describing your research synthesis is a task with profound implications for
the accumulation of knowledge” (Cooper, 2010: 218). É nesse sentido que o pesquisa-
dor deve compilar seus resultados em um documento síntese e submeter ao crivo da
comunidade acadêmica. Ao longo do desenvolvimento das diferentes técnicas de me-
ta-análise, foram desenvolvidos também procedimentos específicos para reportar os
resultados.10 Sugerimos o modelo de apresentação Meta-Analysis Reporting Standards
(MARS).

3. Exemplos de revisões sistemáticas

Essa seção apresenta dois exemplos sobre como elaborar revisões sistemáticas de
literatura. O primeiro foi realizado por Figueiredo Filho (2009) e o segundo por Paranhos
(2014).11 O quadro abaixo sumariza a questão de pesquisa e uma amostra de quatro
variáveis extraídas de cada estudo.

Quadro 3 – Questão de pesquisa e variáveis selecionadas

Estudo Questão de pesquisa Variáveis

Qual é a relação entre contribuições (1) nome do periódico; (2) tipo de desenho de
Figueiredo Filho (2009) de campanha e comportamento pesquisa; (3) tipo de efeito e (4) número de
congressual? variáveis independentes.

(1) Qualis dos periódicos; (2) utilização de

O que produz os estudos legislativos no recursos analíticos (tabelas, gráficos, figuras
Paranhos (2014)
Brasil? quadro); (3) palavras-chave e (4) frequência de
subáreas.12

Fonte: elaboração dos autores

10  Por exemplo, tem-se o Quality of Reporting of Meta-analysis (QUORUM), Preferred Reporting Items for Systematic Reviews
and Meta-analyses (PRISMA) e Meta-analysis of Observational Studies in Epidemiology (MOOSE).
11  Os interessados no assunto devem consultar os trabalhos originais no sentido de observar o desenho de pesquisa
utilizado e as variáveis incluídas na análise.
12  Para leitores e pesquisadores interessados no banco de dados completo sobre a revisão sistemática de literatura,
acessar o The Institute for Quantutative Social Science (IQSS/Harward University) em: http://dx.doi.org/10.7910/
DVN/25551.

215 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

Figueiredo Filho (2009) analisou a relação entre contribuições de campanha e

comportamento congressual. As variáveis selecionadas foram: (1) nome do periódico;
(2) tipo de desenho de pesquisa; (3) tipo de efeito e (4) número de variáveis indepen-
dentes. Por sua vez, Paranhos (2014) investigou a produção brasileira na área de estudos
legislativos a partir das seguintes variáveis: (1) Qualis dos periódicos; (2) utilização de re-
cursos analíticos (tabelas, gráficos, figuras e quadros); (3) palavras-chave e (4) frequência
de subáreas.
A tabela 1 apresenta a frequência dos artigos analisados por Figueiredo Filho (2009)
por periódico.

Tabela 1 – Frequência dos artigos por periódico

Periódico N %
American Journal of Agricultural Economics 1 2,50
American Journal of Political Science 2 5,00
American Political Science Review 3 7,50
American Politics Quarterly 2 5,00
Economic Inquiry 2 5,00
Industrial and Labor Relations Review 1 2,50
Journal of Conflict Resolution 1 2,50
Journal of Health Politics, Policy and Law 1 2,50
Journal of Labor Research 2 5,00
Journal of Law and Economics 3 7,50
Journal of Political Economy 2 5,00
Legislative Studies Quarterly 3 7,50
Public Choice 6 15,00
Quarterly Review of Economics and Business 1 2,50
Review of Economics and Statistics 2 5,00
Social Forces 1 2,50
Social Science Quarterly 3 7,50
Southern Economic Journal 1 2,50
The Journal of Politics 1 2,50
Western Political Quarterly 2 5,00
Total 40 100,00

Fonte: elaboração dos autores.

Ao se desagregar a amostra por periódico, observa-se que a produção é bastante

compartilhada entre diferentes revistas, sendo o Public Choice aquela que apresentou a

216 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

maior concentração relativa (15,00%), totalizando seis artigos. Em segundo lugar apare-
cem a American Political Science Review, Journal of Law and Economics, Legislative Studies
Quarterly e Social Science Quarterly, com um percentual de 7,50%, veiculando três artigos
cada. No outro extremo, aparecem oito revistas que apresentaram uma única publica-
ção (Industrial and Labor Relations Review; Journal of Conflict Resolution; Journal of Health
Politics, Policy and Law; Quarterly Review of Economics and Business; Social Forces; Southern
Economic Journal e The Journal of Politics).
A figura 1 apresenta a frequência dos artigos analisados por tipo de desenho de
pesquisa utilizado.

Figura 1 – Frequência dos artigos por tipo de desenho de pesquisa

Landman N %
Case Studies 16 42,10
Small N Studies 15 39,50
Large N Studies 7 18,40
Total 38 100,00

Fonte: Elaboração dos autores.

39,50% da produção é composta por estudos de poucos casos (Small N Studies)

(Chappell, 1982; Johnson, 1985; Wright, 1985, 1990; Schroedel, 1986; Jones & Keiser, 1987;
Hersch & Mcdougall, 1988; (Wilhite & Paul, 1989; Neustadlt, 1990; Hall & Wayman, 1990;
Durden, Shogren & Silberman, 1991; Stratmann, 1991, 1995; Davis, 1993, Dow & Endersby,
1994). Com a menor incidência aparecem os Large N studies, com 18,40% dos casos, to-
talizando sete artigos (Grenzke, 1989; Langbein, 1986; Wilhite & Theilmann, 1986, 1987;
Masters & Zardokoohi, 1988; Bronars & Lott, 1997, Wawro, 2001). A conclusão que emerge
desses dados é a seguinte: dada as limitações naturais do desenho de pesquisa de es-
tudo de caso, não se pode generalizar os achados dessa literatura para além dos casos
analisados pelos autores.

217 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

A figura 2 apresenta a frequência de artigos por tipo de efeito reportado entre a

variável independente e a variável dependente (não significativo, significativo e resulta-
dos mistos).

Figura 2 – Frequência dos artigos por tipo de efeito

Tipo de efeito N %
Nsig 9 23,70
Sig 23 60,50
Mixed results 6 15,80
Total 38 100,00

Fonte: Elaboração dos autores.

De acordo com os dados, é possível afirmar categoricamente que: a literatura tem

encontrado resultados estatisticamente significativos em 60,50% das produções, tota-
lizando 23 artigos (Silberman & Durden, 1976; Feldstein & Melnick, 1984; Frendreis &
Waterman, 1985; Langbein, 1986; Schroedel, 1986; Wilhite & Theilmann, 1986; Jones &
Kaiser, 1987; Wilhite & Theilmann, 1987; Tosini & Tower, 1987; Saltzman, 1987; Masters &
Zardokoohi, 1988; Hall & Wayman, 1990; Neustadtl, 1990; Langbein & Lowtis, 1990; Strat-
mann, 1991, 1995, 1998, 2002; Durden, Shogren & Silberman, 1991; Fleisher, 1993; Davis,
1993 & Holian & Krebs, 1997). Logo, ao se questionar qual é o status da literatura sobre
esse tema, a resposta é a de que seis em cada dez artigos produzidos sugerem que as
contribuições de campanha e o comportamento legislativo são fenômenos estatistica-
mente dependentes. No outro oposto, destaca-se que cerca de ¼ de toda a produção
não rejeitou a hipótese nula de independência estatística entre as variáveis. Em termos
menos técnicos, isso quer dizer que 23,70% da produção sobre esse tema não encon-
trou resultados significativos de que as doações de campanha feitas por grupos de in-
teresse influenciam o comportamento parlamentar (Kau & Rubin, 1978; Chappell, 1982;
Welch, 1982; Wright, 1985; Grenzke, 1989; Wilhite & Paul, 1989; Dow & Endersby, 1994;
Bronars & Lott, 1997 & Wawro, 2001).

218 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

Finalmente, observa-se que em 15,80% dos casos as inferências oferecidas suge-

rem resultados mistos (Mixed results), em que a variável independente às vezes exerce
influência e às vezes não se relaciona com a variável dependente (Chappell, 1981; John-
son, 1985; Hersch & Mcdougall, 1988; Wright, 1990; Abler, 1991, Langbein, 1993). A tabela
2 sumariza a estatística descritiva do número de variáveis independentes utilizada nos
modelos explicativos.

Tabela 2 – Número de variáveis independentes (NVI)

N mínimo máximo média desvio padrão13

38 3 24 8,18 5,172

Fonte: elaboração dos autores.

A média de variáveis utilizadas nos modelos explicativos é de 8,18 com um desvio

padrão de 5,172. O modelo mais saturado utilizou 24 variáveis explicativas e foi elabora-
do por Langbein (1986) no artigo “PACs, lobbies and political conflict: the case of gun
control”, veiculado pelo Public Choice. Por outro lado, os modelos mais parcimoniosos
(três variáveis explicativas) foram desenvolvidos por Jones e Kaiser (1987) com o paper
“Issue Visibility and the Effects of PAC Money”, publicado na Social Science Quarterly e
por Dow e Endersby (1994), com a veiculação do trabalho “Campaign Contributions and
Legislative Voting in the California Assembly”, pela American Politics Quarterly.

Em outro exemplo de revisão sistemática de literatura, catalogamos a publicação

sobre estudos legislativos veiculada em periódicos brasileiros entre os anos de 1994 e
2013. A figura 3 apresenta a distribuição das publicações pelo Qualis/CAPES do periódico.

13  O desvio padrão é uma medida de dispersão dos valores em torno da média. Quanto maior o seu valor, maior é o grau
de heterogeneidade dos casos vis-à-vis o valor da média. Quanto menor, mais homogênea é a distribuição dos casos em
torno do termo médio.

219 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

Figura 3 – Distribuição das publicações pole Qualis14/CAPES

Qualis/CAPES N %
A1 52 37,41
A2 18 12,95
B1 4 2,88
B2 7 5,04
B3 26 18,71
B4 5 3,60
B5 4 2,88
C 23 16,55
Total 139 100,0

Fonte: Elaboração dos autores.

Quanto maior o Qualis (A1), subentende-se que tanto melhor será a publicação, ou
no mínimo, maior o grau de exigência e concorrência a que esse artigo foi submetido.
A distribuição descreve que 70 papers foram publicados em revistas de Qualis A1 e A2,
respectivamente 52 artigos (37,4%) e 18 artigos (12,9%), somando mais de 50% das pu-
blicações. A distribuição para as demais categorias é a seguinte: 18,71% (B3) e 16,55%
(C). Esse tipo de análise não só descreve a distribuição das publicações por subáreas
do conhecimento, como serve para identificar o potencial de publicação da agenda de
pesquisa segundo a qualidade das revistas acadêmicas.
Em seguida analisamos as publicações em relação às variáveis quanto à quantida-
de de tabelas, gráficos, quadros e figuras. A tabela 3 sumariza essas informações.

Tabela 3 – Estatística descritiva

Variável Total mínimo máximo média desvio padrão coeficiente variação

Tabelas 520 0 19 3,74 3,98 1,06
Gráficos 176 0 12 1,27 2,67 2,17
Quadros 121 0 13 0,87 2,22 2,55
Figuras 95 0 17 0,68 2,09 3,07

Fonte: Elaboração do autores.

14  O Qualis é um sistema de avaliação de periódicos mantido pela Coordenação de Aperfeiçoamento de Pessoal de Nível
Superior (CAPES), o qual relaciona e classifica os periódicos utilizados para a divulgação da produção intelectual dos progra-
mas de pós-graduação stricto sensu (mestrado e doutorado) quanto ao âmbito da circulação (local, nacional ou internacio-
nal) e à qualidade (A, B, C), por área de avaliação (Rocha-e-Silva, 2009).

220 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

Um artigo sobre estudos legislativos publicado no Brasil, em média, utiliza 3,74

tabelas com um desvio padrão de 3,98 e um coeficiente de variação de 1,06. Conside-
rando os gráficos, a média por artigo é de 1,27, com desvio padrão de 2,67 e coeficiente
de variação de 2,17. Comparativamente, isso quer dizer que a distribuição do número
de tabelas é mais homogênea do que a de gráficos. Substantivamente, a utilização de
tabelas e gráficos é indicadora de apresentação de pesquisas empíricas, visto que esses
recursos facilitam a visualização e interpretação dos resultados.
Uma estratégia eficiente de lidar com uma variável (em geral qualitativa nominal)
que apresenta muita variação de ocorrências é a utilização da nuvem de palavras. Como
exemplo, analisamos as palavras-chave presentes nos artigos sobre estudos legislativos,
como mostra a figura 4.

Figura 4 – Palavras-chave15

Fonte: Elaboração dos autores.

Foram encontradas 458 palavras-chave, o que indica uma média de 3,29 palavras
por artigo, uma vez que os trabalhos apresentam uma variação de 3 a 5 palavras-chave
e 17,98% (25 artigos) deles não apresentam nenhuma palavra-chave. No que diz respei-
to à análise, as palavras que aparecem em maior tamanho são as de maior frequência na
base de dados. Em termos práticos, Poder Legislativo (3,7%), Câmara dos Deputados (3,6%)
e Partidos Políticos (3,6%) são os termos mais recorrentes, seguidos de Eleição/Reeleição
(2,3%) e Senado Federal (1,8%).

15  A criação desse tipo de figura ou gráfico pode ser gratuitamente elaborada a partir de: http://www-958.ibm.com/sof-
tware/analytics/manyeyes/.

221 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

Nosso último exemplo a respeito de uma revisão sistemática é a classificação cruzada de subáre-

as, ou seja, distribuição simultânea dos artigos segundo duas subáreas de classificação.

A tabela 4 apresenta os resultados.

Tabela 4 – Frequência da classificação cruzada das subáreas

Teoria/Estudo Comparado
Carreiras/Recrutamento

Legislativo Subnacional
Comissão Parlamentar
Comport. Legislativo
Rel. Exec.-Legislativo

Produção Legislativa

Processo Legislativo

Líder/Mesa Diretora
Orçamento Público
Processo Decisório
Subáreas
Eleição/Reeleição

Conexão Eleitoral
Partidos Políticos

Políticas Públicas

Representação

TOTAL
Representação 1 1 1 2 1 6
Teoria/Estudo
1 1 2 4 2 1 1 12
Comparado
Políticas Públicas 1 1 2
Líder/Mesa Diretora 1 1
Modelo Espacial de
1 1
Voto
Legislativo Subnacional 2 1 3
Comissão Parlamentar 1 1 1 2 2 1 3 11
Conexão Eleitoral 1 1
Processo Legislativo 1 1 2 4
Migração Partidária 5 1 6
Produção Legislativa 3 3 1 1 2 10
Comport. Legislativo 1 2 1 1 1 1 1 1 1 12
Processo Decisório 1 2 2 1 1 1 1 9
Carreiras/Recrutamento 4 3 1 2 10
Rel. Exec.-Legislativo 3 4 4 4 1 1 1 5 23
Eleição/Reeleição 2 1 2 1 2 1 1 2 12
Partidos Políticos 1 1 4 1 2 1 1 1 1 13
TOTAL 22 9 7 5 11 19 15 1 8 2 8 2 4 8 7 8 139

Fonte: Elaboração do autores.

Considerando as subáreas dos estudos legislativos, percebemos que a maior ocor-

rência de classificação cruzada diz respeito (5 artigos) aos estudos que se preocupam
em analisar Migração Partidária x Partidos Políticos e Relação Executivo-Legislativo x Teoria/
Estudo Comparado. Outros cruzamentos que merecem destaques são aqueles que se

222 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

preocupam em estudar Relação Executivo-Legislativo com Produção Legislativa, Compor-

tamento Legislativo e Processo Decisório (4 trabalhos cada cruzamento). Em termos práti-
cos, os resultados indicam a agenda de pesquisa sobre estudos legislativos publicados
em periódicos brasileiros. Pesquisadores da área podem inferir duas considerações: (1)
realizar estudos em subáreas carentes podem maximizar a aceitação dentro da comu-
nidade acadêmica por conta do ineditismo; ou (2) investir suas pesquisas em subáreas
já consolidadas.

5. Considerações finais

Como produzir revisões sistemáticas de literatura? Infelizmente, a maior parte das

revisões de literatura em Ciências Humanas ainda é realizada de forma narrativa-literária.
Em geral, os autores não explicam os critérios de inclusão dos estudos revisados. O prin-
cipal efeito disso é a baixa confiabilidade das conclusões apresentadas. De forma mais
perniciosa, é praticamente impossível replicar os estudos. Acreditamos fortemente que
revisões sistemáticas de literatura são essenciais para garantir a acumulação do conheci-
mento científico. Com esse artigo, esperamos dar o primeiro passo para que as revisões
de literatura em Ciência Política comecem a adotar critérios sistemáticos de seleção
dos estudos analisados. Então, poderemos seguir a recomendação do professor David
Hilbert e avaliar a importância de um determinado trabalho científico pela quantidade
de publicações prévias, o que torna a leitura desnecessária.

Referências bibliográficas

COOPER, H. (2010). Research synthesis and meta-analysis: A step-by-step approach (3. ed.).
Thousand Oaks, CA: Sage.
_____; L. V., Hedges & Valentine, J. C. (Eds.) (2009). The handbook of research synthesis and meta
analysis (pp. 257- 278). New York: Russell Sage Foundation.
_____ & ROSENTHAL, R. (1980). Statistical versus traditional procedures for summarizing
research findings. Psychological Bulletin, 87, 442-449.
FIGUEIREDO FILHO, D. B. (2009). O elo corporativo? Grupos de interesse, financiamento
de campanha e regulação eleitoral. Dissertação de Mestrado em Ciência Política.

223 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

Universidade Federal de Pernambuco-UFPE, Recife, PE.

DOUCOULIAGOS, H. & ULUBASOGLU, M. A. (2008). Democracy and Economic Growth: A Meta-
Analysis. American Journal of Political Science, 52(1):61–83.
GLASS, G. V. (1976). Primary, secondary and meta-analysis of research. Educational Researcher,
5, 3-8.
_____& SMITH, M. L. (1979). Meta-analysis of research on class size and achievement. Education
Evaluation and Policy Analysis I (1): 2-16.
_____& McGAW, B. & SMITH, M. L. (1981). Meta-Analysis in Social Research. Beverly Hills, CA:
Sage.
HUNTER, J. E. & SCHMIDT, F. L. (2004). Methods of meta-analysis: correcting error and bias in
research findings (2. ed.). Thousand Oaks, CA: Sage Publications.
_____ & JACKSON, G. (1982). Meta-Analysis: Cumulating research findings across studies. Beverly
Hills CA: Sage.
IMBEAU, L. M.; PÉTRY, F. & LAMARI, M. (2001). Left-right party ideology and government
policies: A meta-analysis. European Journal of Political Research, 40: 1.
KING, G. (1995). Replication, Replication. PS: Political Science and Politics 28 (1995): 443-499.
Disponível em: http://gking.harvard.edu/gking/files/replication.pdf.
LAU, R. R.; SIGELMAN, L.; HELDMAN, C. & BABBITT, P. (1999). The Effects of Negative Political
Advertisements: A Meta-Analytic Assessment. The American Political Science Review, V.
93, N. 4, p. 851-875.
LEMOS, L. B., MARCELINO, D. & PEDERIVA, J. H. (2010). Porque dinheiro importa: a dinâmica
das contribuições eleitorais para o Congresso Nacional em 2002 e 2006. Opin. Publica,
Campinas, Vol. 16, n. 2, p. 366-393, nov.
LEVITON, L. C. & COOK, T. D. (1981). What differentiates meta-analysis from other forms of
review. Journal of Personality, Vol. 49, Issue 2, p. 231-235, June.
LIGHT, R. J. & PILLEMER, D. B. (1984). Summing up: the science of reviewing research. London:
Harvard University Press.
MEDEIROS, A. K.; CRANTSCHANINOV, T. I. & SILVA, F. C. de (2013). Estudos sobre accountability no
Brasil: meta-análise
de periódicos brasileiros das áreas de administração, administração
pública, ciência política e ciências sociais. Rev. Adm. Pública, Rio de Janeiro, 47(3):745-
775, maio/jun.
PARANHOS, R. (2014). Conexões inglórias. Responsividade e produção legislativa subnacional no

224 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

Brasil. Tese de Doutorado em Ciência Política. Universidade Federal de Pernambuco-

UFPE, Recife, PE.
ROCHA-E-SILVA, M. (2009). O novo Qualis, ou a tragédia anunciada. Clinics, São Paulo, v. 64, n.
1, jan.
ROSCOE, D. D. & JENKINS, S. (2005). A Meta-Analysis of Campaign Contributions’ Impact on
Roll Call Voting. Social Science Quarterly, Vol. 86, n. 1.
ROSENTHAL, R. (1984). Meta-analytic procedures for social research. Beverly Hills, SAGE Publ.,
150 p.
_____ & RUBIN, D. B. (1978). Interpersonal expectancy effects: the first 345 studies. The
Behavioral and Brain Sciences, 3, 377-415.
SANTOS, M. L. (2008). Teoria e método nos estudos sobre legislativo brasileiro: uma revisão da
literatura no período 1994-2005. Rev. BIB. Rio de Janeiro, n. 66.
SMITH, M. L. & GLASS, G. V. (1977). Meta-Analys of Psychotherapy Outcome Studies. American
Psychologist, 32, 752-760.
WOLF, F. M. (1986). Meta-analysis: Quantitative methods for research synthesis. Berverly Hills, CA:
Sage Publications.

Sites visitados

http://www.meta-analysis.com/pages/why_use.php.
http://www.meta-analysis.com/pages/online_courses.php.
http://www.cochrane-net.org/openlearning/html/mod12-2.htm.
http://wokinfo.com/citationconnection/

Artigos incluídos na meta-análise

ABLER, D. (1991). Campaign contributions and house voting on sugar and dairy legislation.
American Journal of Agricultural Economics, EUA, Vol. 73, p. 11-17.
BRONARS, S. & LOTT, J. Jr. (1977). Do campaign donations alter how a politician votes? Or, do
donors support candidates who value the same things that they do? Journal of Law
and Economics, 40(2), 317-350,
CHAPPELL, H. W. (1981). Campaign contributions and voting on the Cargo Preference Bill: A

225 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

comparison of simultaneous models. Public Choice, 36, 301-312.

_____ (1982). “Campaign contributions and Congressional voting: A simultaneous probit-
tobit model”. Review of Economics and Statistics, 61, 77-83.
COUGHLIN, P. J. (1985). Domestic content legislation: House voting and the economic theory
of regulation. Economic Inquiry, 23, 437-448.
DAVIS, F. L. (1993). Balancing the Perspectives on PAC Contributions: In Search of an Impact on
Roll Calls. American Politics Quarterly, Vol. 21.
DOW, J. K. & ENDERSBY, J. W. (1994). Campaign Contributions and Legislative Voting in the
California Assembly. American Politics Quarterly, Vol. 22.
DURDEN, G. C.; SHOGREN, J. S. & SILBERMAN, J. (1991). The effect of interest group pressure
on coal strip-mining legislation. Social Science Quarterly, 72, 239-250.
FELDSTEIN, P. J. & MELNICK, G. (1984). Congressional Voting Behavior on Hospital Legislation:
An Exploratory Study. Journal of Health Politics, Policy and Law. Vol. 8, n. 4.
FLEISHER, R. (1993). PAC Contribution and Congressional Voting on National Defense.
Legislative Studies Quarterly, 18:391-409.
FRENDREIS, J. P. & WATERMAN, R. W. (1985). PAC contributions and legislative behavior: Senate
voting on trucking deregulation. Social Science Quarterly, 66, 401-412.
GRENZKE, J. M. (1989). PACs and the congressional supermarket: The currency is complex.
American Journal of Political Science, 33, 1-24.
HALL, R. L. & WAYMAN, F. W. (1990). Buying time: Moneyed interests and the mobilization of
bias in Congressional committees. American Political Science Review, 84, 797-820.
HERSCH, P. L. & MCDOUGALL, G. S. (1998). Voting for “Sin” in Kansas. Public Choice. Vol. 57, n. 2.
HOLIAN, D. B. & KREBS, T. B. (1997). Constituency Opinion, Ross Perot, and Roll-Call Behavior in
the U.S. House: The Case of the NAFTA. Legislative Studies Quarterly. V. 22.
JOHNSON, L L. (1985). The Effectiveness of Savings and Loan Political Action Committees.
Public Choice. Vol. 46, n. 3.
JONES, W. & KAISER, K. R. (1987). Issue visibility and the effects of PAC money. Social Science
Quarterly, 68, 170-176.
KAU, J. B. & RUBIN, P. H. (1978). Voting on minimum wages: A time-series analysis. Journal of
Political Economy, 86, 337-342.
LANGBEIN, L. & LOTWIS, M. (1990). The Political Efficacy of Lobbying and Money: Gun Control
in the U.S. House, 1986. Legislative Studies Quarterly. V. 15.

226 (2014) 23 (2) 205 – 228

T&P Dalson Britto Figueiredo Filho Enivaldo Carvalho da Rocha
Ranulfo Paranhos Dáfni Priscila Alves
José Alexandre da Silva Júnior

_____ (1986). Money and Access: Some Empirical Evidence. The Journal of Politics, Vol. 48, n.
4, 1052-1062.
_____ (1993). PACs, Lobbies, and Political Conflict: The Case of Gun Control. Public Choice,
77:551-72.
MASTERS, M. F. & ZARDKOOHI, A. (1988). Congressional support for unions positions across
diverse legislation. Journal of Labor Research, 9, 149-165.
NEUSTADTL, A. (1990). Interest Group PACsmanship: An Analysis of Campaign Contributions,
Issue visibility and Legislative impact. Social Forces. Vol. 69, n. 2.
SALTZMAN, G. M. (1987). Congressional voting on labor issues: The role of PACs. Industrial and
Labor Relations Review, 40, 163-179.
SCHROEDEL, J. R. (1986). Campaign contributions and legislative outcomes. Western Political
Quarterly, 39, 371-389.
SILBERMAN, J. & DURDEN, C. G. (1976). Determining legislative preferences on the minimum
wage: An economic approach. Journal of Political Economy, 84, 317-329.
STRATMAN, T. (1991). What Do Campaign Contributions Buy? Deciphering the causal effects
of Money and Votes. Southern Economic Journal, EUA, Vol. 100, p. 647-64.
______ (1995). Campaign contributions and congressional voting: Does the timing of
contributions matter? Review of Economics and Statistics, EUA, v. 77, n. 1, p. 127-136.
_____ (1998). The market for congressional votes: Is timing of contributions everything?
Journal of Law and Economics, 41(1), 85-114.
_____ (2002). Can special interests buy congressional votes? Evidence from financial services
legislation. Journal of Law and Economics, EUA, Vol. 45, n. 2, p. 345-374.
TOSINI, S. C & TOWER, E. (1987). The textile bill of 1985: The determinants of Congressional
voting patterns. Public Choice, EUA, Vol. 54, p. 19-25.
WAWRO, G. (2001). A Panel Probit Analysis of Campaign Contributions and Roll Call Votes.
American Journal of Political Science, EUA, Vol. 45, 3.
WELCH, W. P. (1982). Campaign Contributions and Legislative Voting: Milk Money and Dairy
Price Supports. Western Political Quarterly, EUA, Vol. 35, p. 478-95.
WILHITE, A. & PAUL, C. (1989). Corporate Campaign Contributions and Legislative Voting.
Quarterly Review of Economics and Business. Vol. 29, n. 3.
_____ THEILMANN, J. (1986). Unions, corporations, and political campaign contributions: The
1982 House elections. Journal of Labor Research, EUA, Vol. 7, p. 175-185.

227 (2014) 23 (2) 205 – 228

T&P O que é, para que serve e como se faz uma meta-análise?

WILHITE, A. & THEILMANN, J. (1987). Labor PAC contributions and labor legislation: a
simultaneous logit approach. Public Choice, EUA, v.53.
WRIGHT, J. R. (1985). Contribution and Roll Calls: An Organizational Perspective. American
Journal of Political Science Review, Baltimore, Vol. 79, p. 400-414.
_____ (1990). Contributions, lobbying, and committee voting in the U.S. House of
Representatives. American Political Science Review, Baltimore, v. 84, n. 417-438.

Recebido: 21/06/2014
Aceito: 1/09/2014

228 (2014) 23 (2) 205 – 228