Pesquisa - Empirica - em - Direito As REGRAS de INFERENCIA

PESQUISA EMPRICA
EM DIREITO:
PESQUISA AS REGRAS DE INFERNCIA
Lee Epstein
Gary King
para
pensar
ler
copiar
partilhar
A Coleo Acadmica Livre publica obras de livre acesso em formato digital. Nossos livros
abordam o universo jurdico e temas transversais por meio das mais diversas abordagens.
Podem ser copiados, compartilhados, citados e divulgados livremente para fins no
comerciais. A coleo uma iniciativa da Escola de Direito de So Paulo da Fundao Getulio
Vargas (DIREITO GV) e est aberta a novos parceiros interessados em dar acesso livre a
seus contedos.
Esta obra foi avaliada e aprovada pelos membros de seu Conselho Editorial.
Conselho Editorial
Flavia Portella Pschel (DIREITO GV)
Gustavo Ferreira Santos (UFPE)
Marcos Severino Nobre (Unicamp)
Marcus Faro de Castro (UnB)
Violeta Refkalefsky Loureiro (UFPA)
PESQUISA EMPRICA
EM DIREITO:
PESQUISA AS REGRAS DE INFERNCIA
Lee Epstein
Gary King
TRADUO
Fbio Morosini (coordenador)

Bruno Migowski
Isadora Postal Telli
Luza Leo Soares Pereira
Letcia Mariano Zenevich
Mariana Machado da Silveira Bom
Nathlia Damico Gastmann
Rafaela Nicolazzi da Silva
Os livros da Coleo Acadmica Livre podem ser copiados e compartilhados por meios eletrnicos; podem ser
citados em outras obras, aulas, sites, apresentaes, blogues, redes sociais etc, desde que mencionadas a fonte e
a autoria. Podem ser reproduzidos em meio fsico, no todo ou em parte, desde que para fins no comerciais.
Conceito da coleo:
Jos Rodrigo Rodriguez
Editor
Jos Rodrigo Rodriguez
Assistente editorial
Bruno Bortoli Brigatto
Capa, projeto grfico e editorao

Ultravioleta Design
Ttulo original:
The Rules of Inference
The University of Chicago Law Review | Volume 69 | Winter 2002 | Number 1
2002 by The University of Chicago
Capa:
La Statue de Venus Aphrodide e Ce fragment de l'antique..., de Grard Audran.
Imagens cedidas pelo Getty's Open Content Program.
Dados Internacionais de Catalogao na Publicao (CIP)

(Cmara Brasileira do Livro, SP, Brasil)
Epstein, Lee
Pesquisa emprica em direito [livro eletrnico] :as regras de inferncia / Lee Epstein, Gary King.
--So Paulo : Direito GV, 2013. -- (Coleo acadmica livre) 7 Mb ; PDF
Ttulo original: The rules of inference. - Vrios tradutores.
Bibliografia.
ISBN 978-85-64678-10-1
1. Direito - Metodologia 2. Direito - Pesquisa 3. Pesquisa - Metodologia I. King, Gary.

II. Ttulo. III. Srie.
13-13662 CDU-340.115
ndices para catlogo sistemtico:

1. Direito : Metodologia da pesquisa cientfica 340.115
2. Metodologia da pesquisa : Direito 340.115
3. Pesquisa : Metodologia : Direito 340.115
DIREITO GV
Coordenadoria de Publicaes
Rua Rocha, 233, 11 andar
Bela Vista So Paulo SP
CEP: 01330-000
Tel.: (11) 3799-2172
E-mail: [email protected]
sumrio
prefcio 7
introduo 11
i. A extenso dos problemAs

metodolgicos nA pesquisA empricA 19
ii. cArActersticAs comuns dA pesquisA empricA 23
A. os objetivos 23
b. diretrizes gerAis 46
iii. elAborAo de umA pesquisA empricA:

um PRocesso dInmIco de AcoRdo com PAdRes estAbelecIdos 69
iv. A perguntA de pesquisA 71
A. contribuir pArA A literAturA AcAdmicA 72
b. reAlizAr pesquisAs importAntes pArA o mundo 76
v. teoriAs e suAs implicAes observveis 79
A. invoque teoriAs que produzAm implicAes observveis 82
b. extrAiA tAntAs implicAes observveis quAnto possvel 86
c. delineie como As implicAes podem ser observAdAs 90
vi. controle de hipteses rivAis 95

VII. MedIo e estIMatIVa 101
a. MedIo 102
B. estIMatIVa 123
VIII. seleo de oBserVaes 127
a. IdentIfIcar a populao-alVo 127
B. coletar tantos dados quanto possVel 131
c. regIstrar o processo pelo qual os dados VM a ser oBserVados 133
d. VerIfIcar o processo pelo qual as oBserVaes potencIaIs so geradas 136
e. eM estudos aMplos, estaBelecer uMa aMostra de proBaBIlIdade aleatrIa 138
f. eM estudos de aMostrageM pequena, eVItar VIs

na seleo seM seleo aleatrIa 145
IX. sugestes conclusIVas: DesenvolvenDo

uma Infraestrutura para sustentar a pesquIsa emprIca 147
a. oferecer cursos eM pesquIsa eMprIca para estudantes de faculdades de dIreIto 149
B. auMentar oportunIdades para a realIzao de pesquIsa eMprIca

de alta qualIdade pelos docentes e ento dIsseMIn-la rapIdaMente 153
c. IncentIVar eMpregadores a contratar estudantes coM prtIca eMprIca 163
d. Mudar para uM Modelo alternatIVo de adMInIstrao de perIdIcos acadMIcos 164
e. desenVolVer padres para o arquIVaMento de dados 172
notas 176
soBre os autores 253
soBre o tradutor 253

PESqUISA EMPRICA EM DIREITO: AS REGRAS DE INFERNCIA
PREfCIO
Lee Epstein, professora de cincia poltica e direito na University

of Southern California, e Gary King, professor de cincia poltica
na Harvard University, brindam a literatura jurdica brasileira com
esta notvel obra sobre pesquisa empricai em direito e suas regras
de inferncia, isto , usar fatos que conhecemos para aprender sobre
fatos que no conhecemos.
A obra de Epstein e King singular porque disseca as regras de
inferncia desenvolvidas pelas cincias exatas e sociais e as aplica
ao direito de forma pioneira. O estudo dos autores instiga pesquisa-
dores do direito de todas as partes do mundo a pensarem criticamente
suas prticas de pesquisa e engajarem-se no debate, atualmente rele-
gado ao segundo plano, acerca da utilizao de metodologia de
pesquisa emprica no direito. Como brilhantemente demonstram Eps-
tein e King neste livro, desatentar para a aplicao das regras de
inferncia na conduo de pesquisas empricas compromete a vali-
dade e credibilidade dos resultados.
A atividade de pesquisa o meio pelo qual o investigador produ-
zir novo conhecimento e a pesquisa ser emprica se as concluses
forem baseadas em observao ou experimentao. A produo de
pesquisa emprica em si est longe de ser um tema novo de discus-
so acadmica. reas tradicionais das cincias, como as cincias
exatas e sociais se propem a discutir aspectos relacionados meto-
dologia de suas pesquisas desde que essas comearam a ser
produzidas. Isso se justifica porque o conhecimento cientfico con-
fivel aquele que replicvel sem a interferncia do pesquisador
original, isto , aquele que primeiro chegou a uma determinada con-
cluso. Outros pesquisadores apenas podero reproduzir e confirmar
certo conhecimento se os procedimentos adotados pelo pesquisador
7 [sumrio : notas]
original forem claramente identificados. Neste sentido, a metodo-

logia utilizada para se chegar a uma determinada concluso to
importante quanto concluso em si, pois aquela permitir a con-
firmao desta e validar o conhecimento produzido.
Por outro lado, a grande produo literria sobre metodologia
de pesquisa das outras cincias pouco influenciaram e influenciam
a forma da produo do conhecimento jurdico. Ao mesmo tempo,
a produo deste tipo de literatura pelos prprios juristas , na
melhor das hipteses, escassa. Nos Estados Unidos, os professores
Lee Epstein e Gary King deram-se conta dessa importante lacuna
no campo da pesquisa em direito e realizaram uma pesquisa exaus-
tiva nos principais peridicos jurdicos daquele pas para desvendar
o estado da arte da pesquisa emprica em direito. Para a surpresa
deles, as regras de inferncia, amplamente discutidas nas cincias
exatas e sociais, so frequentemente ignoradas no direito. Em razo
do tipo de formao oferecida pelas faculdades de direito dos Esta-
dos Unidos, comum a produo de artigos que substituem as
regras de inferncia por tcnicas de persuaso de um dado argu-
mento. Como demonstram os autores, a correta aplicao das regras
de inferncia leva construo da verdade, ao passo que as tcnicas
de persuaso, ensinada nas faculdades de direito, levam a uma ver-
so da verdade.
A rica pesquisa dos professores Epstein e King deu origem a um
extenso artigo intitulado The Rules of Inference (As Regras de Infe-
rncia), publicado na renomada Chicago Law Review, ora traduzido
em forma de livro. Neste livro, os autores comeam por apontar as
falhas mais comuns nos procedimentos de pesquisa adotados por
juristas que se aventuram no mundo da pesquisa emprica. Em
seguida, Epstein e King identificam as caractersticas bsicas da
pesquisa emprica aplicada ao direito, quais sejam: a existncia de
8 [sumrio : notas]
uma pergunta de pesquisa, a formulao de teorias/hipteses de pes-

quisa e suas implicaes observveis; identificao de teorias rivais
hiptese preferida; tcnicas de medio e avaliao de dados; pro-
cedimentos de seleo da populao que far parte da investigao.
Por ltimo, os autores sugerem formas de melhorar a situao da
pesquisa emprica nas faculdades de direito.
A presente obra insere-se recente produo acadmica de meto-
dologia de pesquisa em direito. Assim como a maior parte deste tipo
de obra, o livro fornece tcnicas de pesquisa para serem aplicadas
em artigos cientficos, monografias jurdicas de graduao e ps-
graduao lato sensu, dissertaes de mestrado e teses de doutorado.
Diferentemente dos demais livros de metodologia de pesquisa em
direito, a obra de Epstein e King, alm de explicitar as regras de
inferncia amplamente difundidas nas cincias exatas e sociais, uti-
liza-se de inmeros exemplos concretos para demonstrar a sua
aplicao na literatura jurdica.
As importantes lies de Epstein e King fomentaram nosso desejo
de traduzir esta obra para o portugus e v-la publicada no Brasil.
Muito embora a pesquisa conduzida por eles tenha se limitado a
apreciar a situao da pesquisa emprica produzida nos Estados Uni-
dos, conclumos que as regras de inferncia traadas pelos autores
so universais, isto , aplicam-se a qualquer rea do conhecimento
em qualquer parte do mundo e em qualquer tempo. E se por um lado
ns no nos aventuramos em replicar o estudo de Epstein e King na
literatura jurdica nacional, temos razes suficientes para acreditar
que a situao no Brasil no de todo diferente. Aqui, assim como
nos Estados Unidos, h larga produo acadmica em direito sem a
devida ateno s regras de inferncia. Atravs da publicao desta
obra, pretendemos difundir no direito brasileiro as regras de infe-
rncia que pautam a pesquisa emprica.
9 [sumrio : notas]
A traduo desta obra para o portugus s foi possvel graas ao

incansvel trabalho de um grupo de acadmicos da Faculdade de
Direito da Universidade Federal do Rio Grande do Sul e membros
do Grupo de Pesquisa CNPq Direito, Globalizao e Desenvolvi-
mento. Agradecemos imensamente os esforos de Bruno Migowski,
Isadora Postal Telli, Luza Leo Soares Pereira, Letcia Mariano
Zenevich, Mariana Machado da Silveira Bom, Nathlia Damico
Gastmann e Rafaela Nicolazzi da Silva. Alguns desses acadmicos
foram contemplados com bolsas de iniciao cientfica do CNPq e
FAPERGS para a execuo deste projeto.
fbio morosini
Professor da Faculdade de Direito da UFRGS
10 [sumrio : notas]
InTRODuOii
Assim como a pesquisa em cincias sociais e naturais comporta uma

ampla ordem de problemas tericos, metodolgicos e substanciais, o
mesmo ocorre com os estudos produzido por juristas. Os peridicos
jurdicos esto repletos de artigos, que variam dos normativos aos des-
critivos, das anlises doutrinrias estritas s investigaes estatsticas
com amostragem de grande tamanho (grande-n). Alguns estudos
defendem uma reforma legal; outros pretendem apenas ser agregados
ao reservatrio da literatura jurdica. Mesmo com toda essa variao
de abordagens, com toda essa diversidade de propsitos, efeitos e
mesmo pblico-alvo, muitos, se no a maioria, desses estudos apre-
sentam uma caracterstica comum: uma preocupao, mesmo que
implcita, com empirismo baseando concluses em observao ou
experimentao e inferncia1 usando fatos conhecidos para apren-
der sobre fatos que desconhecemos.
Esta pode parecer uma afirmao intrigante, mesmo estranha, para
os juristas. Nessa comunidade, a palavra emprico passou a possuir
um significado particularmente restrito associado puramente com
tcnicas e anlises estatsticas ou com dados quantitativos.2 Mas a
pesquisa emprica, como cientistas naturais e sociais reconhecem,
muito mais ampla do que essas associaes sugerem. A palavra
emprico denota evidncia sobre o mundo baseada em observao
ou experincia. Essa evidncia pode ser numrica (quantitativa) ou
no-numrica (qualitativa);3 nenhuma mais emprica que a outra.
O que faz uma pesquisa ser emprica que seja baseada em observa-
es do mundo em outras palavras, dados, o que apenas um termo
para designar fatos sobre o mundo. Esses fatos podem ser histricos
ou contemporneos, ou baseados em legislao ou jurisprudncia,
ou ser o resultado de entrevistas ou pesquisas, ou os resultados de
11 [sumrio : notas]
InTRODuO
pesquisas auxiliares arquivsticas ou de coletas de dados primrios.

Os dados podem ser precisos ou vagos, relativamente certos ou
muito incertos, diretamente observados ou conseguidos indiretamente;
podem ser antropolgicos, interpretativos, sociolgicos, econmicos,
jurdicos, polticos, biolgicos, fsicos ou naturais. Desde que os fatos
estejam de alguma maneira relacionados ao mundo, eles so dados,
e, contanto que a pesquisa envolva dados que so observados ou dese-
jados, ela emprica.
Dentro dessa definio de emprico, afirmaes de que a quan-
tidade de trabalhos tericos e doutrinrios (...) prepondera sobre a
quantidade de trabalhos empricos4 tornam-se vazias. Como mesmo
o leitor mais casual de peridicos jurdicos americanos deve saber, uma
grande parte do trabalhos jurdicos traa, no mnimo, algumas afirma-
es sobre o mundo baseadas em observao ou experincia.5
De fato, em termos de pesquisa jurdica, somente a puramente nor-
mativa ou terica aquela que no emprica. Mas mesmo muitos artigos
cujo propsito principal normativo frequentemente invocam argumen-
tos empricos para fortalecer seus pontos normativos como oferecer
as implicaes empricas positivas decorrentes da adoo de sua poltica
preferida. O ensaio de Staudt sobre o Internal Revenue Code tpico.6
Um artigo predominantemente normativo que explora o conhecimento
convencional entre pesquisadores do direito tributrio de que o trabalho
domstico no deve ou no pode ser tributado, o ensaio termina com
vrias afirmativas inequivocamente empricas: Esta reforma, junto com
a reforma orientada para o mercado, avanaria muito na mudana da
viso da sociedade sobre os valores de atividades produtivas efetuadas
tanto em casa como no mercado e, sobretudo, representaria um passo
crtico na aquisio de maior segurana econmica para as mulheres.7
O mesmo verdade na maioria dos trabalhos doutrinrios,
incluindo muitos estudos que problematizam uma linha particular de
12 [sumrio : notas]
decises de tribunais ou a lgica usada nelas. Assim a investigao

de Sklansky sobre o uso, na Suprema Corte dos Estados Unidos, do
novo originalismo8 para decidir buscas e apreenses luz da
quarta emenda da Constituio dos Estados Unidos. O objetivo pri-
mrio do autor fornecer embasamento para a afirmao de que essa
nova abordagem no deve ser atraente nem para aqueles simpa-
tizantes de forma geral com originalismo.9 Como preldio para
traar esse argumento normativo, no entanto, Sklansky deve
demonstrar a afirmao emprica de que a Suprema Corte, de fato,
adotou uma abordagem decorrente do novo originalismo. E essa
demonstrao pede uma inferncia ou afirmao sobre o mundo real,
da mesma maneira que faz Staudt, que inicialmente utiliza a pre-
missa de que essas polticas devem ser modificadas para a de que
se essas polticas forem modificadas, os seguintes problemas pode-
riam ser melhorados.
Aplaudimos esses estudos e, de fato, todos aqueles que expressam
uma preocupao com o emprico, tanto se implcita ou explicita-
mente. E os autores desses estudos, os juristas, aparentemente
concordam, esperando ver e desejando produzir mais desse tipo de
trabalho.10 Para eles, juntamente com outros membros da comuni-
dade jurdica, incluindo juzes e advogados,11 a pesquisa que oferece
afirmaes ou que faz inferncias baseadas em observaes do
mundo real em tpicos variando da imposio da pena de morte12
ao efeito das decises judiciais sobre agncias administrativas,13 s
causas de fraude no sistema de falncias,14 ao uso de vrios meca-
nismos alternativos para a resoluo de conflitos15 - pode ter um
papel importante no discurso pblico (..) e pode afetar nosso manejo
do sistema poltico em muitos assuntos.16 Pelo menos, os juristas
esto fazendo uso extensivo de estudos existentes: citaes em peri-
dicos jurdicos de pesquisas do mundo real, mesmo sob definies
13 [sumrio : notas]
InTRODuO
altamente restritivas acerca das definies do que constitui pesquisa

do mundo real, quase dobraram nas ltimas duas dcadas.17
Ao mesmo tempo, o estado atual do estudo emprico jurdico pro-
fundamente defeituoso. Baseamos essa afirmao principalmente em
um exame que realizamos da literatura jurdica18 um exame que
revelou que muitos levam adiante planos de pesquisa, independente-
mente de quo diversos seus objetivos possam ser, com pouco
conhecimento, e muito menos observncia, das regras de inferncia
que guiam a pesquisa emprica nas cincias sociais e naturais. A aten-
o contnua e autoconsciente metodologia da anlise emprica, to
presente nos peridicos de campos acadmicos tradicionais (sem as
quais os acadmicos dessas disciplinas no estariam nem aptos a publi-
car seus trabalhos em peridicos respeitveis nem a esperar que fossem
lidos por qualquer um com um interesse em como o mundo funciona)
isto , os artigos dedicados metodologia nessas disciplinas vir-
tualmente inexistente nos peridicos jurdicos americanos.19 Como
resultado, os leitores aprendem informaes consideravelmente menos
precisas sobre o mundo emprico do que as concluses, estridente-
mente anunciadas, mas demasiadamente confiantes, sugerem.
Isso altamente problemtico, dado que o estudo jurdico talvez
em um nvel maior e de modo mais imediato do que a maioria dos
outros campos tem o potencial para influenciar polticas pblicas, na
medida que reproduzido por juzes, legisladores e burocratas.20 Assim
sucede especialmente quando a influncia vem na forma de estudos
estimando as consequncias provveis de determinadas mudanas
nas polticas pblicas, avaliando o impacto de programas pblicos
existentes, ou afetando o mundo real de maneira oportuna.21 Mas
mesmo se os contedos das sees de concluso em artigos de peri-
dicos jurdicos geralmente prescries ou implicaes polticas da
pesquisa fossem em grande medida ignorados ou fossem orientados
14 [sumrio : notas]
principalmente para outros acadmicos, nossas preocupaes sobre o

estado atual da literatura jurdica permaneceriam. Afinal, a despeito
do objetivo, efeito ou pblico-alvo da pesquisa, os acadmicos tm
obrigao de produzir um trabalho que seja confivel. O estudo emp-
rico que no segue as regras de inferncia tem pouca probabilidade
de atender a tal obrigao. Infelizmente, muito da literatura jurdica
se encaixa nessa categoria. Muito da literatura jurdica ignora as regras
de inferncia e aplica, em seu lugar, as regras de persuaso e advo-
cacia. Essas regras tm um lugar importante nos estudos jurdicos,
mas no quando o objetivo aprender algo sobre o mundo emprico.
Uma das fontes do problema quase certamente est no treinamento
que os professores de direito recebem,22 e na perspectiva geral do
mundo acadmico que da resulta. Enquanto um Ph.D. ensinado a sub-
meter sua hiptese preferida a todos os testes e fontes de dados
concebveis, procurando todas as evidncias possveis contra sua teoria,
um advogado ensinado a compilar todas as evidncias em prol de sua
hiptese e desviar a ateno de qualquer coisa que possa ser vista como
informao contraditria. Um advogado que trata seu cliente como uma
hiptese teria retirada sua licena; um Ph.D. que advoga uma hiptese
como um cliente, seria ignorado.23 Mas quando advogados como pro-
fessores de direito vo de um tribunal para os corredores da faculdade
(onde a verdade, e no somente uma determinada verso dela, importa),
altamente problemtico para eles defender teorias e hipteses como
se eles fossem clientes necessitando a melhor representao possvel,
desprezando competidores ou ignorando-os completamente.24 Isto por-
que, na pesquisa emprica, desafiar uma teoria com os melhores
argumentos opostos possveis o que mais fortifica uma teoria.25
Mas basta sobre isso. Nosso objetivo aqui no agredir os profes-
sores de direito ou os estudos que eles produzem;26 mas fazer uma
contribuio no intuito de mitigar os problemas existentes na literatura.
15 [sumrio : notas]
InTRODuO
Tentamos realizar isso adaptando as regras de inferncia existentes nas

cincias sociais e naturais para as necessidades especiais, teorias e
dados do estudo jurdico, e explicando-as com ilustraes extensivas
de pesquisas existentes.27 Assim procedendo, esperamos alcanar
vrias circunscries dentro da comunidade. Os professores de direito,
dada a sua propenso para traar inferncias sobre o mundo real, cla-
ramente tm um interesse forte em aprender como realizar pesquisas
empricas de maneira adequada. Mas igualmente claro que muitos
deles no transformaram seu interesse em prticas produtivas de pes-
quisa. Acreditamos que as regras e diretrizes que estabelecemos podem
comear a ajudar todos a faz-lo e, a longo prazo, melhorar a qualidade
da literatura jurdica,28 de maneira a possibilitar que os professores de
direito contribuam para o empreendimento de uma pesquisa verossmil,
vlida, comum e, finalmente, de muito maior valor.
Ao mesmo tempo, queremos incentivar uma ateno mais consciente
para a metodologia em estudos jurdicos, a qual praticamente inexis-
tente em peridicos jurdicos, mesmo em artigos que realizam pesquisa
emprica original. O direito suficientemente importante para ter um
subcampo devotado a problemas metodolgicos, como acontece em
quase todas as disciplinas que conduzem pesquisas empricas. Pesqui-
sadores lidando com as cincias sociais, naturais e fsicas podem ajudar,
mas um campo todo no pode depender de outros, com objetivos e pers-
pectivas diferentes, para solucionar todos os problemas que professores
de direito podem enfrentar. Infelizmente, a lista completa de todos os
artigos de peridicos jurdicos devotados ao melhoramento, compreen-
so, explicao ou adaptao das regras de inferncia a seguinte:
nenhum. Portanto, alm de simplesmente ler este livro, esperamos que
outros se imponham o desafio de tentar explicar, adaptar e estender as
regras de inferncia nos estudos jurdicos, e escrevam outros artigos
sobre a metodologia de anlises empricas neste campo.
16 [sumrio : notas]
Tambm esperamos que as regras que oferecemos provem-se teis

para os membros da comunidade jurdica que no necessariamente
realizam pesquisas, mas que certamente as consomem (por exemplo,
advogados e juzes).29 Porque as usam, fundamental que eles sejam
capazes de distinguir entre um trabalho que fraco e aquele que
no .30 Especialmente o caso de juzes que, de acordo com Daubert
v Merrell Dow Pharmaceuticals, Inc,31 no podem mais basear-se
exclusivamente no consenso da comunidade cientfica para avaliar a
qualidade de pesquisas apresentadas por peritos em seus tribunais.
Agora so eles tambm demandados a julgar eles mesmos a pesquisa,
a avaliar sua credibilidade, aferir seus mtodos e avaliar sua esque-
matizao.32 E embora haja sinais de que eles estejam tentando
executar essas tarefas cruciais uma pesquisa de 1991 do Federal
Judicial Center revelou que apenas 25% dos juzes afirmaram ter
excludo evidncias falhas de peritos de seus julgamentos mais recen-
tes; em 1998, esse nmero aumentou para 41%.33 No conhecemos
nenhum artigo jurdico que os ajude a assim proceder; isto , a dife-
renciar o bom do ruim e a avaliar o nvel de certeza de acordo com
diferentes prticas de pesquisa.34 Este livro fornece um primeiro
esforo no sentido de melhorar a habilidade deles de fazer essa dis-
tino e executar a exigida avaliao.35
Para alcanar tais fins variados, procedemos em trs passos. Pri-
meiro, porque reconhecemos que nossas regras s ajudaro
pesquisadores empricos que no esto cientes delas ou ento que
deixam de segui-las, comeamos no Captulo I com um breve relato
da nossa pesquisa sobre problemas metodolgicos nos peridicos
jurdicos americanos. Depois, nos Captulos II-VIII, dedicamos con-
sidervel ateno ao esclarecimento das regras de inferncia e sua
aplicao na investigao jurdica. Assim fazemos por acreditar que
os juristas que realizam pesquisas empricas precisam compreender,
17 [sumrio : notas]
InTRODuO
analisar, usar e, onde necessrio, aprender a estender as diretrizes que

oferecemos. Essas regras no devem ser meramente emolduradas e
penduradas em uma parede ou apregoadas em notas de rodap. Elas
devem ser lidas, ensinadas, internalizadas, e colocadas em uso
quando e onde a literatura jurdica for escrita. O Captulo II considera
os objetivos da pesquisa emprica: reunir e resumir dados e traar
inferncias descritivas e causais. Depois de delinear o processo de
projetar a pesquisa no Captulo III, ns enunciamos regras que gover-
nam os componentes desse processo: Perguntas de Pesquisa
(Captulo IV), Teorias e Suas Implicaes Observveis (Captulo V),
Hipteses Rivais (Captulo VI), Medio e Estimativa (Captulo VII),
e Seleo de Observaes (Captulo VIII). Embora no exista um
percurso certo para inferncias vlidas, ou mesmo possa em tese exis-
tir um, aderir a essas regras deve aumentar muito a validade e o valor
da literatura jurdica emprica.
Conclumos com sugestes sobre como a comunidade jurdica
pode reorganizar a conduta de investigao e ensino, de modo que
se possa sustentar melhor a criao de pesquisas de primeira linha
sem o comprometimento de seus outros objetivos, como o treinamento
de advogados. As oportunidades aqui so extremamente promissoras
e muito instigantes, talvez ainda mais que em muitas das reas mais
avanadas de pesquisa acadmica. Expandimos esse ponto com maior
detalhamento no Captulo IX, e tambm oferecemos um conjunto
de recomendaes no que tange criao de infra-estrutura sria
para a pesquisa jurdica. Elas incluem o estmulo do desenvolvi-
mento de um conjunto de habilidades necessrias para se conduzir
investigaes do mundo real, movendo-se para um modelo alterna-
tivo de gesto de peridicos, elaborando padres para o arquivamento
de dados, e vrias outras recomendaes para o futuro do conheci-
mento na academia jurdica.
18 [sumrio : notas]
I.
A ExTEnSO DOS PROBLEmAS
mETODOLGICOS nA PESquISA EmPRICA
Se todos os pesquisadores que realizam pesquisa emprica na rea

jurdica seguissem as regras de inferncia, ento, seria desnecessria
a ateno autoconsciente a elas. Da mesma forma, ao decidir se
deveramos escrever este livro, realizamos nossa prpria pesquisa
sobre as prticas atuais nos peridicos jurdicos dos Estados Unidos.
Nossa proposta era identificar onde os problemas estavam. Nossa
resposta? Em todos os lugares. Descobrimos que graves problemas
de inferncia e de metodologia constam em abundncia em todos
os lugares onde achamos pesquisa emprica em peridicos jurdicos
e artigos escritos por membros da comunidade jurdica.
Agora, apresentaremos como realizamos nossa pesquisa, mas os
leitores devem estar cientes que nosso objetivo a melhoria da pes-
quisa jurdica, e no a condenao de alguns autores pelos erros
cometidos por todos. Um esporte sangrento pode ser divertido de se
observar, mas no tem serventia nossa proposta e dificilmente pare-
ceria justo. No decorrer deste livro, criticamos inmeros estudos
particulares, mas o fazemos apenas quando necessrio explanao
de um ponto de vista. Usualmente, isso significa apresentar uma
regra de inferncia e como sua violao pode ser corrigida. De fato,
para nossa proposta, o melhor artigo no aquele que viola toda e
qualquer regra de inferncia. Isso produziria confuso, requisitando
longas qualificaes, e, em uma perspectiva explicativa, teria pouca
utilidade. Assim, o melhor exemplar aquele perfeito em quase todos
os quesitos, exceto um precisamente aquele que ilustra a regra de
inferncia que estamos explicando. Dessa forma, podemos demons-
trar claramente as vantagens de seguir uma determinada regra de
19 [sumrio : notas]
I. A ExTEnSO DOS PROBLEmAS mETODOLGICOS nA PESquISA EmPRICA
inferncia. Assim, os leitores devem entender que a maioria dos tra-

balhos que discutimos explicitamente no decorrer deste livro esto
muito acima da mdia, ainda que falhem na rea que estamos expli-
cando, independentemente de terem sido escritos por professores
titulares, professores principiantes, por aqueles que apareceram em
publicaes da mais conceituada faculdade de direito dos Estados
Unidos ou ento em excertos especficos produzidos por instituies
de quarta categoria. Neste Captulo, ns apresentamos um resumo
de nossa pesquisa, mas sem referncias explcitas.36 Encontrar exem-
plos para um trabalho de metodologia como este difcil: para cada
regra que apresentamos, os peridicos jurdicos possuem muitos arti-
gos que as seguem fielmente. Muitos daqueles que violam a regra,
contudo, tambm violam uma complexa combinao de outras
regras, de forma que no servem para uma perspectiva pedaggica.
Ns ento comeamos enfrentando a questo de uma forma
ampla, lendo todos os 231 artigos publicados em todos os peridicos
de direito dos Estados Unidos entre 1990 e 2000 que contivessem a
palavra emprica em seus ttulos.37 Ns fizemos um inventrio
destes artigos porque, em virtude de seus ttulos, eles, no mnimo,
alegam estar realizando a pesquisa baseada em observaes do
mundo real. A pesquisa emprica aparentemente tornou-se um
termo tcnico na literatura jurdica, e muitos daqueles que usaram o
termo em seus ttulos parecem ter intencionalmente identificado seus
trabalhos com esse movimento. Ns temos complementado esta
estratgia de pesquisa com outra mais focada visando revelar e ava-
liar alguns dos melhores artigos dentro da pesquisa emprica jurdica.
Esta pesquisa, ainda em andamento, inclui todos os artigos empricos
dos seis melhores peridicos jurdicos (Chicago, Columbia, Harvard,
NYU, Stanford e Yale) publicados entre 1995 e 2000.38 A pesquisa
tambm inclui os cinquenta artigos mais citados (de acordo com a
20 [sumrio : notas]
Legal Scholarship Network) que foram escritos por juristas e foram

divulgados em peridicos jurdicos.39 Ns adicionamos a esta lista
formal uma abordagem mais informal; especificamente, lemos uma
gama de peridicos jurdicos, seguindo as citaes e lendo a partir
destas. Quando os juristas souberam que ns estvamos trabalhando
neste projeto, muitos foram corteses em nos mandarem seus traba-
lhos empricos ou em nos indicarem outros, os quais tambm lemos.
Finalmente, ns examinamos os estudos em quatro peridicos jur-
dicos de reviso paritria (o Journal of Law & Economics; o Journal
of Law, Economics & Organizations; o Journal of Legal Studies e
Law & Society Review.) ainda que a autoria da maioria destes artigos
seja oriunda das reas de cincias sociais e administrao e no de
membros da comunidade jurdica, os quais constituem o principal
pblico-alvo deste livro.40
Ns, obviamente, no avaliamos nada prximo da totalidade da
pesquisa emprica no direito, mas pesquisamos extensivamente em
algo aproximado de uma amostra representativa de toda a pesquisa
emprica nos peridicos jurdicos. Ns tambm focamos profunda-
mente, de diversas maneiras, em reas onde a qualidade deve ser alta,
tanto que, para esta amostra, qualquer concluso traada por ns
deveria estar inclinada a no encontrar problemas metodolgicos.
Contudo, nossos resultados so desanimadores. Enquanto certa-
mente verdade que alguns artigos nos peridicos jurdicos so
melhores que outros, e que alguns deles cumpram com a regra de
inferncia melhor que outros, todo e cada artigo que lemos at ento
viola pelo menos uma das regras que ns discutimos no decorrer
deste livro.41 Como todos eles tm o potencial para serem aprovei-
tados em contenciosos, em procedimentos administrativos ou em
audincias, ns podemos apenas imaginar as srias consequncias
para as polticas pblicas (sem mencionar para o desenvolvimento
21 [sumrio : notas]
I. A ExTEnSO DOS PROBLEmAS mETODOLGICOS nA PESquISA EmPRICA
do conhecimento) que j devem ter resultado deles ou que disso

ainda possam resultar.42
Ao escrever este trabalho, ns no queremos sugerir que a pes-
quisa emprica presente nos peridicos jurdicos , sempre ou
frequentemente, pior que os artigos nos peridicos de outras disci-
plinas do conhecimento. Tais comparaes so irrelevantes. O nosso
nico ponto que a nossa pesquisa indica que muitos juristas que
realizam pesquisas empricas o que, numa definio padro de
emprico, significa praticamente todos os juristas iriam se bene-
ficiar de uma maior familiaridade com as regras de inferncia. Outros
campos parecem se beneficiar por dedicar constante ateno a seus
problemas metodolgicos em artigos explcita e exclusivamente
dedicados a mtodo. No descobrimos nenhuma razo pela qual a
academia jurdica no deva fazer o mesmo.
Esta concluso e o resultado da nossa pesquisa, de uma forma
geral, provavelmente no sero uma surpresa para vrios professo-
res de direito cuja prpria avaliao da literatura jurdica tem sido
mais negativa e extrema do que a nossa. De fato, parece haver uma
antiga tradio na academia jurdica de denegrir artigos publicados
em seus peridicos.43 Ao longo dos anos, eles tm se referido ao
contedo destes peridicos como sucata,44 esterco,45 (no)
legvel por humanos,46 confuso,47 cincia-lixo,48 indiger-
vel,49 entediante, muito longo,50 repleto de assunes sem bases
empricas,51 dependente de anedotas,52 opaco,53 e um escn-
dalo escancarado.54
Felizmente, ao menos para a pesquisa futura, remediar o problema
do trabalho emprico nas peridicos jurdicos no exigir medidas
to drsticas ou dramticas quanto este rol de reclamaes sugere
apenas uma maior ateno e adeso s regras da inferncia, que ns
comearemos a expor no prximo Captulo.
22 [sumrio : notas]
II.
CARACTERSTICAS COmunS
DA PESquISA EmPRICA
Praticamente todas as pesquisas empricas de qualidade compar-

tilham duas caractersticas. A primeira que o pesquisador
normalmente tem um ou mais objetivos especficos em mente
como coletar dados ou fazer inferncias. A segunda que, inde-
pendente de qual for o objetivo especfico, o pesquisador seguir
algumas regras gerais para alcan-lo ou ao menos alcan-lo
com algum grau de confiana. A seguir, consideramos estas carac-
tersticas em certo grau de detalhamento. Ns iniciamos com uma
discusso sobre os objetivos da pesquisa emprica e avanamos
para as diretrizes a que todos os pesquisadores que buscam alcan-
ar um ou mais desses objetivos devem aderir.
Independentemente do tipo de dado empregado, toda a pesquisa

A. OS OBjETIVOS
emprica procura atingir um dentre trs fins, ou mais tipicamente

alguma combinao deles: coletar dados para o uso do pesquisador
ou de outros; resumir dados para que sejam facilmente compreen-
didos; e fazer inferncias descritivas ou causais, o que envolve usar
os dados que observamos para aprender sobre os dados que quere-
mos levantar.
O mundo jurdico produz uma enorme quantidade de informaes

1. Coletando dados
todos os dias. Centenas de aes judiciais so pleiteadas ou decidi-

das, resultados de decises so prolatados, dezenas de normas so
implementadas (ou no), algumas so revisadas pelos legisladores
23 [sumrio : notas]
II. CARACTERSTICAS COmunS DA PESquISA EmPRICA
e por outros rgos formuladores de polticas. E os membros da

comunidade jurdica talvez mais que os outros tm sido funda-
mentais para garantir que os registros destes eventos existam por
um longo perodo de tempo. Para exemplificar, h registros dos
acrdos da Suprema Corte dos Estados Unidos desde 1790, mas,
em comparao, registros dos resultados das eleies presidenciais
no existiam antes de 1984.55
Ainda assim, apenas preservar registros, mesmo que importante,
no normalmente um objetivo isolado associado escola emp-
rica; tal objetivo , na verdade, traduzir ou coletar informaes de
forma que pesquisadores possam fazer uso delas. Considere a pes-
quisa feita por Liebman e seus colegas que procura avaliar, atravs
de um exame de acrdos das Cortes de Apelao federais e esta-
duais, a extenso de erros nas condenaes capitais.56 Felizmente
para a equipe de Liebman, os acrdos publicados nestes casos
esto disponveis em inmeras fontes (por exemplo, o Federal
Reporters e o South Eastern Reporter). No entanto, estes acrdos
so apenas isto decises judiciais julgadas em casos capitais sem
nenhuma tentativa de sistematizar caractersticas relevantes. Esta
a importante tarefa de que a equipe Liebman encarregou-se: eles
utilizam as informaes das publicaes federais e estaduais para
criar um banco de dados.57 Ento, por exemplo, enquanto eles
incluem o nome do indivduo cujo julgamento est sob reviso
(como faz, por exemplo, o Federal Reporter), eles tambm retratam
detalhes sobre a vtima e o fundamento da sentena (se revisada),58
dentre outros atributos sistematicamente coletados.
No caso da equipe de Liebman, coleta de dados foi um, mas no
o objetivo final da pesquisa. Ele e seus colegas estavam tambm
interessados em resumir dados de uma forma semelhante a que des-
crevemos na prxima seo. Considerando que a maioria dos
24 [sumrio : notas]
pesquisadores no coleta dados apenas por coletar, mas possui

outros objetivos em mente (resumir ou fazer inferncias), a equipe
de Liebman no atpica. Entretanto, h excees, principalmente
a chamada base de dados multiusurio ou de uso pblico. A
ideia por trs de tais bancos de dados direta o suficiente: ao invs
de coletar dados para responder a uma determinada pergunta de
pesquisa - por exemplo, em quantos casos capitais h erros? cole-
tar grandes bancos de dados to ricos em contedo que mltiplos
usurios, mesmo aqueles com projetos distintos, podem utiliz-los.
Alm de abrir o acesso a vrios pesquisadores, grandes bancos
de dados de uso comum possuem o que se entende por vantagem
combinatria. Para verificar isto, considere um mtodo til de an-
lise de dados tabulao cruzada, ou uma tabela que resuma
informaes sobre uma variada gama de interesses. Por exemplo,
a tabulao cruzada de aes judiciais da Suprema Corte dos Esta-
dos Unidos sobre uma amostra de peties de revisoiii (providas
ou no) pelo envolvimento do governo americano nestas peties
(como peticionrio ou no), como mostra a tabela nmero 1, produz
quatro valores de clulas (cell values): o nmero de peties
a que a Suprema Corte deu provimento quando o governo federal
era o peticionrio (26) e o nmero de peties a que negou provi-
mento (0), a quantidade provida quando o governo no era o
peticionrio (85) e o nmero dos que foram desprovidos (1078).
Isto somado informao sobre cada dado separadamente (por
exemplo, a frao de peties em que o governo foi peticionrio
(26/1189) e de peties providas (111/1189)).
25 [sumrio : notas]
TABELA 1:
TABULAO CRUzADA DAS AES JUDICIAIS DA SUPREMA CORTE DOS ESTADOS
UNIDOS SOBRE AS PETIES DE REVISO PELO ENVOLVIMENTO DO GOVERNO
AMERICANO NOS RECURSOS59
A Suprema Corte concedeu a reviso?
SIm nO TOTAL
O governo o peticionrio? SIm 26 0 26
nO 85 1078 1163
TOTAL 111 1078 1189
O relevante que dois fatores, o agir da Suprema Corte e o

envolvimento do governo americano, cada um com duas categorias,
produzem informaes em 2 x 2 = 4 clulas. Agora considere uma
situao em que duas equipes de pesquisadores querem estudar os
fatores que conduzem a Suprema Corte a conceder a reviso. Um
dos estudos est interessado principalmente em avaliar o efeito do
papel do governo federal como peticionrio. O outro estudo est
interessado em examinar o impacto de conflitos nas Cortes de Ape-
lao dos Estados Unidos sobre a resposta questo que levou
petio de reviso.60 Supondo, para simplificar, que cada um destes
fatores possui duas categorias (se o governo foi o peticionrio ou
no; se conflitos entre as cortes existiram ou no). Supondo ainda
que as equipes no estejam trabalhando conjuntamente, e recolhe-
ram suas amostras independentes de peties de reviso e coletaram
dados acerca do fator de seu interesse especfico (envolvimento do
governo federal para a Equipe 1 e conflitos entre cortes para a
Equipe 2) e quatro outros fatores no justapostos (cada um com
26 [sumrio : notas]
duas categorias) que eles tambm suspeitam que afetam as decises

da Suprema Corte em conceder revises.61 O resultado que a
tabulao cruzada para cada estudo produz 25 = 32 clulas. Note,
contudo, que j que os pesquisadores recolheram suas amostras de
peties de reviso de forma independente, tabulaes cruzadas de
fatores de uma amostra com os fatores de outra no seriam poss-
veis. Agora considere o que aconteceria se as duas equipes se
juntassem e coletassem os mesmos dez fatores no mesmo conjunto
de peties em um grande conjunto de dados. A vantagem combi-
natria advm: se os dez fatores fossem coletados juntos nas
mesmas peties, os dez fatores de duas categorias cada gerariam
210 = 1024 clulas diferentes, ou [210/(2 x 25)]= 16 vezes mais infor-
maes do que cada banco de dados produziu separadamente.62
Ciente dessas vantagens, o cientista social Harold J. Spaeth, h
aproximadamente duas dcadas, pediu National Science Founda-
tion (NSF) que financiasse um banco de dados multiusurio sobre
a Suprema Corte, o qual contivesse a contagem dos atributos das
decises da Corte publicadas desde 1953, variando desde a data da
sustentao oral, identificao das partes do litgio at como os
ministros votaram.63 Com o apoio do NSF e orientao de um
comit de supervisores, Spaeth procedeu tarefa de coletar e codi-
ficar os dados e, finalmente, montar o banco de dados. No final dos
anos 1980, ele tornou pblico esse banco de dados e os documentos
necessrios para utiliz-lo. Desde ento, ele atualiza os dados
anualmente. Ele tambm coletou dados anteriores, de maneira a
cobrir a poca da Corte de Vinson (perodo de 1946-1952).
Como esperado, Spaeth fez grande uso de sua base de dados para
responder suas perguntas de pesquisa especficas,64 mas uma mul-
tido de outros pesquisadores usaram-na para estudar questes
prprias.65 Se a equipe de Liebman tornasse sua base de dados
27 [sumrio : notas]
pblica, mesmo sendo originalmente projetada para a sua pesquisa,

os pesquisadores provavelmente aproveitariam o trabalho elabo-
rado pela equipe de Liebman da mesma maneira como fizeram com
o trabalho de Spaeth. Visto desta forma, Spaeth, a equipe de Lieb-
man e vrios outros esforos para coleta de dados so importantes
contribuies para a comunidade acadmica. Ns devemos reco-
nhec-los integralmente como tal.
H tambm outra semelhana entre o conjunto de dados da
equipe de Liebman e Spaeth. Em ambos os casos, os criadores obti-
veram seus dados de fontes pblicas ou prontamente disponveis:
no caso da equipe de Liebman, dos informes federais e estaduais
(state e federal reporters); e no caso de Spaeth, dos informes dos
Estados Unidos (U.S. Reports). Isto muito comum, mas no a
nica maneira como pesquisadores especialmente cientistas
sociais - abordam a coleta de dados. De fato, muitos estudos sobre,
por exemplo, o comportamento de voto baseiam-se mais em dados
gerados pelo investigador do que em dados que o investigador
obtm de outras fontes. Estes dados podem ser provenientes de
questionrios, entrevistas ou experimentos.
Inobstante a fonte, avaliar as iniciativas da coleta de dados
depende muito do propsito que o pesquisador tem em mente. Como
sugerimos anteriormente, os pesquisadores costumam no considerar
o acmulo de dados como um fim em si mesmo. Todavia, indepen-
dentemente do objetivo, algumas regras bsicas aplicam-se. Primeiro,
o processo atravs do qual os dados venham a ser observados deve
ser integralmente registrado. Isto o equivalente cientfico de insistir
no tribunal que o conjunto de provas seja totalmente documentado
e ininterrupto. Segundo, quanto mais dados, melhor. Em quase toda
utilizao emprica concebvel, uma maior quantidade de dados no
prejudica os objetivos do pesquisador. Elaboraremos e explicaremos
28 [sumrio : notas]
a importncia de ambas as regras nos Captulos II e VII.
Em seu estudo sobre falncia de consumidores, Norberg levanta

2. Resumindo os dados
duas questes empricas: como os credores obtm sucesso, e que

fatores so responsveis por seu sucesso ou fracasso?66 Para
abord-las, Norberg comeou resumindo os dados que coletou de
cada um dos setenta e um casos do Captulo 13 ajuizados na Corte
Americana de Falncias do Distrito Sul de Mississippi entre 1992
e 1998. A tabela 2, abaixo, que detalha a arrecadao dos credores
em cada caso pelo tipo de causa, um exemplo do seu trabalho.
TABELA 2:
ARRECADAO DOS CREDORES POR CASO CONFORME RELATADO POR NORBERG67
nATuREzA DA CAuSA InTERVALO mDIA mEDIAnA DESVIO PADRO
Com garantia $0-$66.183 $9.313 $3.914 $13.766
Prioritrias $0-$4.965 $193 $0 $713
Gerais $0-$7.645 $861 $146 $1.544
Total $0-$67.130 $10.367 $4.076 $14.379
Considerando que uma de suas perquntas de pesquisa (como os

credores obtm sucesso?) requeria uma resposta descritiva um
resumo direto dos dados relevantes o trabalho de Norberg foi um
ponto de partida razovel. Entretanto, mesmo quando os pesquisa-
dores propem questes s quais no conseguem responder apenas
com a informao descritiva, um passo importante na anlise, seja
29 [sumrio : notas]
das evidncias quantitativas ou das qualitativas, fornecer tais resu-

mos. Isto porque as alternativas no exemplo de Norberg, uma lista
de 213 quantias em dlares (setenta e um casos multiplicados por
trs categorias) - esto alm da compreenso direta da maioria dos
seres humanos. Ns sequer conseguimos armazenar todos esta quan-
tidade de nmeros em nossa mente de uma s vez, muito menos
interpret-los simultaneamente. Da mesma forma, quase todos os
estudos utilizam resumos de dados em vez de apresent-los em sua
forma bruta original incluindo os mais extensos bancos de dados
numricos na pesquisa quantitativa ou as mais longas e detalhadas
descries verbais de qualquer fenmeno real na pesquisa qualita-
tiva - a fim de entender ou comunicar o significado dos dados.
Resumos possuem diversos formatos. Em dados numricos, nor-
malmente resumimos vrios nmeros em poucos, e de fato essa
atividade representa grande parte do campo acadmico da estatstica.
As estatsticas simples tipicamente invocadas por juristas incluem
a mdia, a mediana, a moda, intervalo e o desvio padro.68 Os trs
primeiros so medidas da tendncia central, isto , elas nos infor-
mam o centro da distribuio das quantias em dlar das causas
com garantia (ou qualquer fator de interesse). A mdia simples, de
forma que os $9.313 na Tabela 2 so a quantia mdia de dinheiro
que os credores com garantias arrecadaram. A mediana o caso
situado no ponto central da distribuio dos casos, de forma que
metade dos credores com garantias arrecadaram mais que $3.914, e
metade arrecadou menos. A moda (a qual Norberg no apresenta em
sua tabela) simplesmente o valor com maior frequncia de ocor-
rncia, de forma que, se Norberg tivesse apenas trs casos em sua
categoria de causas prioritrias, com arrecadaes de $0, $4.965 e
$0, $0, seria a moda. As outras duas estatsticas, intervalo e desvio
padro, so medidas de disperso ou de variabilidade, isto , elas
30 [sumrio : notas]
nos informam o grau no qual os dados esto distantes dos valores

tpicos. O intervalo simplesmente o valor mnimo e o valor
mximo para cada tipo de causa, de forma que, o valor mnimo arre-
cadado pelos credores com causas com garantias foi de $0, e o
mximo, de $66.183. O desvio padro a estatstica que apresenta
a distncia entre os valores e a mdia.69
Cada resumo numrico traz ao leitor uma noo de toda a distri-
buio dos setenta e um casos para cada tipo de causa, mas omite
outras caractersticas da distribuio. Um exemplo simples notar
que a mediana inclui informaes sobre a tendncia central, mas
omite informaes sobre a variao. Em outras palavras, a mdia da
quantidade de dinheiro arrecadado pelos credores com causas com
garantias no nos indica nada acerca do grau segundo o qual os cre-
dores desviaram daquela mediana. Estavam eles fortemente
agrupados prximos ao valor de $3.914 ou no? Alm disso, ainda
que a tabela fornea medidas da tendncia central e variao, outras
caractersticas, como simetria (o grau no qual a distribuio sim-
trica em torno da mdia) ou as quantias em dlares de cada caso,
so necessariamente perdidas. Isto fcil de perceber, pois toda a
lista dos 213 nmeros no pode ser reproduzida a partir da Tabela
2, ou, da mesma forma, muitas listas diferentes contendo 213 nme-
ros so consistentes com os resumos numricos que ela mostra.
A perda das informaes no , em si, um problema. A nica difi-
culdade aparece quando os pesquisadores descartam informaes
teis. No entanto, como as informaes inteis para um objetivo
podem ser teis para outro, no podemos saber, somente a partir dos
nmeros relatados, se o autor fez um bom trabalho de resumo.
Em alguns casos, grficos ou outras representaes de dados
podem transmitir as informaes corretas sem muitas perdas. Isto
no comum, mas, quando possvel, deve ser aproveitado, como
31 [sumrio : notas]
possvel fazer nos dados de Norberg.70 Ao invs de apresentar os

dados em uma forma tabular, como ele o fez, podemos represent-
los em trs histogramas separados: para arrecadaes para as
causas com garantia, prioritrias e para causas gerais. Histogramas
so representaes visuais de toda a distribuio neste caso, do
nmero de dlares que os credores arrecadaram em cada caso em
cada categoria.
A Figura 1 traz exemplos, com o eixo horizontal de cada histo-
grama representando o valor em dlares e o eixo vertical, o nmero
de casos em cada categoria. A nica informao perdida com esta
apresentao a variao da quantia em dlar que pode existir em
cada barra, a qual agrupa os casos (a largura da barra uma escolha
feita pelo investigador). Entretanto, perceba o ganho: caractersticas
dos dados que a tabela de Norberg (em outras palavras, sua escolha
de estatsticas resumidas) oculta revelam-se bastante consequentes.
Por exemplo, podemos observar agora (mais claramente do que
podamos calcular pela Tabela 2) que a quantidade modal de dlares
recebidos por credores para todos os trs tipos de causas zero. Este
fato revela, dentre outras coisas, que as mdias e as medianas (as
estatsticas que Norberg fornece) no so resumos particularmente
bons dessa caracterstica dos dados, considerando que eles omitiram
o pico no zero. Provavelmente, os processos que geraram estes dados
so desarticulados: em reivindicaes de credores, parece provvel
que um conjunto de fatores explique se os credores iro arrecadar
algum dinheiro, e que um conjunto de fatores parcialmente diferente
explique quanto os credores arrecadaro (supondo que alguma quan-
tidade de dinheiro ser paga). Uma questo interessante se o
resultado se mantm sob anlises mais sistemticas, mas ela s surgiu
aps extrairmos informaes teis sobre a distribuio utilizando um
mtodo que resume os dados sem perder caractersticas relevantes.
32 [sumrio : notas]
fIGuRA 1:
HISTOGRAMAS DOS DADOS DE NORBERG
45
NMERO DE PEDIDOS
40 X
VALOR DE PEDIDOS COM GARANTIA
35
30
NMERO DE CASOS
25
20
15
10
5
0
1 2 3 4 5 6
4
VALOR EM DLARES DE PEDIDOS COM GARANTIA X10
70
NMERO DE CASOS
60 X
VALOR DE CASOS PRIORITRIOS
50
NMERO DE CASOS
40
30
20
10
0
1 2 3 4 5 6
4
VALOR EM DLARES DE CASOS PRIORITRIOS X10
60
NMERO DE CASOS
X
50 VALOR GERAL DOS CASOS
40
NMERO DE CASOS
30
20
10
0
1 2 3 4 5 6
4
VALOR GERAL DOS CASOS X10
33 [sumrio : notas]
Qualquer que seja a forma como os acadmicos escolham apre-

sentar seus resumos, ou independente daquilo que eles decidam
incluir nestes, uma advertncia deve ser feita: eles no devem rei-
ficar seus nmeros. Isso porque resumos de nmeros isolados no
precisam representar exatamente nem um caso.71 Ento, por exem-
plo, se ns observarmos nove dos doze jurados votando por
condenar o ru, no resumiramos esta informao dizendo que o
jurado mdio foi trs quartos a favor da condenao.72
Mesmo que isto parea bvio, surpreendente o quo frequen-
temente os juristas reificam os nmeros especialmente quando
tentam apresentar perfis ou mdias, ao invs de resumir com-
ponentes. Considere como Eisenberg, Garvey e Wells apresentam
seus dados em um estudo sobre se os jurados de casos capitais assu-
mem responsabilidade pelas sentenas que impem:
[R]espostas a diferentes perguntas de entrevistas sugerem

um cenrio relativamente consistente da responsabilidade
do jurado pela sentena. O jurado mdio entende e aceita
o papel fundamental que ele tem na determinao da sentena
do ru; no v a lei como algo que o force a chegar a uma
sentena especfica; no v uma deciso de pena de morte
como algo que as cortes provavelmente revertero; e considera
sua participao em jris de casos capitais emocionalmente
desgastante. Por outro lado, ele no considera muito provvel
que qualquer sentena de pena de morte que ele imponha
venha, de fato, a ser executada.73
De fato, os autores no fornecem qualquer evidncia de que

seu perfil do jurado mdio descreve com preciso a maioria dos
jurados, alguns jurados ou qualquer jurado. Nessa pesquisa, como
34 [sumrio : notas]
na maioria delas, o jurado mdio (o que distinto da resposta

mdia dos jurados para uma pergunta de questionrio) uma cria-
o do pesquisador.
Observada tal advertncia, pode-se dizer que, quando devidamente
coletadas, apresentadas e compreendidas, as estatsticas resumidas
so formas teis e geralmente necessrias de descrever grandes con-
juntos de dados. Da mesma forma, os resumos geralmente possuem
um papel importante na pesquisa emprica qualitativa. Aqui, a des-
crio pode assumir a forma de um resumo verbal, por exemplo,
quando o pesquisador tenta resumir um precedente (o qual pode
incluir um, dois, trs ou muitos mais casos) que seja relevante s
suas preocupaes. Assim se d a investigao realizada por Gela-
cak, Nagel e Johnson,74 a qual foca principalmente em como os
juzes das cortes distritais dos Estados Unidos utilizam as provises
sobre divergncias contidas no Sentencing Reform Act de 1984.
Reconhecendo que estes juzes podem ser influenciados pela juris-
prudncia das cortes de apelao norte-americanas, os autores
tambm investigam a jurisprudncia sobre divergncias junto s
cortes de apelao norte-americanas.75 O trecho a seguir como
eles descrevem a abordagem do Nono Circuito:
O Nono Circuito foi (...) notvel em seus padres para reviso

de divergncias, uma vez que esta corte imps requisitos
procedimentais bastante rigorosos para as decises de divergir
das cortes distritais. O Nono Circuito exigiu que as cortes
distritais expusessem, em seus registros, as razes para divergir,
e que explicassem a extenso de tal divergncia. O Nono
Circuito aplicou estritamente tais requisitos, invalidando
numerosas divergncias, especialmente aquelas sentenas
em que o ru era condenado a mais do que recomendam as
35 [sumrio : notas]
diretrizes federais, em razo do no fornecimento de uma

explicao adequada.76
Nestas trs sentenas, Gelacak e seus coautores tentam resumir

a doutrina estabelecida em cinco casos abrangendo o perodo de
trs anos. A breve descrio deles necessariamente omite detalhes
considerveis destes casos, alguns dos quais os autores descrevem
em notas de rodap.77 O que, apesar disto, a torna til que as
caractersticas nela retidas so aquelas que os autores desejam pas-
sar aos leitores, se, de fato, a citao reflete com preciso os casos
que ela foi escrita para descrever.
Descrever observaes atravs de resumos, como discutimos

3. Traando inferncias descritivas
acima, um momento crtico para a maioria dos projetos de pes-

quisa. Porm, geralmente no o principal objetivo. O objetivo,
em vez disso, a inferncia o processo de utilizar os fatos que
conhecemos para aprender sobre os fatos que desconhecemos. H
dois tipos de inferncias: descritiva e causal.
Enquanto os pesquisadores costumam utilizar resumos de dados
para fazer inferncias descritivas, inferncias descritivas so dife-
rentes de resumos de dados. No as fazemos resumindo fatos; ns
as fazemos utilizando os fatos que conhecemos para aprender sobre
fatos que no conhecemos. Para visualizar esta distino, considere
a investigao de Milhaupt e West sobre por que o crime organi-
zado emerge, e qual a funo... que ele tem na economia.78 Os
pesquisadores se focam no Japo para abordar tais questes. Eles
acumulam e resumem dados desse pas dos anos 1972 at 1997,
mas tambm esperam utilizar a experincia japonesa para desen-
volver insights sobre os crimes organizados em ambientes to
36 [sumrio : notas]
diversos como a Rssia e a Siclia.79 Eles esto, dessa forma, bus-

cando traar duas inferncias descritivas: (1) eles querem usar
resumos de dados especficos que coletaram no Japo a fim de
aprender sobre o crime organizado no Japo de maneira geral e (2)
eles querem usar o que eles aprenderam sobre o Japo para apren-
der sobre o resto do mundo.
Lederman engajou-se em um empreendimento anlogo. Na ten-
tativa de responder a uma pergunta genrica de pesquisa Quais
casos vo a julgamento?- ela elaborou uma amostra aleatria de
quatrocentos casos ajuizados em uma corte especfica (a Corte Tri-
butria) durante um perodo isolado de tempo (1990 at 1995).80
Qualquer resumo desses quatrocentos casos, ou mesmo todos esses
quatrocentos casos, , em si, de pouco interesse. O propsito, para
Lederman, era ajud-la a aprender sobre dados que no ela possua
todos os da Corte Tributria que no vo e vo a julgamento e,
por fim, todos os casos arquivados em todas as cortes.
Ainda que os projetos de Milhaupt/West e Lederman sejam subs-
tancialmente distintos, eles compartilham uma caracterstica comum
em ambos, os pesquisadores esto tentando traar uma inferncia
descritiva. Atravs da coleta de observaes em um pas (Japo) ou
em uma corte (Corte Tributria) em um ponto especfico do tempo,
eles tentam aprender algo traar uma inferncia descritiva sobre
aquele pas ou corte especficos de uma maneira geral (e no sim-
plesmente durante o lapso temporal que estudam). Ao mesmo
tempo, esto procurando generalizar sobre o mundo baseados em
testes em uma pequena parte dele. Isto , eles querem aprender algo
sobre os outros pases, outras cortes ou outros perodos de tempo,
os quais eles no esto observando. Os fatos que eles no observam
ou conhecem so por vezes chamados caractersticas de uma popu-
lao (por exemplo, todos os pases de interesse, incluindo o Japo),
37 [sumrio : notas]
os valores sobre os quais esto buscando aprender atravs da men-

surao de uma amostra (por exemplo, o Japo nos anos de 1972
at 1997).
importante que Milhaupt/West e Lederman compreendam essa
distino, j que o primeiro passo crtico para traar uma inferncia
descritiva identificar o alvo da inferncia o fato que gostaramos
de conhecer, como o crime organizado em todos os pases ou os
acordos em todos os casos. Quando os pesquisadores no tomam
tal passo, ficam sujeitos aos males de uma caixa de Pandora em
potencial, muitos dos quais detalhamos no Captulo VIII. Uma
preocupao imediata aqui que a falha em seguir este princpio
pode levar quilo que deveria ser uma crtica desnecessria da pes-
quisa. Tal foi o destino do estudo de Bradley e Rosenzweig sobre
o Cdigo de Falncias (Bankruptcy Code).81 Para defender seus
argumentos iniciais de que o Congresso deveria revogar o Captulo
11, os pesquisadores examinaram o comportamento de uma amos-
tra de companhias de capital aberto que pediram falncia. Isto
conduziu Warren, em uma apreciao condenatria da pesquisa, a
suscitar a questo bvia: considerando que companhias de capital
aberto constituem menos de 1% de todos os casos do Captulo 11,
e considerando que pesquisas anteriores indicam que a experincia
das grandes companhias de capital aberto em processo de falncia
drasticamente diferente daquela de companhias menores e priva-
das, seria legtimo que Brandley e Rosenzweig advogassem
extensas mudanas na legislao com base em sua amostra?82 Para
Warren, a resposta definitivamente negativa. Os pesquisadores
no podem alegar que todos os seus dados se aplicam com a
mesma fora para todas as empresas invocando o Captulo 11.83
Se, na verdade, o objeto da inferncia de Bradley e Rosenzweig
fossem todas as companhias que requerem falncia, ento a opinio
38 [sumrio : notas]
de Warren plausvel. Se, na verdade, a inteno dos pesquisadores

era fazer reivindicaes apenas em relao s companhias de capi-
tal aberto, ento Warren estava exagerando mas no por sua
culpa.84 Cabe aos pesquisadores, e no aos leitores, especificar o
objeto de sua inferncia. Caso este objeto seja esquivo ou obscuro
para os investigadores, o que eles devem fazer imaginar como
procederiam com um oramento ilimitado e sem limites sobre a
quantidade de tempo e esforo que poderiam despender. Se, nessa
situao hipottica, eles descobrirem que so incapazes de escla-
recer com grande preciso a quantidade a ser estimada, eles devem
repensar o projeto em seus estgios anteriores, se no do zero. De
fato, sem um objeto identificado e no-ambguo, um projeto de pes-
quisa no poder ser razoavelmente avaliado e, portanto, no
poder ser bem-sucedido.
A maioria dos estudos que consideramos at agora contam com
evidncias numricas, mas os pesquisadores que utilizam informa-
es qualitativas procuram traar inferncias descritivas to
frequentemente quanto. Considere as anlises doutrinrias de reas
especficas do direito. Em vrias destas, os pesquisadores tentam
fazer inferncias sobre o estado do direito, focando em alguns
poucos casos de exemplo ou casos chave.85 Porm, em quase
todos, os pesquisadores no deixam suas tentativas de inferncias
descritivas explcitas; com frequncia deixando, ao invs disso, que
as sempre presentes string citations86 repletas de poucos
casos-exemplo realizem a tarefa. Tal foi o exame de Black sobre
a doutrina dominante na regulao estatal dos partidos polticos, o
qual: estes casos demonstram que a interveno antecipada da
Corte sobre a regulao estatal dos partidos polticos no beneficiou
claramente os partidos maiores em detrimento dos partidos meno-
res.87 Estes casos, descobrimos nas notas de rodap, so nove,88
39 [sumrio : notas]
uma pequena frao de todas decises semelhantes.89 Outros autores

evitam as string citations em favor de anlises profundas de casos
chave ou exemplo. A fim de demonstrar que a Suprema Corte
dos Estados Unidos de fato adotou a abordagem do novo origina-
lismo quanto quarta emenda da Constituio dos Estados Unidos,
a qual ele pretende criticar,90 Sklansky examinou onze91 dos cin-
quenta e quatro (um nmero que ns calculamos92) casos de busca
e apreenso decididos pela Suprema Corte durante o perodo em an-
lise. Se esses onze ou os cinco casos de Black so exemplificativos
ou chave, o que exemplificativo ou chave significaria neste
contexto, ou se esses casos representariam adequada ou razoavel-
mente quaisquer casos seno aqueles selecionados pelo autor, ns
no sabemos.
O que ns sabemos que a inferncia descritiva no nem remo-
tamente a tarefa quase trivial que esses autores implicitamente (via
string citation ou anlise profunda) fazem-na parecer. Poderia ser
que Black falasse-nos algo importante sobre a regulao estatal a
partir do seu foco em cinco casos-chave (ou casos-exemplo), ou
que Slansky tenha capturado, a partir dos seus onze, uma vontade
por parte da Corte de invocar o novo originalismo para decidir
os casos sobre a quarta emenda. Mas tambm pode ser que ns seja-
mos induzidos em equvoco pela pesquisa. Hillman93 sugere o
mesmo com relao ao trabalho de Farber e Matheson, sobre se a
confiana permanece relevante em casos de precluso em razo de
promessa (promissory estoppel).94 Enquanto Farber e Matheson
relatam a decadncia da confiana em casos chave95 rompendo,
dessa forma, com o conhecimento convencional e, a longo prazo,
criando um novo consenso96- Hillman, conduzindo uma investi-
gao quantitativa e qualitativa de todos os casos de precluso em
razo de promessa decididos nos Estados Unidos entre 1994 e 1996
40 [sumrio : notas]
(em vez de apenas casos chave), encontra precisamente a con-

cluso oposta:
Analistas reportaram a desimportncia da confiana como

um elemento substancial da precluso em razo de promessa
e a invarivel concesso de indenizao de danos baseados
na frustrao de expectativa nos casos bem-sucedidos.
A realidade, ao menos em meados dos anos 90, era muito
diferente. Demonstrar confiana era crucial para se obter a
indenizao, e esta no estava baseada exclusivamente nos
danos gerados pela quebra da expectativa razovel.97
Se a anlise de Hillman vlida, a inferncia de Farber e Mat-

heson visivelmente falha. O mesmo pode eventualmente ser dito
do estudo de Sklansky. Enquanto no efetuamos uma anlise ao
estilo de Hillman, consideramos a possibilidade de que os onze
casos selecionados por Sklansky para o estudo profundo podem no
ser exemplares, ou talvez nem casos-chave, mas sim aqueles que
eram mais visveis para ele. Especificamente, comparamos os onze
casos do artigo de Sklansky com a populao de cinquenta e quatro
casos considerando um simples indicador de visibilidade: o fato
de o caso ter sido manchete no jornal New York Times no dia
seguinte deciso da Corte.98 Os resultados de nossa investigao
so reveladores: dos onze casos que Sklansky analisou, nove (ou
82%) eram assunto de um artigo do New York Times, mas na popu-
lao, 52% receberam cobertura.
Isso significa que as concluses de Sklansky sobre a adoo pela
Corte do novo originalismo so errneas? No. Ainda que ele tenha
selecionado os onze casos porque eles eram especialmente visveis
para ele, possvel que ele tenha conseguido alcanar uma infern-
41 [sumrio : notas]
cia descritiva vlida, se a visibilidade no guarda relao com as

variveis em seu estudo. Mas possvel diferente de decisivo, prin-
cipalmente porque Sklansky no apresenta argumentos ou
evidncias sobre isso. E a est o problema. No temos como deter-
minar se seus onze casos trazem ou no embasamento inferncia
que ele traou.
Como poderiam Sklansky, Farber e Matheson e outros ter tor-
nado suas inferncias descritivas mais precisas e menos incertas?
A resposta simples: eles precisam revelar muito mais sobre o pro-
cesso pelo qual eles geraram e observaram seus dados todo o
processo, do momento em que o mundo gerou o fenmeno de inte-
resse at o momento em que os dados estavam em sua posse e
foram considerados definitivos. Se, por exemplo, pudermos ter cer-
teza de que os cinco casos que Black observou so semelhantes
queles para os quais ele estava inferindo, ento as inferncias
podem ser de alta qualidade.99 Infelizmente, no estudo de Black (e
no de Sklansky), os casos foram selecionados por uma deciso pri-
vada e no revelada do investigador, de modo que os leitores no
tm meios de medir a qualidade das inferncias.
Uma exceo lgica que pode ser identificada neste instante
a de que a qualidade das inferncias pode ser julgada pela reputa-
o dos investigadores: devemos acreditar em Sklansky porque
ele um professor renomado em uma reconhecida faculdade de
direito (UCLA), mas talvez no em Black, um mero estudante da
Cornell University. Esse tipo de apelo autoridade, contudo, total-
mente irrelevante para a validade das inferncias. Mesmo se fosse
verdade que autores renomados se enganam menos frequentemente
do que autores desconhecidos (uma hiptese com pouco embasa-
mento em evidncias!), eles ainda assim estariam errados algumas
vezes. Somente a evidncia o processo pelo qual os dados foram
42 [sumrio : notas]
observados, e no a fama, trabalho, status ou renda do investigador

contedo da inferncia cientfica feita com seriedade.
Os exemplos acima so apenas alguns dos muitos que poderamos

4. Traando inferncias causais
ter selecionado para ilustrar as inferncias descritivas, pois tra-las

geralmente uma parte crtica dos programas de pesquisa. O mesmo
pode ser dito das inferncias causais, como em estudos nos quais o
acadmico, advogado ou juiz quer saber se um fator ou conjuntos de
fatores leva a (ou causa) algum resultado. A deciso da Suprema
Corte no caso Miranda vs. Arizona100 causou um declnio na quan-
tidade de confisses?101 As leis (e outros tipos de penalidades)
destinadas a reduzir a quantidade de motoristas embriagados causam
um declnio na taxa de fatalidades no trnsito relacionadas ao uso do
lcool?102 O caso Chevron U.S.A Inc vs. Natural Resources Defense
Council, Inc.103 levou as cortes federais de apelao a dar mais
importncia elaborao de leis pelas agncias administrativas?104
Regras variadas estimulam as partes a entrarem em acordo?105
Todas estas perguntas questionam se um evento especfico
a presena ou ausncia daquilo que chamamos de varivel causal
principal (nos exemplos acima, decises da Suprema Corte, leis de
trnsito e acordos entre as partes) causaram um resultado espe-
cfico, ou varivel dependente (nos exemplos acima, taxas de
confisses, fatalidades no trnsito, deferncia a acordos). Os pos-
sveis eventos e resultados podem ser caracterizados como
variveis que assumem diferentes valores, isto , elas variam: ou
Miranda existe ou no; as confisses podem aumentar, diminuir ou
permanecer igual.
Para responder tais perguntas comuns pesquisa jurdica, muitos
pesquisadores observam o que ocorre antes e aps uma mudana
43 [sumrio : notas]
na varivel causal. Esta a direo normalmente tomada em estudos

do efeito de Miranda, bem como do de Chevron. Em uma anlise
doutrinria de julgamentos e casos de cortes de apelao envolvendo
regulaes fiscais, por exemplo, Aprill conclui:
Chevron no causou a revoluo no equilbrio de poderes entre

as agncias administrativas e as cortes que alguns comentaristas
temiam. Ele no retirou dos juzes o papel-chave na reviso das
regulataes das agncias administrativas. Em vez disso (...)
Chevron pode ter reduzido a deferncia s aes
administrativas, por estimular os prprios tribunais a decretar
o significado de uma lei.106
Por outro lado, Shuck e Alliot, baseando-se em evidncias quan-

titativas, relatam que o percentual de decises de agncias adminis-
trativas que as cortes de apelao ratificaram em 1984 (isto , antes
de Chevron) foi 70,9%; aps Chevron, este percentual aumentou
para 81,3%.107
Isso significa necessariamente que Chevron causou um aumento
(ou, no caso de Aprill, um declnio) na deferncia judicial s agn-
cias administrativas? claro que no. possvel que o aumento
(ou diminuio) ocorresse (ou, talvez fosse ainda maior) sem a
existncia de Chevron. Apenas revivendo a histria e mantendo
tudo idntico a no ser Chevron (em outras palavras, em uma ver-
so da nossa histria recriada a Suprema Corte indeferiria Chevron
e, na outra, no), seramos capazes de definir o efeito causal total.
Se, na verso da histria sem Chevron, no observssemos nenhum
declnio na deferncia, mas na verso com Chevron observsse-
mos deferncia, ento poderamos concluir que Chevron tem um
efeito causal.108
44 [sumrio : notas]
Como no podemos reviver a histria dessa forma, temos que

depender da inferncia causal. A inferncia causal tambm est
relacionada ao uso de fatos conhecidos para aprender sobre fatos
desconhecidos. Na verdade, uma inferncia causal a diferena
entre duas inferncias descritivas o valor mdio que a varivel
dependente (por exemplo, o percentual de casos decididos entre
1984 e 2000 em que juzes permitem que prevaleam as regulaes
das agncias) assume quando um tratamento aplicado (por
exemplo, Chevron introduzido), e o valor mdio que a varivel
dependente assume quando um controle aplicado (por exemplo,
Chevron no introduzido). O efeito causal o objetivo do pro-
cesso da inferncia causal essa diferena, o quanto o percentual
de deferncia por parte do judicirio aumenta ou diminui quando
nos transportamos de um mundo sem Chevron para um mundo
idntico em todos os aspectos exceto a presena de Chevron.
Saber os valores da varivel dependente quando a principal
varivel causal indica tratamento e quando ela indica controle
requer duas inferncias, pois nenhuma das quantidades pode ser
diretamente observvel geralmente. Mas h uma complicao adi-
cional: pesquisadores apenas podem estimar diretamente o valor
real do grau de deferncia por parte do judicirio quando ou o tra-
tamento ou o controle so aplicados, mas no ambos, j que ou
Chevron foi introduzido no mundo real ou no o foi. Isso conhe-
cido como o problema fundamental da inferncia causal.109 Ele
de fato um problema fundamental, pois no importa quo perfeito
seja o projeto de pesquisa, ou a quantidade de dados coletados, ou
quanto tempo, esforo e recursos sejam investidos, nunca ser pos-
svel fazer inferncias causais com certeza. No mximo, uma das
inferncias descritivas ser baseada em informao factual, e no
mnimo uma demandar inferncia contrafactual. ( claro que
45 [sumrio : notas]
inferncias contrafactuais so interessantes em si, como, por exem-

plo, quando nos perguntamos como o mundo teria sido, ou seria,
se determinadas polticas fossem promulgadas).
O problema fundamental da inferncia causal, combinado com
todas as dificuldades de se realizar mesmo as inferncias descritivas,
levou alguns acadmicos a sugerir que nunca se deveria conceber
uma pesquisa em termos de perguntas, hipteses e afirmaes cau-
sais; que deveramos somente utilizar a linguagem das correlaes e
das associaes, como em Chevron parece estar associado a um
aumento na deferncia judicial, e no Chevron causou um aumento
na deferncia judicial. s vezes, isso tudo o que pode ser feito,
mas no concordamos que o objetivo deva ser mudado. Simples-
mente porque a incerteza no pode ser eliminada no significa que
no possamos ou no devamos traar inferncias causais quando a
pesquisa necessita delas. Pesquisadores, advogados, as cortes e legis-
ladores precisam fazer inferncias causais, de modo que abandonar
ou redefinir os objetivos no uma opo. Alm disso, gerar temas
de pesquisa teis e politicamente relevantes uma das coisas que os
pesquisadores em direito melhor fazem. Recomendamos, assim, que
os pesquisadores no mudem o objeto de suas inferncias porque a
inferncia causal difcil. Em vez disso, eles devem tornar suas ques-
tes o mais precisas possvel, seguir os melhores conselhos que a
cincia tem a oferecer sobre a reduo de incertezas e vieses, e comu-
nicar o nvel apropriado de incerteza que os leitores devem ter ao
interpretar seus resultados muito do que resumimos neste livro.110
Nas partes III a VIII, explicamos as regras especficas que regem

B. DIRETRIzES GERAIS
os diferentes componentes do processo de pesquisa. A seguir, apre-

sentamos diretrizes s quais toda pesquisa emprica deveria aderir,
46 [sumrio : notas]
independentemente de ser o seu objetivo acumular ou resumir

dados, fazer inferncias descritivas ou causais, ou alguma combi-
nao desses. De fato, essas diretrizes se aplicam a tantas reas e
estgios de um projeto de pesquisa que, juntas, elas quase traam
uma atitude geral ou abordagem para refletir sobre o conhecimento
emprico. Sobre isso, destacamos que, nas cincias sociais, mem-
bros do corpo docente frequentemente contam aos seus alunos de
PhD um conto j repetido nos crculos jurdicos:
Quando voc publica seu artigo, em algum lugar haver um

estudante segurando um bloco de papel com linhas amarelas
com seu nome rabiscado sobre ele. Espere que tudo o que
voc faz v ser escrutinado detalhadamente, que ser testada
qualquer explicao rival que voc no explorou, e que ser
dissecada cada possvel maneira pela qual voc possa ser
provado errado. Antecipe-se. Alcance cada uma dessas reas
antes do estudante. Quando voc realizar pesquisa emprica,
siga as regras da inferncia.
As diretrizes que seguem proporcionam um ponto de partida

crucial para acatar tal conselho.
O bom trabalho emprico adere ao padro da replicao: outro pes-

1. A pesquisa deve ser replicvel
quisador deve conseguir entender, avaliar, basear-se em, e reproduzir

a pesquisa sem que o autor lhe fornea qualquer informao adicio-
nal. Esta regra no requer que algum de fato replique os resultados
de um artigo ou livro; ela requer apenas que os pesquisadores for-
neam informaes no artigo, livro ou em outra forma disponvel
ou acessvel ao pblico suficientes para a replicao dos resultados
47 [sumrio : notas]
em princpio.111 Infelizmente, o estado atual da pesquisa jurdica

quase sempre falha neste mais bsico dos testes.
Considere dois exemplos. No primeiro, Explaining the Pattern
of Secured Credit, o autor, Ronald Mann, explica os procedimentos
que utilizou para acumular os seus dados:
Constru um conjunto de entrevistas projetadas para refletir

o mais precisamente possvel o mercado de emprstimos
como um todo. Classifiquei aqueles que contraem
emprstimos conforme diferenas de tamanho da empresa,
de seu acesso a dvidas cotadas em mercado estabelecido,
e da linha de negcios da empresa. Dessa forma, entrevistei
os responsveis em grandes e pequenas empresas, que vo
desde duas empresas de capital aberto do ranking da revista
Fortune das 100 maiores empresas dos Estados Unidos, at
diversas pequenas empresas de capital fechado (incluindo
uma que nunca obteve lucro). Tambm entrevistei vrias
pessoas que buscam emprstimos apenas no mercado de
crdito privado, um sujeito em processo de emitir seu
primeiro dbito pblico, e muitos que so ativos nos
mercados de crdito pblico. Por fim, entrevistei indivduos
que operam em diferentes linhas de negcio, incluindo bens
imveis, frmacos, ferramentas industriais, manufatura e
servios e tcnica em informtica. No lado dos credores,
entrevistei representantes de cada uma das maiores
categorias de instituies credoras na nossa economia
companhias de seguro, bancos e companhias de ativos
financeiros bem como diversos credores no-
institucionais que emprestam significativas quantias
de dinheiros aos seus clientes.112
48 [sumrio : notas]
Da mesma forma, em seu estudo Jury Responsibility in Capital

Sentencing: An Empirical Study, a equipe de Eisenberg descreve
como coletou os dados para responder a sua principal pergunta de
pesquisa (Os jurados em casos capitais assumem responsabilidade
pelas sentenas que impem?):
Jurados de quarenta e trs casos de homicdio na Carolina

do Sul foram aleatoriamente selecionados, com o objetivo
de quatro entrevistas de jurados para cada caso. A amostra
inclui vinte e trs casos que resultaram em pena de morte
e vinte casos que resultaram em sentena de priso perptua.
Os casos em estudo consistem em todos os casos capitais
da Carolina do Sul ocorridos aps a promulgao da Lei
de Melhorias Gerais da Justia Criminal da Carolina do Sul
em 1986, at o final das entrevistas no vero de 1993. (...)
Um total de 153 entrevistas presenciais foram feitas por
entrevistadores treinados para trabalhar com o instrumento
de entrevista de cinquenta e uma pginas. (...) Jurados foram
entrevistados aps sua participao, no antes.113
Apesar dos esforos louvveis dos autores para explicar seus pro-
cedimentos de pesquisa, nenhum desses estudos replicvel: outro
pesquisador no conseguiria reproduzi-los sem conversar com os
autores. Isto bvio no caso do ensaio de Mann. Como ele no for-
nece uma definio de indivduos responsveis, no temos como
determinar que identificaramos o mesmo tipo de indivduos res-
ponsveis que ele identificou. Poderamos inferir uma definio a
partir de sua lista de pessoas, mas como seis dos vinte e trs pediram
anonimato, isso seria arriscado. Alm disso, enquanto Mann nos for-
nece as categorias de empresas entre as quais ele escolheu sua
49 [sumrio : notas]
amostra, ele no nos diz como selecionou empresas especficas

dentre as dessas categorias. Completamente consistentes com sua
descrio so as estratgias de escolha aleatria das empresas (e, por-
tanto, provavelmente no relacionada a nenhuma outra varivel), a
baseada em onde Mann vive (e, portanto, conveniente para ele,
porm provavelmente enviesada de maneiras indeterminadas),
baseada nas estratgias de concesso e pedido de emprstimo das
companhias (e, portanto, enviasada a favor de inferncias sobre essas
estratgias), ou na base de quo amigveis foram as empresas para o
pesquisador (e, portanto, possivelmente enviesada em favor de
empresas com melhores departamentos de relaes pblicas). A esco-
lha entre tais estratgias poderia produzir quase qualquer resultado
emprico e, portanto, sem a delineao explcita dos critrios de sele-
o utilizados por Mann, os leitores no podem saber como ele
realizou seu estudo e, desse modo, no podem ver a relao entre
seus dados e a meta de suas inferncias. O resultado desta falta de
replicabilidade, portanto, um conjunto de concluses que tm
pouco embasamento emprico conhecido: elas podem se aplicar s
companhias que ele escolheu, mas os leitores no podem avaliar se
elas se aplicam populao de companhias que sejam de interesse.
A falta de replicabilidade menos aparente no estudo da equipe
de Eisenberg, mas no menos problemtica. Para enxergar por que,
pense em quais informaes um investigador precisaria saber, mas
que os autores no fornecem, para replicar o trabalho deles. Uma
lista parcial inclui:
(1) O que os autores querem dizer com amostra selecionada alea-

toriamente? Como eles obtiveram os nmeros aleatrios? Foi
uma amostra aleatria simples com igual probabilidade de
seleo, uma amostra estratificada ou outra coisa?114
50 [sumrio : notas]
(2) Como eles abordaram os jurados? Eles disseram a eles que

estavam fazendo um estudo sobre a responsabilidade dos jura-
dos? Quantas vezes foi cada jurado contatado, e em que ponto
os autores desistiram? Foram os jurados contatados pessoal-
mente ou por telefone? Algum do mesmo gnero e raa
contatou cada um dos jurados?
(3) O que significa um objetivo de entrevistar quatro jurados por

caso? Se eles no conseguiram quatro, como os autores pro-
cederam? Se mais de quatro se voluntariaram, foram todos
entrevistados? Os jurados que foram por fim contatados foram
aqueles que se sentiram responsveis por sua deciso e von-
tade para falar sobre isso? Qual foi a taxa de recusa?
De maneira mais geral, como os autores foram de uma populao

de 516 jurados (quarenta e trs casos com doze jurados cada) para
uma amostra de 153? De que forma os 153 diferem-se dos 363 res-
tantes? Se a equipe de Eisenberg tivesse total liberdade na escolha
de sua amostra, isso poderia ter produzido vieses de quase todos os
tipos e, como resultado, chegado a praticamente qualquer conclu-
so. Se ns pudssemos escolher qualquer mtodo de amostra,
provavelmente poderamos facilmente reverter as concluses do
artigo. evidente que o mundo real no sempre to malicioso,
mas, s vezes, o . E o nus da prova na pesquisa emprica est sem-
pre com o pesquisador.115
O estudo da equipe de Eisenberg se baseia em evidncias quan-
titativas. Entretanto, a regra de que a pesquisa emprica deve ser
replicvel se aplica com a mesma intensidade em estudos baseados
em evidncias no numricas. Em vrios, talvez na maioria dos
casos, juristas que conduzem esses tipos de investigaes raramente
51 [sumrio : notas]
fornecem sequer uma pista de como eles coletaram as evidncias. O

ensaio de Sklansky sobre o novo originalismo116 e o de Black sobre
a regulamentao estatal dos partidos polticos117 so exemplos, mas
h outros estudos doutrinrios que so igualmente negligentes em
fornecer ao leitor diretrizes suficientes para replicar a anlise. Ns
raramente aprendemos:
(1) Como os autores apuraram a jurisprudncia relevante118 e qual

foi precisamente a populao da qual extraram sua amostra;
(2) Como os autores selecionaram seus casos e quantos eles leram;
(3) Como os autores distinguem casos chave ou alguns casos-

exemplo daqueles que no so centrais ou tpicos.
Podemos levantar questes semelhantes sobre a anlise das inten-

es do legislativo ou dos constituintes que continuam presentes
nls peridicos jurdicos. Considere o trabalho de 1999 de Engel, The
McCulloch Theory of the Fourteenth Amendment, o qual argumenta:
[No caso City of Boerne vs. Flores,119 a Suprema Corte]

equivocou-se ao considerar a esfera judicial como o intrprete
ltimo da dcima quarta emenda da Constituio dos Estados
Unidos. Mesmo que a Suprema Corte possua a ltima palavra,
a interpretao judicial obscurece a convico do constituinte de
que seria o Congresso, e no as cortes, que seriam os primeiros
leitores, e os principais executores, da dcima quarta emenda.120
Para fazer tal afirmao, Engel conta (em grande parte) com evi-
dncias histricas selecionadas do registro de debates de congressistas
52 [sumrio : notas]
sobre Emendas Constitucionais da Guerra Civil. Mesmo no havendo

nada de errado com esta estratgia, ela ao menos na forma como
Engel a implanta completamente irreplicvel. Ele, como muitos
que conduzem este tipo de anlise, nunca indica aos leitores como
pesquisou os materiais do Congresso, quantos debates leu e se o
material citado representa acontecimentos chave, algumas passa-
gens exemplificadoras ou uma amostra sistemtica de um tipo
especfico (em outras palavras, selecionadas com regras conhecidas
e aplicadas uniformemente).121
Por que esta documentao um passo to requerido ao realizar
pesquisa emprica, independente de se o trabalho tem natureza quan-
titativa ou qualitativa? H duas respostas para esta pergunta, sendo
a primeira centrada na habilidade de terceiros de avaliar a pesquisa
e suas concluses. Em um sentido amplo, o objetivo do padro de
replicao garantir que um trabalho publicado seja auto-sufi-
ciente, de maneira que os leitores possam absorver o que ele tem a
oferecer, sem que se faam necessrias quaisquer conexo, infor-
maes adicionais ou crenas sobre o status ou a reputao do autor.
O padro de replicao mantm o inqurito emprico acima do nvel
dos ataques ad hominem aceitao incondicional dos argumentos
de autoridades.
Para entender como a no obedincia da regra impacta a nossa
habilidade de avaliar o trabalho em seu prprio mrito, retornemos
o estudo da equipe de Eisenberg sobre a responsabilidade dos jura-
dos.122 Baseados em suas entrevistas com uma amostra aleatria
de indivduos que serviram como jurados em casos capitais, os
investigadores chegam seguinte concluso:
Descobrimos que a maioria dos jurados aceita a

responsabilidade funcional pela deciso de condenao
53 [sumrio : notas]
capital, embora uma minoria significativa no o aceite.

A maioria dos jurados entende e conhece o papel fundamental
que possui ao sentenciar o ru vida ou morte. No entanto,
crenas que no podem ser facilmente mudadas limitam o grau
segundo o qual os jurados se percebem como causadores da
sentena do ru. Os jurados vem os rus como essencialmente
responsveis por causarem a sequncia de acontecimentos que
levam deciso de condenao e no acreditam que a maioria
das sentenas de pena de morte sero executadas.123
Como acabamos de destacar, os procedimentos que a equipe de

Eisenberg invoca para fazer tais afirmaes sobre o mundo real no
so transparentes. Lembre-se, por exemplo, da primeira frase da
descrio de seus procedimentos jurados de quarenta e trs casos
de homicdio na Carolina do Sul foram aleatoriamente seleciona-
dos, com o objetivo de quatro entrevistas de jurados para cada
caso.124 Ns suscitamos a questo, entre outras, de como a equipe
de Eisenberg abordou os jurados.125
Suponhamos que a equipe de Einsenberg, em resposta s nossas
preocupaes, tenha reescrito a descrio de seus procedimentos,
com as trs primeiras frases agora sendo:
Jurados de quarenta e trs casos de homicdio na Carolina do Sul

foram aleatoriamente selecionados com o objetivo de quatro
entrevistas de jurados por caso. Ns iniciamos por contatar, em
ordem alfabtica, os jurados de todos os casos capitais da
Carolina do Sul. Ns dissemos a eles que estvamos realizando
um estudo sobre se os jurados se responsabilizam por suas
decises. Tambm dissemos a eles que queramos entrevist-los,
com a inteno de completar um questionrio de cinquenta e
54 [sumrio : notas]
uma pginas. Se no recebssemos resposta, tentaramos

novamente mais trs vezes. Se um jurado se recusasse ou no
respondesse, seguiramos ao prximo na lista. Coletamos trinta
e quatro fragmentos de informao do registro pblico sobre os
jurados que no completaram nosso questionrio e efetuamos
uma anlise, que reproduzimos abaixo, indicando que aqueles
jurados que entrevistamos eram similares em todos os aspectos
mensurveis queles que no entrevistamos.
Com este novo conhecimento sobre como os pesquisadores

contataram e selecionaram os jurados, ns iramos avaliar e inter-
pretar seus resultados de uma forma diferente? Provavelmente sim.
Poderamos concluir que ao menos algumas de suas descobertas
originais eram inteiramente previsveis ou, ainda mais relacionado
ao ponto, poderamos questionar se os resultados nos trazem qual-
quer coisa significativa sobre o mundo real, dados os bvios vieses
de sua amostra. O fato que mesmo a melhor pesquisa emprica
pode ser inadvertidamente afetada por centenas de fatores deso-
rientadores. Identificar aqueles sobre os quais temos conhecimento
o mnimo que podemos fazer para reduzir nosso vis.
O mesmo, claro, poderia ser dito do estudo de Engel sobre as
intenes dos constituintes da dcima quarta emenda.126 Suponha
que o autor descrevesse seu procedimento da seguinte forma:
Aps ler a deciso da Suprema Corte em Boerne, eu estava

aflito. Pareceu-me que os juzes, assim como tantos outros
estudiosos do direito constitucional, equivocaram-se ao
considerar a esfera judicial como o intrprete ltimo da dcima
quarta emenda. Para provar este argumento, fui a debates no
Congresso sobre as emendas constitucionais da guerra civil.
55 [sumrio : notas]
Analisei somente comentrios e rascunhos que indicassem que

eu estava certo em me sentir aflito.
Evidentemente, tal afirmao cmica. Nenhum acadmico

jamais escreveria tais palavras. Mas os acadmicos procedem assim
sem revel-lo? Para responder a esta pergunta, os leitores precisam
saber exatamente o que foi feito na prtica, de modo a poder decidir
o que merece nossa ateno, o que vale pesquisa futura e o que faz
sentido para embasar polticas pblicas. Nada no artigo de Engel
fornece aos leitores os procedimentos que ele utilizou para escolher
dentre a vasta quantidade de evidncias histricas disponveis, de
forma que impossvel saber se nossa descrio hipottica do seu
modus operandi no precisamente como ele procedeu. (E se ele
o tivesse feito, ns certamente interpretaramos suas descobertas
sob outra tica). Tal como foi, os leitores no tm qualquer ideia
de como interpretar os resultados dele, a no ser por um ilegtimo
apelo a sua autoridade e reputao. Isto precisamente aquilo que
o padro de replicao foi criado para evitar.
Isto nos leva segunda razo pela qual insistimos que os acad-
micos tornem pblicos os seus procedimentos: tais procedimentos
podem, e, na maioria das vezes, vo, influenciar os resultados rela-
tados na pesquisa. Qualquer procedimento que a equipe de
Einsenberg tenha utilizado para escolher sua amostra levou-os a
selecionar alguns jurados e excluir outros. Como eles basearam
seus resultados em respostas de jurados a perguntas de entrevista,
um outro procedimento de seleo que teria excludo algum dos
jurados que eles entrevistaram e includos alguns no entrevistados
poderia levar a resultados completamente diferentes. O mesmo
verdade para a investigao de Engel e para qualquer estudo que
busque fazer alegaes ou inferncias sobre o mundo real.
56 [sumrio : notas]
Um dos pontos implcitos da nossa discusso sobre o padro de

2. A pesquisa um empreendimento social
replicao que o autor da pesquisa totalmente irrelevante ou, na

terminologia de certas escolas de pensamento humanistas, morto.
Seus atributos, reputao ou status no so importantes; frases que
comeam com eu acho ou eu acredito so irrelevantes. O impor-
tante a sua contribuio literatura acadmica, tarefa comum ou
empreendimento social de aprender sobre o mundo.
O fato de tal diretriz agora aplicar-se a todos aqueles realizando
pesquisas empricas representa uma mudana monumental na men-
talidade. H muito tempo, acadmicos trabalhavam muito mais
frequentemente isolados, e, durante tal perodo, alguns produziram
descobertas brilhantes sobre as quais ningum jamais soube. Outros
cometeram erros que permaneceram incorretos por dcadas, efeti-
vamente desperdiando toda carreira deles. Progresso ou um
acmulo de conhecimento era raro. A razo pela qual os acadmicos
agora se agrupam em universidades no necessariamente porque
gostam um dos outros; porque o resultado de seus trabalhos torna-
se muito melhor em consequncia disto. Atualmente, o avano do
conhecimento depende de uma comunidade ativa de acadmicos
trabalhando juntos cooperativa e competitivamente.
Nesse sentido, acadmicos da maioria dos departamentos de uni-
versidades e faculdades concorrem ainda que no necessariamente
aqueles de faculdades de direito. Enquanto juristas parecem pensar
o ensino como um empreendimento social,127 eles aparentemente
no sentem o mesmo sobre a sua produo acadmica. Ou, ao
menos, rumores de seu desinteresse so abundantes. Como mencio-
namos acima, a maioria, se no toda, produo acadmica jurdica
viola a regra da replicao, sem a qual a maior parte das vantagens
de uma comunidade intelectual no tem fundamento. Os juristas
57 [sumrio : notas]
podem ser meticulosos em relao documentao das fontes tex-

tuais de informao atravs das onipresentes notas de rodap,128
mas eles no so particularmente atentos necessidade de documen-
tar seus procedimentos quanto aos dados, nem, como apressamo-nos
a anotar, estabeleceram procedimentos para garantir a necessria
ateno ou repositrios (pblicos ou privados) para seus dados. Tais
lapsos so acentuadamente contrastantes com muitas disciplinas
cognatas. Na cincia poltica, por exemplo, o peridico de maior
destaque, a American Political Science Review, especifica:
[A]utores devem descrever seus procedimentos empricos com

detalhamento suficiente para permitir aos revisores entender
e avaliar o que foi feito e, caso o artigo seja aceito para
publicao, para permitir que outros acadmicos conduzam
anlises similares sobre outros conjuntos de dados. Por
exemplo, para pesquisas de survey, ao menos os procedimentos
de amostragem, as taxas de resposta e os textos das questes
devem ser apresentados; autores so incentivados a calcular
as taxas de respostas de acordo com uma das frmulas padro
encontradas em The American Association for Public Opinion
Research, Standard Definitions: Final Dispositions of Case
Codes and Outcome Rates for RDD Telephone Surveys and
In-Person Household Surveys. Para os experimentos, estes
devem fornecer descries completas dos protocolos
experimentais, dos mtodos para recrutamento e seleo
de pessoas, informaes sobre quaisquer pagamentos e
procedimentos de relatrio, e outros detalhes relevantes.
desejvel que os artigos sejam autnomos e que os autores
no direcionem os leitores a outras publicaes para
descries destes procedimentos bsicos de pesquisa.129
58 [sumrio : notas]
O Political Analysis, um importante peridico sobre mtodos

empricos, possui um conjunto de requisitos para replicao ainda
mais rgido:
Autores de artigos quantitativos para a Political Analysis devem

indicar, na primeira nota de rodap, em qual arquivo pblico os
leitores podem encontrar os dados, programas, recodificaes
ou outras informaes necessrias a fim de replicar os resultados
numricos de seus artigos. Os autores talvez considerem o
Publication-Related Archive da Inter-university Consortium
for Political and Social Research (ICPSR) um lugar
conveniente para depositar seus dados. Esse conjunto de dados
para replicao, junto com qualquer outro tipo de material
auxiliar que se queira submeter (como apndices, anlises
adicionais, tutoriais interativos na web, etc.), tambm sero
publicados no site da Political Analysis. Autores que preferirem
um perodo de embargo antes do lanamento pblico devem
consultar o editor. Autores cujos trabalhos baseiam-se em dados
qualitativos so incentivados a escrever uma nota de rodap
comparvel que facilite a replicao, quando possvel. Como
sempre, os autores so aconselhados a retirar de seus conjuntos
de dados informaes que devem permanecer confidenciais, tais
como os nomes dos entrevistados em suas pesquisas.130
Ademais, muitos cientistas sociais ou projetam seus prprios

arquivos para conjuntos de dados por eles criados ou depositam seus
dados e documentao em arquivos pblicos.131 Eles trabalham a
fim de garantir observncia das polticas dos peridicos, como aque-
las da American Political Science Review e da Political Analysis,132
bem como das condies que a National Science Foundation impe
59 [sumrio : notas]
para toda concesso de auxlio finnaceiro: Todos os conjuntos de

dados elaborados com o auxlio deste programa de fomento devero
ser arquivados em uma biblioteca de dados aprovada pelo Gestor do
Programa competente, at um ano aps a data do trmino da ajuda
financeira.133 Muitos outros peridicos e agncias de fomento, por
todas as cincias naturais e sociais, possuem polticas similares, mas
poucas existem no campo jurdico.
Outro sinal de indiferena em relao a tal diretriz a falta de
colaborao na academia jurdica. Ainda que se possa reconhecer
que a pesquisa emprica um empreendimento social mesmo sem
que se colabore em projetos de pesquisa especficos, muitos ramos
da comunidade acadmica conhecem o valor e as vantagens das
realizaes conjuntas. Por exemplo, das cinquenta e duas ajudas
financeiras concedidas pela Political Science Program of the Natio-
nal Science Foundation em 2000, 60% (n = 31) foram dados a
projetos com colaborao.134 Uma anlise de trs dos principais
peridicos da disciplina, a American Political Science Review, o
American Journal of Political Science e o Journal of Politics, con-
clui que a percentagem de artigos com mltiplos autores, em
conjunto, aumentou sete vezes desde os anos 1950, e quase metade
dos artigos atualmente so de mltipla autoria.135 Um estudo mais
amplo feito pela National Science Foundation considera que, entre
os campos das cincias e engenharias (no ingls, S&E), [a] pro-
poro de artigos cientficos e tcnicos dos Estados Unidos com
autores institucionais mltiplos continuou a aumentar. Em 1997,
57% de todos os artigos S&E tiveram mltipla autoria, comparados
aos 49% da dcada anterior.136 Em contraste, apenas 5% dos 162
artigos publicados em seis dos principais peridicos americanos
(Chicago, Columbia, Harvard, NYU, Stanford e Yale) em 2000
foram produtos de um esforo conjunto.137
60 [sumrio : notas]
Um terceiro sinal a recusa da comunidade acadmica jurdica

em submeter artigos enviados para as mais prestigiadas publicaes
a qualquer forma de reviso paritria annima, preferindo deixar a
tarefa de reviso a estudantes de direito. A maioria dos acadmicos
de fora das faculdades de direito, ao ouvir tal fato, ficam atnitos
com tal deciso organizacional.138 Pois eles sabem que, enquanto
fcil enganar-se (ou aos estudantes de direito, como for o caso) a
acreditar que se produziu um importante resultado de pesquisa, bem
mais difcil enganar, mesmo que sem inteno, uma comunidade
de especialistas que passaram a vida trabalhando em problemas
semelhantes. Eis por que os peridicos de maior prestgio em pra-
ticamente todos os outros campos acadmicos, so revisadas por
pares e, frequentemente, revisados em duplo anonimato em outras
palavras, tanto os autores quanto os revisores desconhecem a iden-
tidade um do outro. Este ltimo fator reduz a possibilidade de que
o status ou a reputao do autor se torne parte do processo de ava-
liao de seu trabalho, o que exatamente aquilo que os acadmicos
tm acusado editores estudantes de considerar por demais em suas
selees de artigos.139
Ns poderamos identificar outros sinais, mas a ideia geral que
no se pode perder: a falta de reconhecimento de que a pesquisa
um empreendimento social um problema para as faculdades de
direito. Como isso gera um grande desperdcio de esforos dos
juristas, ns dedicamos a concluso deste livro a oferecer sugestes
de como as faculdades de direito e seus corpos docentes podem
comear a se alinhar com o restante da academia e beneficiar-se da
construo de uma comunidade acadmica. Como explicamos, nor-
mas nicas e coletivas na comunidade jurdica podem tornar
possvel alcanar rapidamente, ou at mesmo superar, os padres
de pesquisa existentes no restante da academia.
61 [sumrio : notas]
3. Todo o conhecimento e toda a inferncia
Ao final de seu artigo sobre os custos e efeitos da regra de excluso

na pesquisa incerto.
(exclusionary rule),140 Perrin e seus colegas afirmam, inequivoca-

mente, [N]osso estudo confirma ... [que] a regra de excluso no
previne efetivamente o comportamento imprprio dos agentes poli-
cias. De fato, na rea dos subterfgios policiais, ela estimulou ms
condutas.141 O artigo de Fisher sobre o crescimento de acordos
entre acusao e defesa o conduz seguinte afirmao:
Sustentado apenas pelo desejo dos promotores de administrar

sua esmagadora carga de trabalho e de obter uma condenao
sem grandes esforos, os acordos entre defesa e acusao no
se estenderam alm do poder de condenao dos promotores...
Em meados do sculo dezenove, os acordos entre defesa e
acusao alcanaram uma posio destacada, a forma on-file
de acordo entre defesa e acusao, foram expostos aos
promotores pela casualidade procedimental de os juzes no
poderem prolatar uma sentena at que a promotoria assim
procedesse. Neste ponto, o progresso de tais acordos pode ter
estagnado, pois o poder de condenao dos promotores no se
estendia muito alm.
Ento, no ltimo quarto do sculo dezenove, os juzes se viram
confrontados por um grande volume de novas e mais complexas
demandas judiciais, trazido pelos devastadores maquinrios
industriais. A eles no restou opo seno aceitar a nova ordem
nos tribunais criminais. Eles adotaram os acordos entre defesa e
acusao e direcionaram seu poder de sentena para este fim.
Sustentado agora pelos dois mais poderosos patronos de
tribunais, os acordos entre defesa e acusao tornaram-se
62 [sumrio : notas]
rapidamente a fora dominante nos processos criminais.

Colocaram de lado a sentena indeterminada e apoiaram
instituies que auxiliavam sua causa, como liberdade
condicional e a defensoria pblica. Por fim, o acordo entre
defesa e acusao tornou-se to impregnado aos meandros
do poder que hoje, mesmo que seus patronos dividam seus
despojos de diferentes formas, ele no pode mais crescer. Pois
o acordo entre defesa e acusao venceu.142
Da mesma forma, Shaffer, em sua anlise do alcance da Clu-

sula dos Privilgios ou Imunidades da dcima quarta emenda,
argumenta que as evidncias conclusivamente apontam para o
seguinte: A Clusula no oferece uma justificativa para consagrar
quaisquer direitos substantivos que no aqueles claramente e
incontestavelmente emplacados no esprito constitucional coletivo
dos Estados Unidos.143
Mesmo se todos os autores dessas citaes seguissem todas as
demais sugestes que oferecemos em relao pesquisa emprica
(o que eles no fazem),144 traar concluses com o grau de certeza
demonstrado em seus artigos seria ainda assim injustificvel. Pois
uma premissa bsica de toda a pesquisa emprica e de fato de
qualquer teoria sria de inferncia a de que todas as concluses
possuem um grau de incerteza. Afinal, os fatos que conhecemos
relacionam-se aos fatos que no conhecemos, mas gostaramos de
conhecer, somente por suposies que jamais poderemos verificar
completamente.
O objetivo no qualificar todas as afirmativas por exemplo,
trocando tenho certeza por tenho alguma certeza mas sim esti-
mar o grau de incerteza145 inerente a cada concluso e relatar esta
estimativa junto a cada concluso. Muitos procedimentos estatsticos
63 [sumrio : notas]
trazem consigo medidas formais de incerteza. Se a pesquisa tem

natureza qualitativa, ou se no evidente como estimar a incerteza,
contudo, uma medida til encontrar o elo mais fraco na cadeia de
argumentao a parte do argumento que se apia na evidncia
emprica mais fraca ou que mais susceptvel de ser atacada. Em
outras palavras, identificar o elemento de evidncia mais fraco
compilado pelo pesquisador e que, se modificado, permitiria ao lei-
tor ou ao pesquisador deduzir que a concluso alcanada no estudo
est errada. O grau de apoio que pode ser reunido para este ele-
mento de evidncia uma medida da incerteza das concluses.
Para perceber isso, considere o estudo de Schuck e Elliott que
busca avaliar a seguinte poro do conhecimento convencional: os
tribunais eram deferentes s agncias administrativas em 1960,
mas tornaram-se menos deferentes na poca do hard look dos anos
1970, e ento voltaram para uma postura moderadamente deferente
nos anos 1980.146 Para avaliar este conhecimento convencional,
os investigadores consideraram os resultados de casos das cortes
de apelao em 1965, 1975 e 1984-85. A Figura 2 apresenta suas
descobertas acerca dos percentuais de casos que as cortes ratifica-
ram (isto , o percentual em que houve deferncia para a agncia).
Os dados, como Schuck e Elliott relatam, parecem contradizer o
conhecimento convencional, que prediria uma menor taxa de rati-
ficaes em 1975 do que em 1965 ou 1984-85.147 Mas quo certos
poderiam eles ou ns estarmos sobre esta concluso?
64 [sumrio : notas]
fIGuRA 2:
PORCENTAGEM DE RATIFICAES REPORTADAS EM SCHUCK E ELLIOT148
90,0% PORCENTAGEM EM RELAO AO ANO
80,0%
70,0%
60,0%
50,0%
40,0%
30,0%
20,0%
10,0%
0,0%
1965 1975 1984-85
Para responder a essa questo, comeamos por afirmar que,

ainda que este seja um estudo quantitativo, muitos fatores qualita-
tivos produzem seus nmeros.149 Em especial, os autores efetuaram
uma grande quantidade de codificao de decises, as quais pos-
suam diferentes nveis de justificativa. Pensemos apenas sobre um
dos resultados dessas decises, uma pequena evidncia, por exem-
plo os dados de 1965, e perguntemo-nos o que poderamos concluir
se o valor fosse 75% e no 55,1%. (Escolhemos 75%, pois dados
pblicos do Setor Administrativo das Cortes dos Estados Unidos,
como os prprios Schuck e Elliott afirmam, esto de acordo com
seus dados em 1975 e 1984-85, mas diferenciam-se exatamente por
este valor no ano de 1965).150 Se o nmero fosse de fato 75%,
65 [sumrio : notas]
poderamos pensar que o conhecimento convencional estava certo

e que Schuck e Elliot estavam errados. No mnimo, questionaramos
se os pesquisadores devem ou no alcanar concluses definitivas,
ou mesmo concluses quase-definitivas, pois as incertezas que cer-
cam os resultados acabam por depender totalmente da validade de
seu esquema de codificao e do nmero resultante. Esta no uma
medida formal de incerteza, mas ns, leitores, podemos examinar
as justificativas dos autores e decidir por ns mesmos.
Podemos aplicar a mesma lgica ao estudo de Schultx e Petter-
son sobre como os tribunais responderam defesa da falta de
interesse nos casos de discriminao de sexo e gnero do Ttulo
VII.151 A Tabela 3 apresenta a resposta que eles relatam.
TABELA 3:
TAxA DE SUCESSO DOS AUTORES EM CASOS ABORDANDO A FALTA DE DEFESA
INTERESSADA, POR RAA E GNERO AO LONGO DO TEMPO, COMO RELATADO
EM SCHULTz AND PETTERSON152
PERODO RAA GnERO
TAxA DE nmERO TAxA DE nmERO

SuCESSO (%) DE CASOS SuCESSO (%) DE CASOS
1967-77 86,0 43 54,5 11
1978-89 40,0 20 58,1 43
TOTAL 71,4 63 57,4 54
Estes dados, eles concluem, revelam uma tendncia notvel,

a de que pleitos de discriminao racial tornaram-se substancial-
mente menos provveis de prevalecer quando h argumento de falta
66 [sumrio : notas]
de interesse desde o final dos anos 1970.153 Da mesma forma, eles

dedicam uma grande parcela do artigo a explicar esta tendncia.
Mas isso realmente to notvel? Talvez no, pois podemos alte-
rar radicalmente as concluses alcanadas por Schultz e Petterson
(1) se assumirmos que todas as doze perdas ocorridas no perodo de
1978 a 1989 de fato ocorreram entre 1978 e 1980 e (2) se transpor-
tarmos essas perdas para novas categorias de dados (1967 ou 1980).
A Tabela 4, portanto, possvel (ainda que projetada com extremas,
mas plausveis, suposies) dadas as informaes providas no artigo.
Infelizmente, como os dados no esto atualmente disponveis publi-
camente ou atravs dos autores,154 no temos como saber ao certo.
O que sabemos que, ao que parece, como mostra a Tabela 4, os plei-
tos raciais tornaram-se, com o tempo, mais provveis de vencer, no
menos. Ento, a validade das concluses de Schultz e Petterson, e o
grau de certeza que os leitores devem ter em seus resultados, depende
diretamente em nossa confiana de que um conjunto ou apresentao
alternativa de seus dados no mudaria tambm seus resultados.
TABELA 4:
TAxA DE SUCESSO DOS AUTORES EM CASOS ABORDANDO A FALTA DE DEFESA
INTERESSADA POR RAA E GNERO AO LONGO DO TEMPO: UM REAGRUPAMENTO
HIPOTTICO DOS DADOS DE SCHULTz E PETTERSON, CONSISTENTE COM A TABELA 3
PERODO RAA GnERO
TAxA DE nmERO TAxA DE nmERO

SuCESSO (%) DE CASOS SuCESSO (%) DE CASOS
1967-80 67,2 55 54,5 11
1981-89 100,0 8 58,1 43
TOTAL 71,4 63 57,4 54
67 [sumrio : notas]
Os estudos que consideramos at o momento baseiam-se princi-

palmente em dados numricos, mas as mesmas lies gerais se
aplicam queles de natureza mais qualitativa. Lembre-se do artigo
de Schaffer alcanando a concluso certa de que os constituintes
no tinham a inteno de que a Clusula dos Privilgios ou Imuni-
dades servisse como um dispositivo para tecer novos padres no
texto de nossa Constituio155 e considere uma das evidncias
que o autor invoca para apoiar sua afirmao: os comentrios feitos
por membros do comit conjunto de congressistas que escreveram
a clusula. Agora suponha que o presidente do comit, John
Bingham, ao invs de discursar (como Schaffer resume) elabo-
rando sua postura de que em geral a Emenda e, em particular, a
Clusula garantiriam expressamente direitos tacitamente j se
entende existirem, mas que estejam sujeitos violao por estados
isolados, tivesse afirmado o seguinte: a Emenda como um todo e,
em especial, a Clusula deveriam expressamente garantir os direitos
que tacitamente j se entende existirem, mas que estejam sujeitos
violao por estados isolados,156 bem como aqueles direitos subs-
tantivos novos ou que estejam em evoluo. Certamente esta
mudana teria feito com que Schaffer ficasse um pouco mais cir-
cunspecto. E mesmo para ns, os consumidores, a extenso na qual
Bingham pode plausivelmente ter feito sua outra afirmativa uma
forma de averiguar o grau de incerteza das concluses do autor.
68 [sumrio : notas]
III.
ELABORAO DE umA PESquISA
EmPRICA: UM PROCESSO DINMICO DE
ACORDO COM PADRES ESTABELECIDOS
Independentemente de o pesquisador basear-se em evidncias

numricas ou no-numricas, existem regras que podem aperfeioar
cada componente da elaborao da pesquisa Perguntas de Pes-
quisa, Teorias e suas Implicaes Reais, Hipteses Rivais, Medidas
e Estimativas, Seleo de Observaes que sero articuladas nas
partes seguintes. Antes de faz-lo, dois comentrios gerais se fazem
necessrios. Primeiro, os pesquisadores no devem considerar seus
projetos apenas como processos mecnicos singulares dos quais eles
no podem se desviar. Muito pelo contrrio, eles devem possuir uma
mente flexvel para superar maneiras antigas de se ver o mundo para
formularem novas perguntas, para revisarem seus projetos quando
necessrio e para coletarem mais (ou diferentes) informaes do que
haviam planejado. Pode ser que, depois de reunir as evidncias que
o projeto requer, o pesquisador encontre discrepncia entre as evi-
dncias, os principais questionamentos da pesquisa e a teoria. Em
vez de apagar meses ou at anos de trabalho, o investigador certa-
mente deveria retornar mesa de trabalho e elaborar procedimentos
mais apropriados, ou mesmo reformular a pergunta original da pes-
quisa. De fato, frequentemente, quando os pesquisadores descobrem
que as informaes tornaram-se inconsistentes com a hiptese, eles
imediatamente vem uma nova hiptese que aparentemente explica
os resultados empricos outrora anmalos.157
Reconhecer esse novo modo de olhar os fatos o que se quer dizer
com ser flexvel. Isso no significa que os pesquisadores devem
fazer um ajuste ad hoc ou post hoc das teorias para se adaptarem a
69 [sumrio : notas]
III. ELABORAO DE umA PESquISA EmPRICA: UM PROCESSO DINMICO DE ACORDO COM PADRES
idiossincrasias. Ns no podemos nos enganar pensando que os

ajustes feitos para harmonizar teoria com dados constituem uma
confirmao da teoria. Eles no a confirmam. A confirmao requer
vulnerabilidade; contnuos ajustes post hoc a uma teoria garantem
que ela nunca est sujeita ao erro. Enquanto utilizar insights das
informaes pesquisadas uma boa maneira para desenvolver teo-
rias, os pesquisadores deveriam consultar um novo conjunto de
dados, ou consequncias imprevistas e diferentes da teoria, pass-
veis de serem testadas, dentro do mesmo conjunto de dados, antes
de conclurem que estes dados confirmam suas teorias.
por isso que vemos a realizao da pesquisa emprica como
um processo dinmico de investigao que ocorre dentro de uma
estrutura estvel de regras. Todavia, e isso nos leva ao segundo
ponto, os pesquisadores deveriam trabalhar para melhorar seus pro-
jetos antes de realmente realizarem um estudo completo.
Considerando que at mesmo os melhores projetos ocasionalmente
caem por terra depois que o pesquisador coleta as primeiras infor-
maes, recomenda-se que os juristas trabalhem sequencialmente:
renam aqueles primeiros dados e considerem se eles so compa-
tveis com a pergunta da pesquisa e com as hipteses. Se no forem,
talvez eles queiram repensar suas expectativas, mas, mais prova-
velmente, eles vero que o tipo de evidncia que eles pretenderam
coletar no to adequado para responder pergunta da pesquisa
quanto eles esperavam.
70 [sumrio : notas]
IV.
A PERGunTA DE PESquISA
Presumimos que a maioria dos leitores deste livro possui perguntas

de pesquisa s quais gostariam de responder, perguntas que gostariam
que algum respondesse, ou uma resposta a uma pergunta que gos-
tariam de avaliar. Por isso, no precisamos dizer muito sobre como
juristas desenvolvem perguntas de pesquisa.158 O que requer expli-
cao so os dois requisitos que boas perguntas de pesquisa exigem:
elas contribuem ao conhecimento existente e possuem alguma impor-
tncia para o mundo real.159 Cada requisito ser objeto de uma das
sees seguintes.
Muito embora seja grande a importncia desses critrios, ns reco-
nhecemos que muitas das perguntas formuladas por acadmicos e
por outras pessoas sobre fenmenos jurdicos no alcanam esses
padres. Entretanto, isso no particularmente problemtico. Inves-
tigadores podem realizar rigorosas pesquisas empricas sobre
qualquer questo, no importando o quo restrita ela possa ser, no
importando se eles so os nicos interessados nela e no importando
se ela praticamente no possua implicaes para o mundo real. Por
outro lado, os analistas podero responder melhor s perguntas se
eles puderem motivar os membros de sua comunidade acadmicos
ou autoridades, ou ambos a tomar parte na sua pesquisa. A expli-
cao disso remete ao ponto levantado no Captulo I: a pesquisa
emprica um empreendimento social. Um pesquisador individual
muito mais propenso a alcanar seus objetivos, mesmo que restritos,
quando elabora suas perguntas de pesquisa de um modo que atraia o
interesse dos outros. Trabalhar em tais projetos tambm um bom
conselho de carreira, mas uma das razes pelas quais esse conselho
frequentemente dado em primeiro lugar (e a razo pela qual ele
71 [sumrio : notas]
IV. A perguntA de pesquisA
deveria continuar sendo dado) para fomentar o desenvolvimento

de uma comunidade de pesquisa, de modo que todos ns possamos
alcanar melhor nossos objetivos.
Sucintamente, acadmicos e outros podem escolher ignorar as duas
regras que seguem. Eles podem focar em uma pergunta muito restrita
que abrange o interesse de poucos ou at de ningum mais. Caso eles
optem por fazer isso, agir em conformidade com as outras regras
deste livro vai ajud-los a responder melhor s suas perguntas. Entre-
tanto, seguir as duas regras anteriormente expostas trar o benefcio
de tornar a pesquisa mais confivel; e seus resultados, mais exatos.
Enquanto muitos acadmicos j compreendem a importncia dessas

A. Contribuir pArA A literAturA ACAdmiCA
diretrizes, percebemos que, para outros, isso causa arrepios. Eles

perguntaro: No suficiente que ns direcionemos a pesquisa a
problemas reais? Por pelo menos quatro razes, a resposta no.
Um: a pesquisa emprica um empreendimento social no preci-
samos dizer muito mais a respeito. Porm, as outras trs requerem
certa elaborao.
Primeiro, encontrar um modo de participar do empreendimento
social do conhecimento minimiza as chances de que leitores infor-
mados, e talvez at no-informados, questionem se o pesquisador
est ciente a respeito das atualizaes mais recentes na rea espec-
fica sob anlise. Em outras palavras, o cumprimento dessa regra
aumenta a credibilidade da pesquisa. Porm, de maneira mais impor-
tante, fazer conexes com o que veio antes ajuda os acadmicos a
evitar erros, pular rduas reinvenes de ideias j existentes e encon-
trar implicaes observveis adicionais de suas teorias.
Considere um artigo de 1998 da New York University Law
Review afirmando que at aqui, a teoria da escolha pblica teve
72 [sumrio : notas]
relativamente pouco a dizer sobre o comportamento dos juzes ao

decidirem os casos.160 Segundo os resultados dos artigos e livros
anteriores a 1998 que invocaram a teoria da escolha pblica (ou
alguma de suas variantes),161 essa declarao d uma falsa impresso
aos outros e prejudica a pesquisa contida no artigo. De certo modo,
as citaes deveriam ser to irrelevantes quanto a identidade de seus
autores salvo se as citaes tiverem consequncias, o que elas
geralmente tm. Embora os autores da NYU Law Review sejam bem
integrados comunidade acadmica e frequentemente no cometam
os mesmo erros em seus outros trabalhos ou at em outras partes do
mesmo trabalho, nesse ponto eles esto efetivamente trabalhando
isolados de uma vasta literatura que poderia ajud-los a alcanar seus
objetivos. Rosenberg nos d um exemplo relacionado, de uma pes-
quisa produzida por professores de direito sobre opinio pblica:
Juristas continuamente fazem afirmaes sobre a habilidade do sis-
tema judicial de afetar a opinio pblica, frequentemente com uma
citao aprovadora de Rostow ou Bickel. H, entretanto, literatura
emprica sobre o conhecimento pblico de opinies judiciais que no
apiam essas afirmaes, mas ela nunca citada.162
Esse problema geral parece aplicar-se a muitas pesquisas publi-
cadas nos peridicos jurdicos. Ou assim afirmam alguns estudiosos
de outras reas e, muitas vezes, de forma mais veemente.163 O
comentrio de Baer tpico: Eu juro, se eu tiver que ler mais um
livro de um professor de direito que ignora toda uma lista de rele-
vantes trabalhos de cientistas polticos...164 Graber, um cientista
social graduado em direito, concorda: A gente nunca saberia [pela
literatura jurdica]. . . que houve uma inundao de literatura nas
cincias [sociais] sobre teoria, doutrina, histria e poltica consti-
tucional.165 Embora, como salientado por Graber, seria difcil,
seno impossvel, para os cientistas sociais que escrevem sobre
73 [sumrio : notas]
IV. A PERGunTA DE PESquISA
Constitucionalismo Americano publicar qualquer trabalho que

exiba a mesma ignorncia dos desenvolvimentos produzidos na
academia jurdica que os gigantes de l geralmente exibem sobre
os desenvolvimentos entre aqueles cientistas polticos que estudam
constitucionalismo,166 o contrrio no se confirma. Deveria.
Ainda mais porque a pesquisa isolada difcil de se justificar nessa
poca de Lexis, Westlaw, e outros meios de acesso pela internet
de peridicos de uma ampla gama de disciplinas,167 e em um con-
texto em que h uma comunidade crescente de acadmicos que so
grandes conhecedores de direito.
A segunda vantagem de se engajar na literatura acadmica rele-
vante que isso diminui as chances de se fazer novamente um
trabalho j feito, de se reinventar a roda. Isso no dizer que aca-
dmicos deveriam necessariamente evitar formular as mesmas
questes que outros j formularam, reanalisando as mesmas infor-
maes, ou perseguindo novas formas de olhar para os mesmos
problemas, ou trazendo novas informaes para dar-lhes suporte. ,
ao invs disso, dizer que, se eles esto tratando de questes j exis-
tentes, eles deveriam levar em conta as lies dos estudos anteriores.
Falhar nesse ponto mais que um desperdcio; isso tambm diminui
as possibilidades de que a nova pesquisa seja to bem-sucedida
quanto a original, porque o pesquisador est, de fato, ignorando a
sabedoria coletiva adquirida desde aquele primeiro passo.
Para ver como isso pode ocorrer, considere o estudo feito por
Perrin e seus colegas, no qual os pesquisadores realizaram uma
pesquisa com os agentes de polcia de Ventura County, Califrnia,
com a inteno de responder seguinte questo: quais so os efei-
tos e custos de uma regra de excluso?168 Para ter certeza, os
autores certificaram-se da literatura existente e claramente identi-
ficvel que influenciava a sua pergunta.169 Isto tudo para o bem,
74 [sumrio : notas]
porque mesmo uma obedincia perfunctria nossa sugesto de

que a investigao deve contribuir para a literatura acadmica des-
via o tipo de crticas que dirigimos ao estudo de 1998 da NYU Law
Review.170 Entretanto, isso insuficiente. O cumprimento integral
requer que os pesquisadores levem em conta as lies de estudos
anteriores tantos as suas vantagens quanto os seus defeitos em
seu esforo. E foi nesta dimenso que Perrin e seus colegas pode-
riam ter ido muito mais longe. Na apresentao dos resultados
daquele que foi, por sua prpria confisso, claramente, o estudo
mais aprofundado da regra [de excluso],171 eles observaram que
Oaks, o autor do estudo, estava relutante em fazer comparaes
entre as aes de supresso de evidncia em Washington DC e Chi-
cago. Oaks acreditava que [existem] importantes diferenas nos
sistemas de justia criminal das duas cidades, diferenas to mar-
cantes que comparaes significativas no poderiam ser feitas.172
Mas a moral do estudo de Oaks que as mesmas ou diferentes
caractersticas que distinguem o sistema penal em Washington, DC
e Chicago (...) podem tambm distinguir os sistemas de Ventura
County de todas as outras jurisdies norte-americanas173 no
foi percebida por Perrin e seus colegas. Ao fim de seu estudo, eles
no hesitaram em avanar para alm do seu caso, alegando que
eles tinham confirmado tanto a falta de valor da regra como ele-
mento dissuasivo, quanto os seus elevados custos que a regra
impe sociedade e ao sistema.174
Finalmente, seguir o conselho de que uma pesquisa compreenda
o conhecimento existente garante que algum estar interessado
nos resultados. Afinal, se um conjunto de literatura independente
de quo escasso e subdesenvolvido possa ser est em mos, isso
indica que a questo importante para pelo menos algumas pes-
soas. Atraindo a ateno dos outros, os pesquisadores se beneficiam
75 [sumrio : notas]
e aumentam as chances de que outros investigadores examinem a

sua pergunta de pesquisa, reavaliem suas evidncias por um novo
ngulo, ou introduzam evidncia nova de um problema prximo
parecido resultando disso mais conhecimento certo sobre as preo-
cupaes da comunidade.
Isso, claro, no significa que os acadmicos deveriam necessa-
riamente perguntar precisamente a mesma pergunta que outros. Isso
apenas sugere que sua pesquisa deveria contribuir para, fazer cone-
xes com, ou tentar interessar outras pessoas em uma rea especfica
de investigao. Essa contribuio pode vir de vrias formas: (1) for-
mulando uma pergunta que a comunidade jurdica possa ver como
importante, mas que nenhum outro acadmico abordou; (2) tentando
resolver uma questo que invocou respostas conflitantes; (3) levan-
tando uma velha questo, mas tratando-a de uma forma nica; (4)
coletando novos dados sobre as mesmas implicaes observveis ou
implicaes completamente diferentes175 ou (5) aplicando melhores
mtodos para reanalisar as informaes existentes.176
Essa uma regra sobre a qual no precisamos dizer muito. De todos

B. REALIzAR PESquISAS ImPORTAnTES PARA O munDO
aqueles que apresentamos aqui, esse um dos pontos que a maioria

dos juristas j entendeu, e pode at entender melhor do que alguns
dos seus colegas das cincias exatas e sociais. Nossas pesquisas em
artigos de peridicos jurdicos sugerem que raro o trabalho da
literatura jurdica que no faa uma pergunta que possua ao menos
uma implicao potencial normativa, poltica ou qualquer outra
para o mundo real.177 De fato, as concluses de muitos deles
esforam-se para explicar claramente a natureza de tais implica-
es, especialmente na forma de futuros caminhos que os tribunais,
advogados e legisladores devem seguir.
76 [sumrio : notas]
Para alcanar essas recomendaes, a gama de perguntas de pes-

quisa que juristas podem levantar relativamente ampla. Algumas
se centram no direito nos livros, perguntando se o tribunal chegou
deciso corretamente (sendo o termo corretamente definido
como em consonncia com um precedente j existente, com a inten-
o legislativa, com o simples significado do texto e por a em
diante). O artigo de Levinson sobre a segunda emenda da Consti-
tuio dos Estados Unidos serve como exemplo.178 Ele pergunta
se as decises dos tribunais que sustentam que a emenda estabelece
unicamente um direito coletivo so compatveis com o prprio
texto da emenda, considerando as circunstncias histricas que cer-
cam a sua adoo e a estrutura da Constituio.179
Outras questes centram-se no direito em ao, perguntando
se certa deciso ou lei teve o efeito que seus criadores ou outros
previram. Tal foi a pesquisa de Hightower180 sobre o impacto da
deciso J.E.B. v Alabama.181 Na sua opinio dissidente no caso, o
juiz Scalia observou:
[A extenso de Batson vs. Kentucky182 para o gnero]

estabelecer a base para extensivos litgios colaterais, os quais
especialmente o ru criminal (que litiga em tempo integral e sem
custos) deve vir a perseguir. Enquanto a realidade demogrfica
impe limites ao nmero de casos em que a excluso de
membros selecionados para o Tribunal de Jri por razes raciais
ser um problema, cada caso contm uma queixa potencial
quanto a essa excluso por razes de gnero.183
O que Hightower pergunta se as preocupaes de Scalia mate-

rializaram-se: J.E.B. gerou a emergncia de numerosos litgios
colaterais? Esses representam apenas dois tipos de questes que os
77 [sumrio : notas]
juristas suscitam que se alinham bem com a regra de que a pesquisa

deve ser importante para vrias circunscries internas e externas.
Levinson deixa isso claro no fim de se artigo, onde ele escreve:
Por muito tempo, muitos membros da academia jurdica trataram
a segunda emenda como o equivalente a um parente vergonhoso
(...) Isso no continuar assim. hora de ela entrar integralmente
na conscincia da academia jurdica.184 Eventos subsequentes,
inclusive uma proliferao de artigos em peridicos jurdicos sobre
a segunda emenda 185 e a adoo de seu argumento por ao menos
um tribunal186 no apenas vieram ao encontro da preocupao de
Levinson eles tambm sublinham a importncia de sua questo
(se no a credibilidade e certeza de suas inferncias)187 para os aca-
dmicos, assim como para outros na comunidade jurdica.
78 [sumrio : notas]
V.
TEORIAS E SuAS ImPLICAES OBSERVVEIS
Uma vez que um acadmico possua uma pergunta de pesquisa que

compreenda a literatura acadmica e que seja importante para o
mundo real, construtivo comear a teorizar sobre possveis res-
postas que ela ou ele possam, no caso, usar para gerar implicaes
observveis (tambm chamadas de expectativas ou hipteses).
Por teorizando, queremos dizer desenvolver uma razovel e
precisa especulao sobre a resposta da pergunta de pesquisa.188
Por implicaes observveis, ns queremos dizer coisas que ns
esperaramos detectar no mundo real se a nossa teoria for correta.
No h nada mgico ou mstico sobre essas atividades. De fato,
ns a utilizamos todos os dias. Aps lecionarmos as primeiras aulas
de uma disciplina, ns podemos desenvolver uma teoria simples,
por exemplo, de que os alunos dela participantes so melhores que
aqueles que ensinamos um ano antes. As implicaes observveis
dessa teoria so suficientemente fceis de resumir: podemos
esperar que os alunos vo incomumente bem nos exames, possam
escrever redaes especialmente convincentes, ou que eles digam
coisas notavelmente astutas em aula.
Teorizar academicamente no to diferente, embora possa ser
feito de diferentes formas. Algumas teorias so, de fato, simples,
pequenas ou adaptadas para encaixar-se em determinadas circuns-
tncias, e essas so abundantes nas revistas jurdicas. No seu estudo
sobre como os juzes aplicam o teste de dois passos de Chevron para
revises judiciais de decises de agncias administrativas, por exem-
plo, Kerr oferece uma teoria contextual.189 Essa teoria, pelo menos
da maneira como ele a desenvolveu, bastante especfica: juzes con-
tinuam a utilizar fatores tradicionais para julgar os casos Chevron,
79 [sumrio : notas]
V. TEORIAS E SuAS ImPLICAES OBSERVVEIS
ao invs do teste de dois passos.190 No mesmo sentido, os juristas

frequentemente desenvolvem teorias sobre a inteno do Legislativo
por trs das leis, variando do Freedom of Information Act,191 ao
National Labor Relations Act,192 ao Foreign Trade Zones Act,193 ao
Sherman Act;194 ou inteno dos legisladores constituintes por trs
das provises constitucionais, incluindo as do impeachment,195 da
Establishment Clause da primeira emenda da Constituio dos Esta-
dos Unidos,196 das Search and Seizure and Warrant Clauses da
quarta emenda,197 e da dcima terceira emenda .198
Outras teorias so mais amplas em abrangncia, procurando for-
necer explicaes para uma ampla gama de fenmenos. Uma teoria
crescentemente comum na literatura jurdica a Teoria Poltica Posi-
tiva (positive political theory - PPT), a qual consiste em uma
teoria de escolha racional no-normativa de instituies polti-
cas.199 Por meio da PPT, pesquisadores procuraram responder a
uma longa lista de perguntas de pesquisa desde por que os juzes
da Suprema Corte concedem reviso a alguns casos e negam-na a
outros;200 at se as preferncias polticas das vrias organizaes
polticas (por exemplo, o Legislativo ou o Executivo) influenciam
as decises judiciais,201 ou at que circunstncias levam as cortes
inferiores a desviar dos precedentes estabelecidos pelas cortes supe-
riores,202 bem como por que juristas criam e mantm (e advogados
agora seguem) certas regras, normas, e convenes.203
Do outro lado do espectro, h pesquisas jurdicas despreocupadas
com teorizao. Alguns acadmicos pulam essa parte toda, como
faz Manz no seu estudo sobre o uso de citaes do juiz Cardozo.204
Aps levantar questes sobre as prticas do uso de citaes,205
Manz dirige-se diretamente aos dados; somente aps apresentar
alguns dos resultados, ele comea a teorizar sobre possveis expli-
caes.206 Da mesma maneira, na pesquisa de Melton sobre se os
80 [sumrio : notas]
legisladores constituintes acreditam ser o impeachment um proce-

dimento criminal,207 o autor no expe nenhuma teoria.
Ao invs disso, ele aponta diretamente para a evidncia, usan-
do-a para fazer uma afirmao emprica sobre as crenas dos legis-
ladores constituintes.208 Essa estratgia boa, claro, mas apenas
se ns reconhecermos que teorias desenvolvidas dessa forma pos-
suem o status de boa hiptese para a qual o acadmico deve provar
a evidncia. Em outras palavras, se Melton desenvolve sua teoria a
partir da mesma evidncia que ele usou para avali-la; a teoria no
estaria vulnervel a ser provada errada. Hipteses em conformidade
com evidncias na literatura desempenham um papel essencial para
o conhecimento, mas ns no devemos confundi-las com teorias
que possuem um suporte emprico.
Outros acadmicos sustentam suas teorias por meio de uma revi-
so da literatura (ou da doutrina) relevante. Tal procedimento
tpico do trabalho que pergunta se a lei ou a deciso da Corte atin-
giu o efeito pretendido (ou no pretendido). Ao invs de oferecer
uma teoria de efeito ou impacto, o pesquisador revisa outros
estudos, relatrios e ensaios predicados em impresses ou no
que tratam de se, por exemplo, Mapp v Ohio209 desincentivou a
m-conduta policial,210 ou se a Regra Federal de Processo Civil 68
induziu acordos pr-julgamentos,211 e ento utiliza tais revises
para gerar expectativas.212
Teorias, dessa forma, surgem de vrias maneiras, nveis de abs-
trao e aplicaes substantivas. Cada uma dessas distines pode
ser mais ou menos relevante dependendo do objetivo ou propsito
da pesquisa. Mas, apesar de tais consideraes e at do tipo de teo-
ria que elas invocam, os pesquisadores devem reconhecer que eles
podem se ajudar a agir em conformidade com as vrias regras que
discutimos neste livro fazendo teorias mais teis um objetivo que
81 [sumrio : notas]
eles poderiam alcanar (1) invocando teorias que produzam impli-

caes observveis, (2) extraindo tantas implicaes quanto possvel
e (3) delineando como eles planejam observar tais implicaes.
A. InVOquE TEORIAS quE PRODuzAm
Uma boa teoria vem com um guia para desenvolver implicaes

ImPLICAES OBSERVVEIS
observveis sobre o fenmeno que ela procura descrever ou explicar.

Somente ao avaliar essas implicaes observveis comparando as
implicaes tericas com algumas observaes empricas relevantes
possvel saber se a teoria passvel de estar correta.
Implicaes observveis frequentemente tomam a forma de afir-
maes sobre a relao entre as variveis que podem, ao menos em
princpio, ser observadas. Por variveis, queremos dizer caracte-
rsticas de alguns fenmenos que variam atravs dos exemplos dos
fenmenos: por exemplo, a raa de uma pessoa ou o resultado de
um caso da Suprema Corte. Anteriormente, discutimos as variveis
causais (aquelas que consideramos levar a um resultado especial,
tal como a existncia de Miranda provocando menos confisses) e
variveis dependentes (aqueles resultados que tentamos explicar,
tal como a taxa de confisses). Variveis causais inserem-se no con-
ceito geral de variveis independentes (ou explicativas)
aquelas que podem ajudar a explicar o resultado (outras que se inse-
rem na mesma categoria so as variveis de controle, as quais
discutiremos abaixo).
Para ver como o processo de passar da teoria para as implicaes
observveis funciona, considere a pesquisa feita por Eskridge, que
invoca a teoria poltica positiva para entender como juzes da
Suprema Corte interpretam as leis federais.213 Segundo seu relato,
os juzes tm objetivos, os quais, de acordo com Eskridge, equivalem
82 [sumrio : notas]
a ver suas preferncias polticas transformadas em lei, mas percebem

que no podem alcan-los sem levar em conta as preferncias e pro-
vveis aes de outros atores relevantes incluindo congressistas
influentes (como membros de comisses importantes e lderes de
partidos), outros membros do Congresso e o Presidente alm do
contexto institucional em que eles trabalham.214
Para desenvolver implicaes observveis a partir desse relato,
Eskridge utiliza imagens como as expostas nas Figuras 3a e 3b.215
Em cada uma delas, ns descrevemos uma srie hipottica de prefe-
rncias sobre uma poltica especfica no caso, uma leide direitos
civis. As linhas horizontais representam o espao da poltica (direitos
civis), aqui ordenados da esquerda (mais liberal) para a direita
(mais conservador). As linhas verticais mostram as preferncias
(as posies preferidas) dos atores relevantes: o Presidente, o mem-
bro mdio da Corte, o Congresso, e os comits-chave e outros
membros relevantes do Congresso que decidem sobre a propositura
de legislao de direitos civis em suas respectivas casas.216 Note que
tambm identificamos o ponto de indiferena dos comits onde a
Corte pode estabelecer uma poltica que o comit aprecia tanto
quanto a poltica oposta que seria escolhida pela cmara completa217.
Em outras palavras, em razo de o ponto de indiferena e o membro
mdio do Congresso estarem equidistantes dos comits, os comits
gostam dos pontos de indiferena tanto quanto gostam da posio
preferida do Congresso eles so indiferentes entre os dois.
83 [sumrio : notas]
fIGuRA 3:
DISTRIBUIO HIPOTTICA DE PREFERNCIAS218
3a. Implicao Observvel 1: a poltica elaborada no ponto de indiferena do comit.
POLTICA LIBERAL POLTICA CONSERVADORA
Corte (Posio Ponto de Comits Congresso Presidente

Preferida do Indiferena (Posio (Posio (Posio
Membro Mdio do Comit Preferida do Preferida do Preferida do
da Corte) (Ponto de Membro Mdio Membro Mdio Presidente)
Indiferena de de Comits- do Congresso)
Comits entre chave)
sua posio
preferida e
aquela desejada
pelo Congresso)
3b. Implicao Observvel 2: a poltica ajustada no ponto de indiferena do Comit /

a posio preferida da Corte.
POLTICA LIBERAL POLTICA CONSERVADORA
Corte Comits Presidente

Ponto de do Congresso
Indiferena
dos Comits
Como podemos ver na Figura 3a, a Corte est esquerda do

Congresso, dos comits-chave e do Presidente. Isso significa que,
nesta ilustrao, a Corte mais inclinada a uma poltica liberal do
que os outros ramos polticos. Na Figura 3b, A Corte tambm est
esquerda dos atores relevantes, porm constata-se que o ponto de
indiferena dos comits alinha-se com a posio preferida da Corte.
Agora, suponha que a Corte tenha aceito um caso que exige que
se interprete a lei de direitos civis. Como procederia a Corte? A par-
tir da teoria de Eskridge, surge a seguinte implicao observvel:
84 [sumrio : notas]
dada a distribuio das posies preferidas dos atores, a Corte da

Figura 3a no estaria disposta a assumir o risco e interpretar a lei
de acordo com a sua posio preferida. Pareceria que o Congresso
facilmente anularia esta posio e que o Presidente apoiaria o Con-
gresso. Ao invs disso, de acordo com a teoria de Eskridge, a
melhor escolha para juzes interessados em ver a lei refletir em suas
preferncias polticas interpretar a lei prxima ao ponto de indi-
ferena dos comits. A razo simples: uma vez que os comits
so indiferentes entre aquele ponto e a posio preferida pelo legis-
lador mdio, eles no teriam qualquer incentivo para introduzir uma
legislao para derrubar a poltica estabelecida no seu ponto de
indiferena. Dessa forma, a Corte terminaria com uma poltica pr-
xima, porm no exatamente igual, ao ponto ideal, sem arriscar uma
repercusso no Congresso.
A distribuio de preferncias na Figura 3b aponta para uma
implicao observvel diferente: a Corte deveria estabelecer uma
poltica de modo que reflita suas sinceras crenas. Porque, se ela
vota suas preferncias (as quais so comparativamente liberais) e
estabelece a poltica na sua posio preferida, os comits relevantes
do congresso no teriam incentivos para reverter a Corte. Uma vez
que o ponto de indiferena dos comits o mesmo que a posio
preferida da Corte, eles seriam indiferentes poltica preferida pela
Corte. Note que, para ambas as implicaes, a teoria sugere as
variveis explicativas principais (as preferncias dos atores princi-
pais relacionadas entre si) e a varivel dependente (a interpretao
da lei pela Corte).
A teoria por trs dos resultados encontrados por Eskridge de
grande alcance; aquelas que so mais restritas, porm, a partir das
quais os acadmicos desenvolvem revises da literatura ou doutrina
relevante, podem prover similar orientao. O estudo de Hillman
85 [sumrio : notas]
sobre casos de precluso em razo de promessa, que descrevemos

anteriormente,219 exemplar. O autor no desenvolveu sua teoria
prpria, mas, em vez disso, baseou-se no novo consenso para
desenvolver implicaes observveis.220
Tudo est bem, pois teorias sem implicaes observveis so de
pouca utilidade. Elas so de pouca utilidade por vrias razes, a
menor das quais no que, sem implicaes claras, os leitores no
tm como saber se ali h algum suporte emprico para a teoria, ou
se ela vulnervel e pode ser provada errada. Estudos doutrinrios,
ou aqueles que teorizam sobre inteno legislativa, ocasionalmente
caem nessa armadilha, como ilustrado no estudo de Amar e
Widawsky sobre a dcima terceira emenda da Constituio dos
Estados Unidos.221 Amar e Widawsky teorizam que esta emenda,
tanto em texto quanto em esprito, () comenta o horror do abuso
sexual contra uma criana com notria objetividade.222 Certa-
mente, essa uma teoria interessante, e os pesquisadores
descrevem-na detalhadamente, tentando sustent-la com base na
histria legislativa da emenda, interpretaes jurdicas e por a em
diante. O que eles no fazem, entretanto, fornecer implicaes
observveis que definitivamente ajudariam os leitores a determinar
se a teoria assenta-se sobre uma base slida.223 Para realizar essa
tarefa crucial, os autores precisam perguntar-se o seguinte: se nossa
teoria correta e o texto e o esprito da emenda comentam obje-
tivamente o abuso de crianas, ento quais implicaes ou
previses sobre o comportamento do mundo real derivam dela?224
B. ExTRAIA TAnTAS ImPLICAES
Como a nossa nfase no plural sugere, acadmicos no devem parar

OBSERVVEIS quAnTO POSSVEL
com uma ou duas implicaes ou previses. Ao invs disso, eles
86 [sumrio : notas]
devem desenvolver tantas quanto forem possveis, at mesmo se

elas estiverem apenas indiretamente conectadas com a especfica
hiptese de interesse. Para comear a ver a lgica por trs dessa
afirmao, considere os estudos sobre os efeitos da deciso
Miranda v. Arizona, que se iniciam a partir da seguinte (geralmente
implcita) teoria: Miranda levou reduo do nmero de confisses
obtidas pela polcia. Tal teoria, para reiterar um ponto que levanta-
mos anteriormente, exemplifica aquelas frequentemente invocadas
pelos juristas: clara, concreta e adaptada de acordo com um fen-
meno especfico. Entretanto, isso no significa que ela seja incapaz
de gerar implicaes observveis. Ela capaz de gerar tais impli-
caes, com uma delas sendo bvia: ns devemos observar uma
reduo nas taxas de confisses quando Miranda aplicada. Outra
implicao observvel pode ser que, nos lugares em que no se
aplica a deciso Miranda, dever-se-ia observar uma menor reduo
nas taxas de confisso.225
Essas implicaes observveis poderiam levar um investigador
a localizar as jurisdies onde os oficiais seguem, de maneira mais
ou menos integral, a deciso Miranda, e a coletar informaes sobre
as taxas de confisso em ambos.226 Porm, o pesquisador no deve
parar a; ele deve procurar outras implicaes aquelas que, sim,
poderiam conformar-se com sua teoria original sobre o impacto da
deciso Miranda nas taxas de confisso, bem como aquelas que
poderiam ser coerentes com os muitos outros efeitos que a deciso
Miranda pode ter no sistema penal. Isso porque qualquer outro
efeito encontrado em uma rea que no a da taxa de confisses
aumentaria a plausibilidade da teoria original. (Essa afirmao
geral sempre se aplica, mas, para esse exemplo, ela especialmente
aplicvel, uma vez que, como sabemos por meio do amplo corpo de
literatura a respeito, muitos membros da comunidade jurdica
87 [sumrio : notas]
incluindo a acadmicos, advogados, juzes, e outras autoridades

decisrias no esto unicamente ou simplesmente preocupados
com se a deciso Miranda reduziu o nmero de confisses; eles
parecem mais interessados no efeito mais amplo, se existente, que
Miranda teve sobre o sistema penal).227
Para entender o motivo pelo qual fazemos essa afirmao, ima-
gine um pesquisador que aceitou e enumerou, alm das implicaes
observveis extradas da teoria especfica do pesquisador por
exemplo, se minha teoria est correta, deveramos observar uma
reduo nas taxas de confisses quando a deciso Miranda apli-
cada aquelas implicaes advindas de uma tomada mais ampla
do efeito da deciso Miranda no sistema penal, incluindo:
(1) Juzes das cortes de primeira instncia concedendo pedidos

baseados na deciso Miranda para excluir confisses;228
(2) Juzes da Corte de Apelaes revertendo convices baseados

no caso Miranda;229
(3) Cortes de todos os nveis gastando tempo valioso apreciando

casos semelhantes ao caso Miranda;230
(4) Aplicadores do direito observando uma reduo nas taxas de

liberao e condenao;231
(5) Rus falhando em renunciar aos seus direitos emanados do

caso Miranda.232
Outras implicaes so suficientemente fceis de lembrar.233

Entretanto, considere, por um momento, que essas foram as nicas
88 [sumrio : notas]
implicaes em que o investigador se concentrou. Mais adiante,

considere que esse pesquisador, seguindo todos os outros conselhos
aqui fornecidos, verificou que todas as cinco implicaes se man-
tm. Se esse fosse o caso, ns teramos mais confiana nas
afirmaes feitas por alguns acadmicos de que a deciso Miranda
teve efeito sobre o sistema legal americano do que teramos, caso
tivesse o pesquisador considerado apenas uma implicao, tal como
a reduo nas confisses, mesmo que ele verificasse que apenas
esta se mantm. Mais relevante aqui que o objetivo original de
avaliar o efeito do caso Miranda nas taxas de confisso seria
melhor alcanado por esta estratgia. A razo que, se o caso
Miranda poderoso o suficiente para ter efeito sobre essas taxas,
ele deveria tambm demonstrar algumas das outras implicaes
observveis listadas acima; contrariamente, se algumas delas no
forem encontradas, a concluso sobre as taxas de confisso teria
menos suporte. Vista dessa forma, a estratgia de procurar maxi-
mizar a influncia234 ou seja, identificar o maior nmero de
implicaes observveis possvel, mesmo se o propsito imediato
uma pesquisa mais restrita pode ser muito poderosa.
Ns podemos dizer o mesmo da pesquisa que se baseia em for-
mas no-numricas de evidncia. Deixe-nos voltar ao estudo de
Amar e Widawsky sobre a dcima terceira emenda.235 Embora os
autores no ofeream hipteses explcitas, com certeza a sua teoria
de que o abuso infantil uma forma de escravido condenada por
esta emenda se presta a vrias previses testveis. Por exemplo,
se o termo escravido amplo o suficiente para abranger abuso
infantil, ento podemos esperar encontrar indcios daquele senti-
mento nos registros histricos, legislativo e judicial. A partir dessa
ideia derivam muitas implicaes observveis, a saber, (1) decla-
raes feitas por legisladores dominantes (por exemplo, membros
89 [sumrio : notas]
V. Teorias e suas impliCaes observveis
das maiorias legislativas)236 indicando que eles pretendiam que a

palavra escravido abrangesse mais do que a instituio peculiar
da escravido do sul;237 (2) interpretaes prvias dcima ter-
ceira emenda, produzidas pelos tribunais, demonstram que os juzes
utilizavam o termo escravido para cobrir as demandas infantis
relacionadas ao comportamento parental abusivo; e (3) definies
previstas em dicionrios da poca apoiavam uma concepo ampla
de escravido.
Estes so apenas trs exemplos. Leitores e pesquisadores podem
ter problemas com alguns deles, mas poderiam, sem dvida,
desenvolver outros. No momento, enfatizamos a lio mais geral:
para todas as teorias os pesquisadores deveriam se perguntar,
Quais so as suas implicaes observveis? e, ento, listar todas
as possibilidades mesmo que somente um pequeno subconjunto
delas seja realmente observado ao longo da pesquisa.238 Quanto
mais implicaes os acadmicos identificarem, mais poderosa e
til sua teoria. E quanto mais dessas implicaes eles puderem
avaliar contra dados reais, mais confiana ns podemos ter nas
suas concluses.
C. Delineie Como as impliCaes
J que teorias e suas implicaes so tipicamente compostas por

poDem ser observaDas
conceitos, os pesquisadores devem, para comear a estimar suas

teorias e as implicaes relacionadas, delinear como eles podem
observ-las no mundo real. Por exemplo, para estimar uma impli-
cao observvel da teoria de Eskridge de que a Corte interpretar
uma lei de direitos civis de acordo com suas preferncias, se a Corte
e outros atores relevantes compartilharem a mesma viso de pol-
tica de direitos civis239 precisamos de uma definio clara de leis
90 [sumrio : notas]
de direitos civis (por exemplo, poderamos defini-las de maneira

restrita como somente aquelas que especificamente reivindicam
serem leis de direitos civis, ou poderamos defini-las amplamente
como todas as leis, a despeito de seu propsito original ou de sua
inteno, que os tribunais utilizam para proteger os direitos civis).
Isso ocorre porque a legislao de direitos civis assim como mui-
tos outros fenmenos de interesse na pesquisa jurdica, incluindo
o cumprimento, a legitimidade e a eficincia um conceito
que requer um esclarecimento para que possamos observ-lo. Esse
processo de esclarecimento por vezes denominado operacio-
nalizar, definir operacionalmente ou, mais simplesmente,
definir os conceitos.
Isso no deve, por outro lado, ser uma tarefa terrivelmente one-
rosa. Se os pesquisadores cuidadosa e claramente explicarem suas
teorias, ento dever ser-lhes fcil desenvolver definies claras,
mensurveis dos conceitos contidos nas implicaes dessas teorias,
e tambm dever ser fcil para os leitores julgar se eles fizeram
um bom trabalho. Por essa razo, especificar a teoria com preciso
suficiente para que os leitores possam ver como os autores medem
suas implicaes uma parte crtica da teorizao. Retornemos ao
trabalho de Eskridge sobre interpretao de leis.240 De acordo com
sua teoria, as preferncias do membro-mdio da Suprema Corte,
assim como as de vrias organizaes polticas (por exemplo, o
Senado, a Cmara dos Deputados, os comits-chave) ajudam a
explicar certos resultados de polticas pblicas. Definir o mem-
bro-mdio da Suprema Corte simples o juiz no meio da
distribuio de membros da Corte ao longo de uma dimenso pol-
tica definida.
Por outro lado, dificuldades geralmente surgem na identificao
de tal juiz na prtica. Talvez o problema mais comum ocorra quando
91 [sumrio : notas]
os pesquisadores no especificam claramente sua teoria. O exame de

Revesz sobre o padro de votos de juzes na Corte de Apelao norte-
americana do distrito de Columbia em casos ambientais fornece um
exemplo.241 Em parte, ele procura avaliar a seguinte assertiva te-
rica: Alguns doutrinadores () sustentam que os juzes
simplesmente votam de acordo com suas preferncias polticas. Em
casos ambientais, a alegao continua, os juzes apontados pelos pre-
sidentes republicanos votam principalmente por regulaes mais
brandas e juzes apontados por presidentes democratas votam por
uma regulao mais severa.242
Perceba a dificuldade conceitual: a teoria requer que os juzes
votem de acordo com sua prpria preferncia poltica ou alinhados
com o partido do presidente que os apontou? Pode parecer uma dis-
tino sem sentido, mas, como uma preferncia poltica no
rigorosamente o mesmo que uma filiao partidria, no . Seria
possvel operacionalizar preferncias polticas de vrias manei-
ras: se os juzes so afiliados ao partido Democrata ou Republicano,
se o juiz liberal ou conservador ou, sim, se o presidente que apon-
tou o juiz filiado ao partido Democrata ou ao partido Republicano.
O partidarismo do Presidente normalmente ser menos ambguo
e ser definido simplesmente como o partido poltico do qual faz
parte o presidente. Mas, uma vez que a teoria uniu as duas, encara-
mos a dificuldade de decidir se a implicao a ser observada
preferncias polticas ou partidarismo. (O que, no fim, Revesz
realmente quer dizer que o partidarismo poderia servir como uma
medida de preferncias polticas.243 Discutimos esse problema
completamente diferente no Captulo VII).
O trabalho de Revesz um estudo quantitativo, mas problemas
similares emergem em estudos qualitativos nos quais os autores no
especificam cuidadosamente suas teorias. Pegue o ensaio de 1999
92 [sumrio : notas]
de William, o qual postula que a histria legislativa do Securities

Exchange Act de 1934 permite que a Comisso de Valores
(SEC)requeira que as corporaes publicizem seus balancetes
sociais, e no apenas financeiros.244 Mas o que Williams quer dizer
por histria legislativa? Est ela usando o termo em um sentido
muito amplo, significando todas as circunstncias de criao de
uma lei(e de sua evoluo), ou algo muito mais restrito o pro-
gresso institucional perpassado por um projeto at sua entrada em
vigor?245 Devido falta de preciso nessa dimenso, ns, os leito-
res, no podemos automaticamente enxergar uma medida clara de
histria legislativa, uma que saberamos ser consistente com a
teoria original.246 O resultado, por sua vez, (como sugerido abaixo)
usurpa nossa habilidade de julgar se quaisquer medidas que ela
invoca para fundamentar aquela implicao da teoria conformam-
se apropriadamente com seus conceitos. Se ela tomasse uma viso
estreita da histria legislativa, ento ela precisaria de uma medida
que sintetizasse todos ou alguns dos vinte materiais identificados,
por exemplo, na lista compilada por Hetzel, Libonati e Williams, a
qual se move no tempo, de relatrios de comits para debates, para
vozes gravadas.247 Uma viso mais ampla requereria uma medida
que voltasse ainda mais no tempo, para as circunstncias em torno
da introduo do projeto.248
Como Williams deve prosseguir em suas escolhas em relao
delineao das implicaes observveis de sua teoria, e como deve-
mos julgar se ela escolheu bem? A regra geral aqui desenvolver
definies funcionais que minimizem a perda do conceito para a
definio. Isso se d devido ao fato de que no podemos observar
diretamente os conceitos que fluem de nossas teorias, ainda que
sejam essas mesmas teorias que queiramos estimar. Dessa maneira,
quanto mais prximos chegarem os pesquisadores de esclarecer
93 [sumrio : notas]
seus conceitos de forma a poder medi-los empiricamente, melhores

sero seus testes.
94 [sumrio : notas]
VI.
COnTROLE DE hIPTESES RIVAIS
No incio deste livro, observamos que os cientistas que procuram

todas as evidncias contra sua teoria favorita esto seguindo as
leis de inferncia, e que os pesquisadores que maximizam sua vul-
nerabilidade e as diferentes reas e conjuntos de dados em que se
pode prov-los errados esto operando de acordo com as melhores
tradies do conhecimento emprico. Nada que escrevemos muda
essa premissa bsica. Muito pela contrrio: uma vez que somente
por meio da proposio de desafios suficientes sua teoria (e s
suas implicaes observveis) que a pesquisa pode criar a posio
mais forte possvel, o estudo que trata teorias como clientes neces-
sitando da melhor defesa altamente problemtico.
Para entender o porqu, considere o estudo emprico de Buf-
ford do Captulo 11 de casos de falncia, no qual postula que uma
administrao judicial de casos relativamente modesta pode retirar
uma quantidade substancial de atraso destes casos dentro do con-
texto da lei de falncias vigente.249 Bufford continua para explicar
uma implicao observvel desse argumento os juzes que adotam
o fast track, um modelo particular de administrao de casos com
vistas reduo de atrasos250 - que ele avalia por meio do exame
do sumrio de um juiz antes e depois da invocao do fast
track.251 Quando essa investigao revela que o fast track
reduziu em 24,1% o tempo para uma confirmao do plano do
Captulo 11 para um caso tpico,252 o pesquisador clama vitria
sua teoria, ele acredita, est correta. Contudo, a declarao de Buf-
ford prematura, pois ele no leva em considerao explicaes
concorrentes para a reduo dos atrasos, uma vez que elas podem
dizer respeito ao juiz especfico sob anlise ou ao fenmeno geral.
95 [sumrio : notas]
VI. COnTROLE DE hIPTESES RIVAIS
completamente possvel que o sistema fast track no tenha sido

a nica mudana que o juiz realizou durante o perodo sob anlise,
ou mesmo que advogados, ao perceber a mudana de conduta do juiz,
tenham eles tambm mudado a sua (por exemplo, no requerendo
alguns pedidos, ou levando-os a outro lugar). Sem uma considerao
dessas e muitas outras explicaes alternativas, o autor no sustentou
sua teoria com a fora que esta merecia. Com efeito, sua negligncia
a faz parecer mais frgil.
Evitar esse problema requer que os pesquisadores vasculhem a
literatura existente procura de, e pensem exaustivamente e imagi-
nativamente, sobre explicaes que no fecham com a teoria que
esto oferecendo. (O primeiro fcil de ser realizado;253 este ltimo
no , e tal a razo por que todos os pesquisadores precisam de
uma comunidade de estudiosos para ajudar). Ademais, autores
devem alertar os leitores para os frutos desses exerccios em outras
palavras, qualquer explicao rival existente e, finalmente, incor-
por-las na prpria pesquisa.
Esse ltimo passo crtico, pois, caso os estudiosos ignorem as
explanaes concorrentes, seu trabalho sofrer o que conhecido
como vis da varivel omitida, tornando suspeita qualquer infe-
rncia causal alcanada. Temos mais a dizer sobre evitar esse tipo
de vis momentaneamente, mas note-se a implicao geral dessa
alegao: ao selecionar variveis para seu estudo, os pesquisadores
no podem parar com aquelas que emergem diretamente das impli-
caes observveis de sua teoria. Eles muito provavelemente tero
de incorporar variveis concebidas para controlar as implicaes
de outras teorias que no necessariamente fecham com as suas (em
outras palavras, explicaes ou hipteses rivais).
Coletar dados sobre variveis que sustentam as posies de cr-
ticos potenciais talvez seja o caminho ideal pelo qual os estudiosos
96 [sumrio : notas]
maximizam a vulnerabilidade e, por fim, vacinam-se contra a cr-

tica. O objetivo no destruir a posio de um opositor, uma vez
que tanto o pesquisador como o crtico podem estar certos, mas
garantir a ausncia do visda varivel omitida. Isso especialmente
crtico no trabalho que busca realizar inferncias causais. O estudo
de Bufford deixa esse ponto claro, assim como a tentativa de Ramos
de estimar o efeito dos planos de aes afirmativas invocados por
peridicos jurdicos para selecionar os membros de sua equipe.254
Baseado nos resultados de uma pesquisa junto a editores de peri-
dicos jurdicos, Ramos conclui que a ausncia desse tipo de
programa de ao afirmativa efetivamente exclui minorias de afi-
liaes de um grande nmero de peridicos jurdicos.255 Sua
evidncia? Trinta e oito por cento das setenta e oito peridicos jur-
dicos sem programas de ao afirmativa no possuem membros de
grupos de minorias, mas todos os seis peridicos jurdicos com pro-
gramas de ao afirmativa possuem membros de grupos de
minorias. Em outras palavras, ele baseia-se em uma varivel expli-
cativa (a presena/ausncia de um programa de ao afirmativa
para a seleo de membros de peridicos jurdicos) para traar uma
afirmao causal. O problema dessa perspectiva parecido com
aquele que identificamos na pesquisa de Bufford: isto , ignora
muitas outras explicaes potenciais para a varivel dependente
(afiliao de membros de grupos minoritrios em peridicos jur-
dicos), entre as quais figura a representao de grupos minoritrios
na faculdade de direito como um todo. Certamente, devemos espe-
rar que, quanto mais minorias houver na populao da faculdade,
maior ser seu nmero na equipe dos peridicos jurdicos. Ainda
pior, essa explicao rival pode ser uma causa anterior do autor:
absolutamente plausvel que quanto mais minorias houver em
uma faculdade de direito, mais provvel torna-se a existncia de
97 [sumrio : notas]
um programa de ao afirmativa para a seleo de membros de

peridicos jurdicos.
Porque Ramos omite explicaes rivais em potencial, ele no
pode estar seguro de que sua varivel preferida est realmente fun-
cionando. Mas evitar o vis da omisso de varivel no significa
que ele ou outros analistas devam incorporar variveis represen-
tando cada alternativa de explicao concebvel. Em vez disso, os
requisitos so facilmente formalizados: os pesquisadores devem
exercer controle quanto a (em outras palavras, manter constante)
uma varivel potencial que possa implicar confuso somente se a
varivel rival preencher todos os seguintes quesitos:
(1) Ela relacionada (ou correlacionada ) varivel causal chave;
(2) Produz um efeito sobre a varivel dependente;
(3) uma causa antecedente (em outras palavras, precedendo

temporalmente) varivel causal chave.
No caso do estudo de Ramos, no mnimo uma explicao rival

potencial o nmero de minorias na faculdade de direito parece
encaixar-se em todas as trs condies. Esse nmero est prova-
velmente relacionado existncia ou no de programas de ao
afirmativa na seleo da equipe de peridicos jurdicos; ele pode
afetar o nmero de estudantes pertencentes a grupos minoritrios
nas equipes de publicaes de peridicos; e ele uma causa ante-
cedente , em outras palavras, uma causa implicando: a) criao de
programas de ao afirmativa para selees de peridicos jurdicos.
Dado que ela satisfaz cada uma das trs condies para o vis da
varivel omitida, a inferncia causal de Ramos tendenciosa. E,
98 [sumrio : notas]
uma vez que no explanam o efeito da explicao rival, seus resul-

tados so indeterminados: so consistentes com um efeito causal
forte, um efeito negativo (pelo que programas de ao afirmativa
reduzem a participao de minorias no pessoal de peridicos jur-
dicos), ou com relao nenhuma.
To no informativo como omitir uma varivel rival, medi-la e
meramente mostrar que ela est separadamente associada varivel
dependente insuficiente. O que precisa ser feito examinar o
efeito dos programas de ao afirmativa sobre a composio de gru-
pos minoritrios da equipe de peridicos jurdicos mantendo
controle sobre o efeito do nmero de minorias na faculdade de
direito. Um jeito fcil de Ramos ter feito isso teria sido pela reali-
zao de seu estudo usando um conjunto de faculdades de direito
que possussem aproximadamente a mesma frao de estudantes
pertencentes a grupos minoritrios.256 Nesse sentido, a varivel
rival seria mantida constante, e como uma constante no pode cau-
sar (ou mesmo ser correlacionada a) uma varivel, o desenho de
pesquisa garante que a varivel rival no possa confundir a relao
entre a varivel causal chave e a varivel dependente.
Se selecionar observaes de maneira a tornar constantes as
explicaes rivais for invivel, os investigadores podem usar
mtodos estatsticos para estatisticamente manter constante o
controle sobre as variveis; similarmente, eles podem conduzir
experimentos nos quais tornam fisicamente constantes essas
variveis. De uma maneira ou outra, contudo, eles tm de exercer
controle sobre as variveis rivais que preenchem os trs requisitos
para que seja causado o vis da varivel omitida. Eles no podem
ignor-la, e no podem limitar-se mera demonstrao de que
no existe uma associao separada entre uma varivel explicativa
e a varivel dependente.
99 [sumrio : notas]
Por outro lado, se qualquer uma das trs condies para o vis
da varivel omitida no for aplicvel, ento o controle da varivel
rival no ser apenas intil quanto avaliao do efeito da varivel
causal chave como tambm pode implicar o desperdcio de infor-
maes valiosas ao estimar quantidades irrelevantes.257 Ainda pior,
se a terceira condio (de que a varivel rival seja causalmente
anterior varivel causal chave) no se mantm, e pesquisadores
controlarem essa varivel de qualquer maneira, eles introduziro
grandes vis. A varivel dependente no estudo de Ramos o
nmero de pessoas de grupos minoritrios realmente selecionadas
para servir em cada equipe de peridicos jurdicos. Supondo que
ns controlemos a seguinte varivel: o nmero de membros de
minorias que os encarregados da seleo de novos membros pre-
tendiam indicar cinco minutos antes deles anunciarem sua deciso.
Claramente essa varivel de inteno predir nossa varivel
dependente quase exatamente, e no devemos exercer controle
sobre ela. Se mantivermos as intenes constantes atravs da
seleo de todas as faculdades de direito onde os decisores tenham
aproximadamente as mesmas intenes, o nvel real de representa-
o minoritria seria praticamente igual em cada faculdade de
direito constando na anlise. Isso nos levaria a concluir que pro-
gramas de ao afirmativa no possuem efeito causal, mesmo que
seu efeito seja, na verdade, bastante extenso. Por conseguinte,
enquanto essa varivel rival potencial, inteno satisfaz as con-
dies (1) e (2), ela deve ser excluda da anlise, uma vez que no
preenche a condio (3).258
100 [sumrio : notas]

VII.
mEDIO E ESTImATIVA
Uma vez que os pesquisadores tiverem identificado as variveis a

serem includas em seu estudo, eles precisam medir tais variveis
e obter estimativas. Imaginemos que o que se quer determinar se
frequentar uma faculdade de direito com melhor reputao leva a
um melhor salrio inicial quando da graduao. Para avaliarmos tal
hiptese, devemos traduzir a varivel reputao da faculdade de
direito em alguns indicadores de reputao precisos. Trata-se do
ato de medida: comparar um objeto de estudo (por exemplo, um
evento, sujeito ou processo do mundo real) com algum standard
(padro), como aqueles existentes para quantidades, capacidades
ou categorias. Tradicionalmente, medimos a altura pela comparao
de um objeto com um padro de ps ou de metros; possvel que
meamos xito comparando resultados de avaliaes estudantis a
uma escala percentual; da mesma forma, podemos medir tempera-
tura em centmetros de mercrio em um termmetro. Poderamos
medir a reputao de uma faculdade de direito pedindo a potenciais
empregadores que nos dissessem qual faculdade de direito recor-
reriam primariamente na busca de novos advogados, ou usando
rankings publicados, como aquele da U.S. News and Word Report.
Enquanto a medio envolve a maneira como registrar cada
dado individual, a estimativa envolve a triagem de toda uma
gama de medidas (ou dados) para se analisar uma quantidade
mdia. Suponha-se que analisemos a reputao das faculdades
de direito empregando um questionrio para uma amostragem
aleatria de empregadores. A resposta de cada um deles s questes
do questionrio uma medida, ao passo que a mdia entre todas
as respostas uma maneira de estimar a opinio mdia acerca da

VII. mEDIO E ESTImATIVA
reputao de faculdades de direito entre todos os empregadores

dos Estados Unidos.
O que esse exemplo simples foi concebido para ilustrar que o
processo de se passar de uma concluso observvel, a uma observa-
o das vrias instncias da implicao (em outras palavras, a
medio), a uma estimativa um passo crucial em uma pesquisa
emprica. Isso porque, como acima sugerido, no podemos extrair
comparaes entre variveis imediatamente conceituadas em uma
teoria: no podemos comparar reputaes. O que podemos fazer
comparar os resultados de reputaes que obtemos de determinada
medida delas. Isso significa que nossas comparaes e, em ltima
anlise, nossas respostas s questes da pesquisa so somente to
vlidas quanto o forem as medidas que desenvolvemos. Se tais medi-
das no traduzem adequadamente os conceitos contidos em nossas
teorias, as concluses que extrairemos sero defeituosas.
Dessa forma, nesse Captulo, despendemos um nmero conside-
rvel de pginas com as regras para avaliar medidas e estimativas
e oferecemos sugestes de como melhorar cada uma delas. J que
medidas individuais podem envolver um trabalho rduo muitas
subpartes, e inferncias de fato, que so to difceis quanto a esti-
mativa a distino entre as duas frequentemente arbitrria.
Mantivemo-la porque frequentemente conveniente, como o
aqui, para por de lado certas questes, de modo a focar em outras
mais importantes.
Medio, conforme h pouco referimos, envolve a comparao de

A. mEDIO
um aspecto da realidade com um padro, como existente para

quantidades, capacidades e categorias. Por exemplo, se definirmos
conflito intercircuito como fizeram Lawless e Murray em seus

estudos das decises da Suprema Corte de peties de reviso em

casos de falncia259 como conflito genuno entre pelo menos duas
cortes de circuito ento precisaremos desenvolver uma medida
que capte a definio o mais precisamente possvel. Para Lawless e
Murray, essa medida se a corte originria expressamente declara
seu desacordo com a deciso de outra corte de circuito em relao
a quaisquer das questes apresentadas na petio.260 Se a petio
respeita esse critrio, houve conflito; se no, no houve conflito.
Mesmo a partir deste breve exemplo, resta aparente uma clara
desvantagem de se medir fenmenos: tudo acerca do objeto de
estudo se perde, exceto pela dimenso ou dimenses sendo medi-
das. Isso se passa com quase todos as formas de medida. Resumir
George W. Bush dizendo que ele possui 1 metro e 77 centmetros
de altura obviamente omite toda uma srie de informaes, bem
como o faz reivindicar que s existe conflito quando uma corte de
apelao o percebe. Ainda assim, a medida nos permite colocar na
mesma dimenso eventos ou assuntos aparentemente discrepantes,
tornando muito mais fcil compreender pelo menos um aspecto do
fenmeno em estudo. Ao invs de entender os conflitos entre tri-
bunais por meio de duzentas peties de reviso, analisando o
conjunto de uma s vez, podemos simplificar em muito a tarefa
resumindo-o a duzentos nmeros. Em suma, entender o mundo real
sempre requer certo nvel de abstrao; logo, alguma espcie de
medida ter papel central na pesquisa emprica. O principal abs-
termos as dimenses certas para nossos propsitos e medirmos
dimenses suficientes de cada assunto para captarmos todas as par-
tes que so essenciais questo da pesquisa.
Isso igualmente verdico para uma pesquisa emprico-quantitativa
e para trabalhos qualitativos. Naquela, os pesquisadores geralmente
atribuem valores numricos a suas medidas. Estudos acerca da

separao dos poderes, do tipo que realiza Eskridge,261 oferecem

um exemplo. Se os pesquisadores definirem o membro mdio da
Corte, em determinada dimenso poltica, como aquele magistrado
que est em meio distribuio dos membros da Corte para poltica
de direitos civis, ento eles precisam identificar tal magistrado e,
geralmente, agregar posio poltica do magistrado uma pontuao
numrica da preferncia poltica. Prosseguir dessa forma requer que
os pesquisadores desenvolvam uma medida das preferncias polti-
cas do magistrado, ou que invoquem uma j existente, como aquelas
fornecidas por Segal e Cover262 ou extradas do Banco de Dados
Judicial da Suprema Corte dos Estados Unidos, de Spaeth.263
Embora snteses numricas possam ser convenientes e concisas,
sendo, por definio, precisas, a medida no necessariamente envolve
nmeros como frequentemente o caso na pesquisa qualitativa.
Categorizaes, tais como alto, mdio e baixo, ou Catlico,
Protestante e Judeu so medidas razoveis que podem ser muito
teis, supondo que os pesquisadores definam suficientemente o
padro para medida, de modo que eles (ou outros) possam aplic-lo
de forma no ambgua. Para vermos isso, retornemos aos estudos de
William sobre a Comisso de Valores.264 O que ela deve medir se
a histria legislativa do Securities Exchange Act de 1934 capacita a
Comisso de Valores a requerer publicizao dos balancetes
sociais.265 Suponhamos que ela defina histria legislativa no sentido
estrito para incluir informaes associadas lei a partir de, diga-
mos, comits at a promulgao. Se foi assim que William procedeu,
ela necessitaria, por conseguinte, medir se, a cada estgio do processo
legislativo, as informaes (por exemplo, os informes dos comits,
os debates da cmara e assim sucessivamente) sustentam a sua pro-
posio ou se no o fazem. A medida aqui tende a adquirir a forma
de categorizao o informe ou a declarao embasou ou no

embasou o poder em questo. Ao criar essa categorizao, ou

medida, William evidentemente precisaria ser explcita quanto
quilo que ela consideraria uma declarao embasando e uma no
embasando a sua proposio. isso que procuramos mostrar ao
dizer que os pesquisadores precisam definir o padro para a cate-
gorizao ou medida.
Como os estudiosos deveriam avaliar seus mtodos de medida?
Praticamente todos os esforos nesse sentido envolvem avaliaes
em duas dimenses crticas confiabilidade e validade.
Confiabilidade a extenso qual se pode replicar uma medida,

1. Confiabilidade
reproduzindo o mesmo valor (indiferente de ser este o valor cor-

reto ou no) no mesmo padro para o mesmo tpico a um mesmo
tempo. Se algum de ns pisasse na mesma balana de banheiro
uma centena de vezes consecutivas, e se a balana estivesse fun-
cionando de maneira confivel, ela nos daria o mesmo peso nas
cem vezes consecutivas mesmo se tal peso no fosse preciso.
(Em contraste, uma balana que no s confivel como vlida
mostrar a marcao que no s a mesma como precisa nas cem
vezes consecutivas).
Em outras palavras, em uma pesquisa emprica, ns considera-
mos uma medida confivel quando ela produz o mesmo resultado
repetidamente, indiferente de quem ou do que est efetivamente
realizando a medida. Supondo que Williams tenha desenvolvido a
seguinte medida para avaliar se as declaraes sobre o Securities
Exchange Act de 1934 sustentam a sua teoria de que a Comisso
de Valores tem o poder de requerer a publicizao dos balancetes
sociais: se a autora afirmou que a Comisso de Valores possui
amplos poderes para definir a publicizao, logo a autora sustenta

a sua teoria. Igualmente supondo que ela em seguida classificou

uma declarao feita pelo Senador Fletcher, ento presidente de
Comit do Senado para Assuntos Bancrios e Monetrios, como
corroborador de sua tese, mas outro pesquisador, usando o proce-
dimento de medida descrito no artigo de Williams, no classificou
a mesma declarao como corroborador. Isso forneceria evidncia
de que a medida dela no confivel.
Por que deveria um procedimento de medida no confivel inte-
ressar-nos? Uma das principais razes que eles podem fornecer
evidncia de que o pesquisador, por mais inadvertidamente,
influenciou a medida em favor de sua hiptese preferida. Presuma
que Williams, em sua medida, categorizou 90 por cento de todos
os materiais nos registros legislativos como corroborador de sua
teoria, mas que um outro pesquisador, usando os mesmos procedi-
mentos, encontrou somente 10 por cento corroborador. Temos a
razo para crer que tal medida no s no foi confivel, como tam-
bm o analista manejou-a de maneira tendenciosa.
Eis a razo pela qual, quando os pesquisadores produzem medidas
que outros no podem replicar, isso problema dos pesquisadores:
eles, e no os replicadores, devem assumir a responsabilidade. Mas
o que especificamente deu errado para os pesquisadores? Uma das
principais fontes de no confiabilidade para medidas a vagueza:
se os pesquisadores no podem replicar uma medida, provavel-
mente por que o estudo original no a descreveu adequadamente.
Retornemos ao estudo de Revesz, e lembremos que o autor inte-
ressa-se por definir se as preferncias polticas dos juzes afetam
o desfecho que do a casos ambientais.266 Para medir as preferncias
polticas, ele utiliza o partido do presidente nomeador certamente
uma medida confivel (embora no necessariamente vlida, como
sugerimos na prxima seo); para os desfechos, ele cria uma

dicotomia simples: se a corte reverteu ou no. Enquanto ele nos diz

que trata devolues como reverses,267 ele no relata como
categoriza as disposies listadas na Tabela 5 (sob Legenda dos
Valores) todas as quais, segundo a o Banco de Dados da Corte de
Apelao dos Estados Unidos,268 ocorreram nos tribunais de circuito
do pas.269
TABELA 5:
POSSVEIS DESFECHOS EM CASOS DECIDIDOS
PELA CORTE DE APELAO DOS ESTADOS UNIDOS
VALOR LEGEnDA DOS VALORES
0 PETIO OU REqUERIMENTO ADMITIDO
1 CONFIRMADO; OU AFIRMADO E PETIO NEGADA
2 REVERTIDO (INCLUINDO REVERSO E SUSPENSO)
3 REVERTIDO E DEVOLVIDO (OU S DEVOLVIDO)
4 SUSPENSO E DEVOLVIDO (INCLUSIVE POSTO DE LADO E DEVOLVIDO;

MODIFICADO E DEVOLVIDO)
5 CONFIRMADO EM PARTE E DEVOLVIDO EM PARTE (OU MODIFICADO

OU CONFIRMADO E MODIFICADO)
6 CONFIRMADO EM PARTE, REVERTIDO EM PARTE, E DEVOLVIDO;

CONFIRMADO EM PARTE, SUSPENSO EM PARTE, E DEVOLVIDO
7 SUSPENSO
8 PETIO NEGADA OU APELO RECUSADO
9 ENCAMINHAMENTO A OUTRA CORTE

Se outro pesquisador tenta replicar (ou pr-datar ou atualizar)

o estudo de Revesz, deveria tal pesquisador caracterizar um con-
firmado em parte, suspenso em parte, e devolvido como uma
reverso ou como uma confirmao? Nem os pesquisadores, nem
ns podemos responder a tal questo, porque Revesz no nos diz.
Nessa circunstncia, o melhor seria realizar uma deciso baseada
em critrio subjetivos, que pode ou no ser a mesma que teria feita
Revesz. Isso deprecia a confiabilidade da medida dele.
Como regra, portanto, o julgamento humano deve ser removido,
na medida do possvel, da medida, ou, quando o julgamento
necessrio, as regras em que se baseia o julgamento devem ser
esclarecidas o bastante para torn-las completamente transparentes
aos demais pesquisadores. O principal para se produzir medidas
confiveis est em escrever uma srie de regras muito precisas para
os codificadores (por exemplo, aqueles que lem o caso, perce-
bendo o valor equivalente ao desfecho, e digitando tal valor em um
pacote de software para computador) seguirem com to pouco
quanto possvel deixado para interpretao e julgamento humano.
Essa lista deve ser feita mesmo se o investigador codifica os dados
ele ou ela mesmo, j que, sem ela, outros no conseguiriam replicar
a pesquisa (e a medida). Da mesma forma, uma importante regra
geral imaginar que o pesquisador teve de delegar a um estudante
de direito do primeiro ano a tarefa de classificar cada caso pelo seu
desfecho, e que a nica comunicao permitida entre o pesquisador
e o estudante era atravs de um apndice escrito junto ao artigo
detalhando o esquema de codificao. Esta a maneira de se reali-
zar uma pesquisa e como ela deve ser julgada.
Para ver esse processo em ao, retornemos, mais uma vez, ao
estudo de Revesz. Como primeiro passo, embora Revesz estivesse
interessado unicamente em casos em que o desfecho confirmava ou

revertia a primeira instncia, ele poderia ter sido mais bem-sucedido

caso comeasse com todos os desfechos possveis como listado
no Banco de Dados da Corte de Apelao dos Estados Unidos.
(A Tabela 5 mostra aqueles que constam no banco de dados).
Para obter certeza, o pesquisador deve saber quais valores da
varivel desfecho devem contar como reverso e quais devem
contar como confirmao; e ns devemos requerer que ele espe-
cifique isto (por exemplo, valores 2, 3, 4, 6, 7 = reverso). Mas
comear com valores mais detalhados tem duas vantagens claras.
Em primeiro lugar, quem estiver codificando os dados far menos
erros. Pense nisso desta forma: se Revesz diz antes ao codificador
para considerar os valores 2, 3, 4, 6 e 7 como reverses, o codi-
ficador precisa agir em duas etapas: primeiro, identificar qual o
desfecho e ento identificar se ele uma reverso ou uma confir-
mao. Mas se Revesz simplesmente pede ao codificador para
identificar qual o desfecho, logo o codificador tem somente uma
etapa a completar. J que cada etapa tem a possibilidade de induzir
erros, os pesquisadores devem procurar reduzi-las. Uma segunda
vantagem aparece quando Revesz passa a analisar seus dados. Por-
que ele agora codificou a varivel desfecho muito precisamente,
ele precisar ser capaz de verificar se cada uma das decises ao
codificar afeta suas concluses. Por exemplo, suponha que ele con-
sidere o valor 6 como reverso, mesmo que a Corte confirme em
parte. Visto que isso representa um julgamento da parte dele
(embora seja um que ele deve registrar e, assim, capacitar os outros
a replicar a sua medida) e j que a codificao inversa (contar o
valor 6 como uma confirmao) plausvel, ele ser capaz de
examinar o efeito de seu julgamento nos resultados.
Em seguida, os pesquisadores precisam fornecer instrues cla-
ras para a codificao aquelas que eles, ou qualquer outra pessoa,

possam seguir sem ter de consult-los. A seguir, o Banco de Dados

da Corte de Apelao dos Estados Unidos, d-nos um exemplo:
Este campo registra o desfecho dado pela corte de apelaes

deciso da corte ou agncia abaixo; por exemplo, como a
deciso de primeira instncia tratada pela corte de apelao.
Isto , esta varivel representa o resultado bsico do caso para
os litigantes. [A varivel assume os seguintes valores (ver
Tabela 5 acima), os quais o codificador deveria literalmente
retirar da opinio da corte].270
Finalmente, os pesquisadores devem reconhecer que mesmo com

tais instrues explcitas, erros na codificao ocorrero. Isto se d
porque eles, ou o codificador, podem registrar incorretamente um
valor, ou interpretar mal a deciso da corte. O que eles devem fazer
tentar estimar esse erro atravs da realizao de uma anlise de con-
fiabilidade. Uma maneira simples de faz-lo extrair uma amostra
aleatria (talvez 10% dos casos em estudo) e pedir a outro pesquisa-
dor que os recodifique. Esta foi a abordagem adotada pelos criadores
do Banco de Dados da Corte de Apelao dos Estados Unidos:
Para checar a confiabilidade da codificao, uma amostra

aleatria de 250 casos foi selecionada dos 15.315 casos no
banco de dados. Esta amostra de 250 casos foi ento
independentemente codificada por um segundo codificador,
e os resultados das duas codificaes foram comparados. Trs
medidas de confiabilidade so relatadas, [incluindo] (...) a
simples taxa de concordncia (expressada como percentagem)
entre o cdigo estabelecido pelo primeiro codificador e o
cdigo estabelecido pelo segundo codificador.271

Estudos de peridicos jurdicos raramente empreendem mesmo

esta simples forma de anlise de confiabilidade, embora autores
facilmente pudessem faz-lo e, objetivamente, deveriam querer
faz-lo. Isto porque, presumindo que os pesquisadores sigam o pro-
cedimento que expusemos acima, eles provavelmente obteriam
resultados satisfatrios, o que, por sua vez, lev-los-ia a ter mais
confiana em seus estudos. Isto foi verdico para os compiladores
do Banco de Dados da Corte de Apelao dos Estados Unidos na
sua varivel de desfechos: a taxa de concordncia entre os codifi-
cadores foi de 95,2 por cento.272
Mais cedo observamos que uma balana de banheiro era confivel

2. Validade
se algum subisse nela cem vezes consecutivas e obtivesse o mesmo

valor. Isto, no entanto, no necessariamente quer dizer que a balana
vlida. Se o peso real de algum for 150 e a balana, mesmo uma
centena de vezes consecutivas, relatar 125, no daramos valor
balana. tal preocupao com a preciso que a validade implica.
Validade a extenso qual uma medida confivel reflete o conceito
fundamental sendo medido. Uma balana que no s confivel
como tambm vlida mostra um peso de 150 cem vezes consecuti-
vas; uma balana que mostra um peso de 125 cem vezes consecutivas
confivel, mas no vlida.
Da mesma forma como uma balana de banheiro pode ser con-
fivel mas no vlida, tambm o podem as medidas que evocam os
estudiosos.273 Considere a investigao de Cross e Tiller acerca do
efeito de vrios fatores, inclusive as preferncias polticas dos ju-
zes, sobre as decises da Corte de Apelao dos Estados Unidos.274
Os autores medem as preferncias polticas da mesma forma que o
fez Revesz pelo partido do presidente que os nomeou.275 Sem

dvida, esta uma medida que produziria uma concordncia alta

entre os codificadores: se os codificadores tivessem uma lista das
filiaes partidrias de todos os presidentes uma lista com a qual
concordssemos e soubessem qual presidente nomeou um juiz
em particular, nenhum julgamento subjetivo ser necessrio. Tera-
mos uma medida perfeitamente confivel. Mas ser que tal medida
captura de maneira precisa os conceitos inerentes a preferncias
polticas? Revesz pensa que sim, considerando serem elas um
indicador (...) que tende a ser razoavelmente bom;276 Cross e Til-
ler aparentemente concordam.277 Para alguns propsitos, eles
podem estar perfeitamente corretos, mas, infelizmente, pelo menos
em relao ao uso que dariam a isto, muitos estudiosos teriam pro-
blemas com a inferncia deles. Eles poderiam apontar para um
pressuposto inerente medida de Revesz/Cross e Tille - a saber,
que todos os presidentes republicanos so conservadores e todos
os presidentes democratas so liberais e argumentar que os dados
mostram uma realidade diversa. Na medida feita por Segal do libe-
ralismo econmico dos presidentes, por exemplo, Jimmy Carter
ideologicamente mais prximo a Richard Nixon do que a Lyndon
Johnson.278 Ou, como escrevem Giles e seus colegas, Presidentes
de um mesmo partido poltico variam em suas preferncia ideol-
gicas. Eisenhower no Reagan. De fato, os registros empricos
demonstram que as intenes de voto dos nomeados de alguns pre-
sidentes democratas e republicanos no diferem de maneira
significativa.279 Os estudiosos tambm podem sugerir que outro
dos pressupostos de Revesz e Cross e Tiller a saber, que todos os
presidentes so motivados a nomear juzes que reflitam suas pr-
prias ideologias no est de acordo com vrios estudos que
delineiam outros motivos presidenciais.280 Finalmente, alguns estu-
diosos argumentariam que a medida negligencia um importante

trao institucional do processo de nomeao a saber, a cortesia

senatorial que pode ter efeito de constranger o presidente a deixar
de nomear, para as cortes federais inferiores, um candidato que
espelhe a sua ideologia.281
Resumindo, assegurar-se de que uma medida confivel nada diz
sobre o quanto ela vlida; logo, precisamos assegurar-nos da vali-
dade, bem como da confiabilidade. Infelizmente, verificar a validade
mais difcil do que verificar a confiabilidade. Visto que todas as
concluses sobre o mundo so incertas,282 precisamos identificar o
que vlido significa quando sabemos que nenhum procedimento
de medida nos dar a exata verdade em todas as aplicaes. Isto ,
precisamos reconhecer que mesmo os conceitos de certo e errado
so categorias probabilsticas.
Para definir validade em um mundo onde todas as decises e com-
paraes so incertas, os estudiosos desenvolveram uma srie de
critrios, os quais utilizaram em pesquisas empricas quantitativas e
qualitativas. Ns consideramos trs validade visual, imparcialidade
e eficincia com o embargo de que nenhuma destas sempre neces-
sria, e de que juntas elas nem sempre so suficientes, mesmo que
juntas elas sejam frequentemente teis compreenso de quando
uma medida mais ou menos vlida.
A primeira e mais bsica a validade visual. Uma medida
visualmente vlida se consistente com evidncia prvia, incluindo
toda evidncia, quantitativa, qualitativa e mesmo impressionista
informal. Validade visual no um julgamento casual de plausibi-
lidade; pelo contrrio, requer uma comparao cuidadosa da nova
medida com a evidncia prvia.
Porque a maioria das pessoas reconhece que nem todos os presi-
dentes democratas ou republicanos so semelhantes, uma medida de
preferncias polticas dos juzes que depende do partido do presidente

que os nomeou talvez no passe por este teste. Mas considere outra
medida que possivelmente passe uma desenvolvida por Segal e
Cover.283 Para chegar a esta concluso, os pesquisadores analisa-
ram o contedo de editoriais de jornais escritos entre a nomeao
dos juzes Suprema Corte e sua confirmao:
Ns treinamos trs estudantes para codificar cada pargrafo

[no editorial] identificando ideologias polticas. Os pargrafos
foram codificados como liberais, moderado, conservadores,
ou no aplicvel. Declaraes liberais incluem (mas no se
limitam a) aqueles que do apoio aos direitos dos rus em
casos criminais, a mulheres e minorias raciais em casos de
igualdade, ao indivduo contra o governo em direito privado e
casos da primeira emenda constituio dos Estados Unidos.
Declaraes conservadoras so aquelas com a direo oposta.
Declaraes moderadas incluem aquelas que atribuem
explicitamente moderao aos nomeados ou aquelas que
descrevem valores tanto liberais quanto conservadores.284
Eles ento medem as preferncias de polticas judiciais sub-

traindo a frao dos pargrafos codificados como conservadores da
frao dos pargrafos codificados como liberais e dividindo pelo
nmero total de pargrafos codificados como liberais, conservado-
res e moderados.285 A escala de preferncias polticas resultante
varia de -1 (unanimemente conservador) a 0 (unanimemente libe-
ral). A primeira coluna numrica na Tabela 6 mostra os resultados
dos esforos deles.

TABELA 6:
AFERIO DAS PREFERNCIAS POLTICAS DOS JUzES DA SUPREMA CORTE
NOMEADOS A PARTIR DE 1953286
287
juIz POnTuAO DE SEGAL/COVER VOTOS REAIS
Brennan 1.00 79.5%
Fortas 1.00 81.0
Marshall 1.00 81.4
Harlan 0.75 43.6
Goldberg 0.50 88.9
Stewart 0.50 51.4
Warren 0.50 78.7
Ginsburg 0.36 61.5
White 0.00 42.4
Whittaker 0.00 42.9
Breyer -0.05 59.6
OConnor -0.17 35.3
Kennedy -0.27 37.0
Souter -0.34 57.1
Stevens -0.50 63.6
Powell -0.67 37.4
Thomas -0.68 25.3
Burger -0.77 29.6
Blackmun -0.77 52.9

288
Rechnquist -0.91 21.6
Scalia -1.00 29.7

fcil perceber por que muitos pesquisadores julgam esta medida

vlida visualmente. Claro que h algumas excees (por exemplo,
Warren parece mais liberal do que sua pontuao; Thomas parece
mais conservador do que a sua), mas o resultado geral que ela produz
condiz com a impresso dos estudiosos acerca dos magistrados. Bren-
nan e Marshall, geralmente vistos como liberais, recebem pontuaes
de 1.00; Scalia e Rehnquist, geralmente vistos como conservadores,
recebem pontuaes de -1.00 e -0.91 respectivamente.
Isto uma medida quantitativa; contudo, aquelas desenvolvidas
para a pesquisa qualitativa so facilmente submetidas a testes simi-
lares de validade visual. Considere o estudo de Gerry buscando
abordar a questo de se as cortes estatais interpretam a Constituio
Americana diferentemente do que o fazem as cortes federais.289
Para responder questo, ele foca na reao que tm as cortes fede-
rais inferiores e as cortes estaduais frente a uma deciso da
Suprema Corte, Nollan v. Comisso Costeira da Califrnia.290 Para
pinar as diferenas de interpretao, ele desenvolve uma srie de
medidas de razes judiciais uma das quais o grau da deferncia
com que a corte inferior parece tratar as aes governamentais.291
Aps ler cada uma das opinies, ele as codifica como: (a) uma lei-
tura de Nollan altamente deferente, em que a corte requer apenas
que os agentes governamentais respeitem as mais mnimas normas
de escrutnio instrumental; (b) uma deferncia intermediria em
relao ao governamental; ou (c) Aquelas interpretaes de
Nollan no deferentes, que requerem que as cortes revisionais
conduzam inquritos investigativos sobre a conduta governamental
na regulao do uso da terra.292 Se conhecemos os casos citados
no estudo de Gerry, podemos abordar a validade visual da mesma
forma como abordamos as pontuao de Segal e Cover, isto , per-
guntando-nos se o resultado geral produzido por este esquema de

mensurao convive bem com o nosso conhecimento prvio do

raciocnio utilizado nos casos.
Ademais de serem visualmente vlidas, medidas devem ser apro-
ximadamente imparciais. Um procedimento de medida imparcial
se produz medidas que, em mdia, esto certas aps repetidas apli-
caes; isto , se aplicarmos o mesmo procedimento de medida a
um grande nmero de temas, s vezes a medida ser grande demais
e s vezes pequena demais, mas, em mdia, ela produzir a resposta
correta. Suponha que ns perguntamos a uma centena de pessoas
para subirem em uma balana de banheiro. Nossa balana seria
imparcial se cada pessoa que foi medida fosse mostrada como
sendo um pouco mais pesada ou um pouco mais leve, mas os erros
nos pesos mostrados fossem mnimos. Um exemplo de procedi-
mento tendencioso seria pedir aos sujeitos que dissessem o seu
prprio peso. Muito provavelmente, alguns dariam respostas pre-
cisas, ou respostas que fossem satisfatoriamente certas; outros
reagiriam situao social e subestimariam seus pesos. J que as
subestimadas no seriam canceladas por um conjunto similar de
sobreestimadas, o resultado seria uma medida enviesada.
Este exemplo enfatiza um ponto importante: frequentemente a
maneira mais rpida de se criar uma medida enviesada desenvolver
um procedimento que depende, de maneira enviesada, de respostas
da prpria populao sob anlise. Suponha que ns perguntssemos
aos juzes da Suprema Corte se seu voto no caso Bush v. Gore293
demonstrava suas preferncias polticas. To seguramente quanto
as pessoas subestimam o seu peso, os magistrados diriam que no,
que eles votaram baseados em princpio(s) neutro(s).294 De maneira
mais geral, temos que pedir a algum que identifique seus motivos
um dos piores mtodos de se medir motivos.295 As pessoas fre-
quentemente no sabem, ou no conseguem articular a razo por

que agem como agem. Em outras situaes recusam-se a dizer e,

em outras ainda, elas so estratgicas tanto ao agir quanto ao res-
ponder s questes do estudioso. Isso bvio a partir do exemplo
de perguntar aos magistrados como chegam a suas decises e deve
ser mais bem compreendido pelos juristas que muito frequente-
mente se valem deste procedimento de medida.296 Considere a
anlise de Miller sobre se fatores como vieses locais levam advo-
gados a entrarem com aes em uma corte federal (e no uma
estadual) quando existir jurisprudncia concorrente.297 Temos mais
a dizer sobre tal estudo mais tarde, mas basta agora observar que
para avaliar os fatores que julga relevantes, Miller sonda os advo-
gados. Esta estratgia sofre do problema de que os advogados
podem ter incentivos para esconder suas preferncias sinceras de
um pesquisador que, eles sabem, far recomendaes polticas sobre
a necessidade de jurisdies concorrentes; por exemplo, advogados
que desejam mant-la podem expressar o que eles acreditam ser o
raciocnio mais legtimo para a jurisdio concorrente, e no
aquilo que reflete as suas preferncias verdadeiras.
Procedimentos de medida criativos precisam ser desenvolvidos
para casos como esse. Assim, ao invs de (ou, s vezes, de maneira
adicional) pedir aos inquiridos que respondam s questes da pes-
quisa diretamente, geralmente melhor procurar preferncias
reveladas, que so as consequncias de teorias de motivos que so
diretamente observveis no comportamento real. Traduzindo isto
para o estudo de Miller, ele no tinha necessidade alguma de per-
guntar aos advogados por que eles entravam com aes nas cortes
federais ou estaduais, pois sabia onde eles peticionaram.
Claro, mesmo se os pesquisadores inventarem medidas criati-
vas, eles ainda necessitaro julgar se estas medidas so imparciais
e se tm validade visual. Tal julgamento pode tipicamente existir

somente se eles tiverem uma medida existente, ou desenvolverem

uma nova, a qual possam comparar com a original. Somente pode-
mos saber se a nossa balana de banheiro estima o peso para cima
ou para baixo se compararmos os resultados dela com aqueles de
outra balana, que sabemos serem corretos. Isso tambm verdade
para as pontuaes de Segal e Cover. Para ver se elas so enviesa-
das, ns iramos querer outra medida de preferncias de polticas
judiciais, com o comportamento revelado dos magistrados forne-
cendo-nos uma medida como a porcentagem de votos liberais que
pronunciaram em casos de liberdades civis. Poderamos, portanto,
comparar as pontuaes e votos (ver Tabela 6) a fim de determinar
a extenso, se houver, de parcialidade.298
Esta abordagem no se limita pesquisa quantitativa. Suponha
que William, ou qualquer outro acadmico estudando a histria
legislativa de uma determinada lei, desenvolvesse o tipo de esquema
de categorizao que descrevemos acima: se um documento ou locu-
tor embasava uma interpretao especfica da lei ou no. Se
Williams acabasse por classificar cada discurso ou documento como
favorvel, e os estudos prvios tivessem chegado a concluses diver-
sas, poderamos suspeitar que houve parcialidade no procedimento
de medida. Ns aconselharamos Williams a tomar o mesmo tipo de
medida que recomendamos para a verificao das pontuaes de
Segal e Cover: desenvolver outra para fins comparativos. Neste
caso, talvez fosse til reunir todas as anlises acadmicas da lei em
questo no estudo de Williams (o Securities Exchange Act de 1934).
A interpretao dela no precisa ser a mesma que aquela oferecida
pelos demais, mas ela deve explicar quaisquer diferenas, fornecer
razes pelas quais os estudos prvios estavam errados e analisar as
razes (talvez decorrentes de processos de medida diferentes) pelas
quais as pesquisas prvias chegaram s suas concluses.

Relacionado imparcialidade est um terceiro critrio impor-

tante para julgar a validade, a eficincia. Eficincia ajuda-nos a
escolher entre vrias medidas imparciais, sendo a ideia bsica esco-
lher aquela com a variao mnima. Por exemplo, se tivssemos
acesso a duas balanas de banheiro, cada uma das quais imparcial,
mas uma produzisse erros menores em uma medida, escolheramos
esta ltima. Eficincia, em outras palavras, indica o grau de con-
fiabilidade de medidas imparciais.
Para observar as implicaes para a pesquisa emprica, retornemos
ao estudo de Cross e Tiller.299 Enquanto os autores usam o partido
do presidente nomeador para indicar as preferncias polticas dos ju-
zes de cortes de circuito, muitas outras medidas so possveis.300
Giles e seus associados oferecem uma opo:301 uma medida que
leva em considerao as preferncias polticas do presidente
nomeador (atravs das pontuaes common space para presidentes
elaboradas por Poole),302 assim como as preferncias dos senadores
que podem estar envolvidos no processo de nomeao atravs da
cortesia senatorial (por meio das pontuaes common space para
senadores oferecidas por Poole e Rosenthal).303 Ns sabemos,
devido pesquisa acadmica deles, que tanto a medida de
Cross/Tiller quanto a de Gilles so capazes de, em mdia, predizer
como votaro os juzes. Isto , elas produzem a mesma resposta
para vrios juzes so, em outras palavras, imparciais. No entanto,
tambm sabemos que, s vezes, para alguns juzes, as predies
produzidas pela medida de Cross e Tiller sero em muito afastadas
da realidade.304 Isto se d porque a medida ineficiente. Ela des-
considera a informao e informao importante, como se descobre
depois sobre o processo de nomeao: quando um senador per-
tence ao mesmo partido que o presidente e a vaga para nomeao
referente ao estado do senador, este pode exercer considervel

influncia sobre a seleo de juzes. A influncia dele ou dela pro-

duzir por vezes um juiz mais liberal, e por vezes um mais
conservador, de tal modo que em mdia nenhuma parcialidade
introduzida. Omitir informaes tais, contudo, a definio de ine-
ficincia. E tal a razo pela qual preferiramos a medida de Giles
quela de Cross e Tiller.
De maneira mais geral, quando os pesquisadores so confronta-
dos com duas medidas imparciais, eles normalmente selecionam
aquela mais eficiente. Aplicaes individuais do procedimento de
mensurao baseado em mais informaes (por exemplo, o de Giles)
produzem medidas que contm a resposta verdadeira de maneira
mais aproximada do que aqueles baseados em menos informaes
(por exemplo, o de Cross e Tiller). O resultado que qualquer apli-
cao individual da medida com mais informao tender a produzir
uma resposta mais aproximada da verdade do que qualquer aplica-
o individual da medida com menos informao.
Isso se mantm verdico para a pesquisa quantitativa, como os
nossos exemplos at agora ilustram, bem como para um trabalho
mais qualitativo, incluindo pesquisas que buscam identificar se a
histria legislativa de uma lei favorvel a uma interpretao par-
ticular desta mesma lei. Reconsidere o estudo de William sobre se
a histria legislativa do Securities Exchange Act de 1934 permite
Comisso de Valores requerer algum grau de publicizao dos
balancetes sociais.305 Suponha que Williams mensure a histria
legislativa atravs da anlise de contedo de discursos, e somente
discursos, realizados no Congresso. Indubitavelmente, se tivssemos
alguma maneira de saber a verdade exatamente quais as inten-
es dos membros do Congresso a abordagem de Williams por
vezes a refletiria, e por vezes no. Se os discursos revelassem a
inteno do Congresso, como s vezes o fazem, Williams acertaria;

se os discursos fossem proferidos por outras razes, como apazi-

guar os constituintes, ele talvez no acertasse. Mas isso no
necessariamente significa que a medida dela tendenciosa, pois o
conceito de imparcialidade que a medida no tenda em uma dire-
o em particular. Se os legisladores proferem discursos para
explicar suas posies para os constituintes, ao invs de para arti-
cular a histria legislativa, no restaria claro se tais discursos
apiam um grau de divulgao social sistematicamente mais alto
ou baixo do que o correto. Agora suponha que outro pesquisador
aparea e mea a inteno pela considerao dos discursos, relat-
rios de comits, testemunhos e semelhantes. Mesmo com toda a
informao adicional, esta abordagem provavelmente no produzir
a resposta correta todas as vezes, porque alguns dos mesmos fatores
perturbadores (por exemplo, legisladores proferindo discursos para
apaziguar constituintes) afetaro a medida. Ainda assim, se ambas
as estratgias de mensurao so de fato imparciais certas em
mdia, mas no necessariamente certas para uma aplicao indivi-
dual preferiramos a segunda, pois baseada em mais informao;
mais eficiente do que a primeira.
Poderamos continuar, visto que a bibliografia acerca de mensu-
rao imensa, e mal comeamos a resumi-la. De fato, campos de
estudos inteiros so consagrados mensurao de bem-estar psico-
lgico, sade, renda, educao, felicidade, respostas a enquetes,
inteligncia e numerosas outras questes. Escrevemos isso no neces-
sariamente para incentivar os professores de direito a se afundarem
nesta vasta literatura, mas para deixar registrada uma observao de
cautela (em outras palavras, somente tocamos a superfcie deste
tpico) e, o que ainda mais relevante, para enfatizar que os estudos
deles no precisam ocorrer em um vcuo. Se a pesquisa torna neces-
sria a medida da renda, fale com um economista. Se requer uma

medida de democracia, fcil encontrar cientistas polticos e soci-

logos que dedicaram suas carreiras ao assunto.
Estimativa uma medida em escala maior. A ideia dividir a tarefa

B. ESTImATIVA
de inferncia em dois passos. No primeiro, os pesquisadores ado-

tam medidas sobre uma nica coisa, isto , eles fundamentalmente
fazem uma deduo sobre uma unidade de observao. Faz-lo
requer que eles decidam um padro de medida, uma medida espe-
cfica, como selecionar observaes naquela medida e, ento, o
mtodo para extrair tais observaes. Aqueles que desejam estudar
as intenes legislativas, por exemplo, precisam selecionar uma
medida de inteno legislativa que seja confivel e vlida (por
exemplo, discursos parlamentares, relatrios de comits, e assim
por diante). Em seguida, como discutiremos no Captulo VIII, eles
precisam especificar como planejam selecionar suas observaes a
fim de que sejam capazes de fazer dedues sobre a populao. Por
exemplo, els levaro em conta todos os discursos, extrairo uma
amostra aleatria de discursos, eles criaro uma amostra daqueles
discursos que lhes so evidentes, ou invocaro algum outro
mtodo? Finalmente, eles precisam coletar e codificar essas obser-
vaes. Para um estudo de intenes legislativas, isso pode
resumir-se a determinar se cada discurso (a unidade de observao)
favorvel ou no favorvel a uma determinada interpretao da
inteno legislativa.
No segundo passo, o pesquisador tambm realiza uma deduo,
mas no nvel de uma populao, e no em relao a uma s unidade
de observao. Isso envolve identificar uma quantidade mdia na
populao e invocar uma srie de medidas para estimar a quantidade
necessria. Suponha que os pesquisadores extraiam uma amostra

aleatria de discursos proferidos no Congresso (constituindo cada

discurso uma unidade de observao). Provavelmente no lhes inte-
ressa muito se um determinado discurso foi favorvel a uma
determinada interpretao das intenes legislativas. O que eles que-
rem saber se, caso eles tivessem coletado todos os discursos, tais
discursos seriam, em mdia, favorveis determinada interpretao
da inteno legislativa. Eles ento utilizariam uma srie de medidas
para estimar essa quantidade, a mdia, em relao populao.
Para avaliar boas estimativas, utilizamos dois dos mesmos crit-
rios que discutimos acima para medidas imparcialidade e eficin-
cia. A estes, adicionamos um terceiro a consistncia. A ideia aqui
que, medida que inclumos mais medidas de mais assuntos em
nossa estimativa, deveramos chegar mais e mais perto da verdade.
No exemplo acima, quanto mais discursos os pesquisadores pude-
rem coletar, mais a mdia em sua amostra ir se aproximar mdia
na populao-alvo.
Exemplos disto dificilmente so encontrados nos peridicos de
direito. Isso provavelmente no porque eles no existam. O pro-
blema, suspeitamos, reside na falha dos estudiosos em documentar
de maneira precisa os procedimentos que os levaram s estimativas.
Vemos evidncia disso em pesquisas legais quantitativas, mas
parece ocorrer com mais frequncia em trabalhos empricos quali-
tativos como as anlises doutrinrias ou investigaes de inteno
em que os estudiosos raramente especificam como foi que deter-
minaram se as decises da corte ou os materiais legislativos so,
em mdia, favorveis interpretao que eles oferecem.
lamentvel, porque realizar tais estimativas com frequncia
exatamente o que os autores desejam fazer, e, de fato, fazem. Falhar
ao explicar seus procedimentos, no entanto, torna suas dedues por
demais incertas. Considere a tentativa de Kramer306 de enfrentar as

crticas de Wechsler em As Salvaguardas Polticas do Federalismo

(The Political Safeguards of Federalism), onde argumentou que a
existncia de estados como entidades governamentais e como fontes
do direito , por si s, determinante primria de nosso federalismo
vigente, caracterizando a natureza e o escopo do nosso processo
legislativo nacional desde o seu comeo.307 Sendo assim, os esta-
dos no necessitam espelhar-se na Suprema Corte para proteger-se
de incurses do Congresso em seu poder; em verdade, a Corte est
em situao frgil quando ope a sua interpretao da Constituio
quela do Congresso em matria dos interesses estatais.308 Aqueles
que criticam Wechsler respondem argumentando que os Fundadores
queriam e esperavam que a Suprema Corte protegesse os estados
de atuaes invasivas por parte do Congresso.309 Em seu esforo
de examinar tais reivindicaes concorrentes, Kramer poderia ter
vasculhado os registros histricos e jurisprudenciais de acordo com
as regras de inferncia e (o que aqui particularmente relevante)
estimado o quanto decises antigas da Corte, por exemplo, foram,
em mdia, favorveis s afirmaes de Welchner ou s de seus cr-
ticos. Mas no foi isto que ele resolveu fazer. Em lugar disto, o
ensaio repleto de estimativas (por exemplo, os magistrados
nada fizeram para restringir o poder em relao aos estados durante
todo o perodo que antecedeu a guerra)310 s quais no se tem cer-
teza de como Kramer chegou.311
O mesmo problema aflige o estudo qualitativo de Lin de discursos
tradicionais invocados pelos tribunais em casos envolvendo ado-
es por casais homossexuais discursos que tornam difcil o
estabelecimento de famlias por gays e lsbicas.312 Como Kramer, o
autor oferece numerosas estimativas por exemplo, os tribunais
frequentemente adotam a ideia errnea de que pais gays e lsbicas,
atravs da interao com seus filhos, influenciaro, de alguma forma,

as crianas a tornarem-se homossexuais as quais ele sustenta com

pouco mais do que citaes casusticas sequenciais.313
Isto significa que as estimativas de Kramer e Lin so necessaria-
mente incorretas? No. No entanto, porque nenhum deles especifica
os procedimentos que os levaram at elas, impossvel saber se elas
esto ou no erradas. Simplesmente no podemos dizer, com algum
grau de certeza, se as estimativas que esses pesquisadores oferecem
sustentam as suas concluses.

VIII.
SELEO DE OBSERVAES
Como sugerido acima, a seleo e coleta de observaes uma ponte

crucial entre medio e estimao. A questo aqui toma a seguinte
forma: como os pesquisadores devem selecionar as observaes a
ser includas em seus estudos? Suponha que um pesquisador queira
compreender, por via de uma anlise de decises da corte, a razo
pela qual os juzes afastam-se das diretrizes de sentena judicial dos
Estados Unidos. Como ele deve decidir de que casos coletar dados?
E quanto ao pesquisador que quer estudar se a polcia obedece ao
precedente Miranda pela elaborao de entrevistas com a polcia?
Como ele deve determinar quais policiais entrevistar?
H vrias regras para responder a essas questes. Abaixo, ns ana-
lisamos quatro, as quais so, a despeito de ser a pesquisa qualitativa
ou quantitativa, essenciais para alcanar inferncias vlidas: (1) iden-
tificar a populao de interesse; (2) coletar o mximo de dados pos-
svel; (3) registrar o processo pelo qual os dados foram observados;
e (4) coletar dados de uma maneira que evite o vis de seleo.
Quando coletamos dados para fazer concluses, identificar a popu-

A. IDEnTIfICAR A POPuLAO-ALVO
lao-alvo (ou populao de interesse) um passo crtico. Tal

significa que todos os casos, sujeitos, pases ou outras unidades
em um espao de tempo especfico sobre o qual o pesquisador cole-
taria informaes se o tempo e os recursos no fossem restritos.
Se o objetivo estimar a idade mdia nos Estados Unidos, ento a
populao de interesse inclui todos os seres humanos atualmente
vivendo nos Estados Unidos, onde o investigador clara e precisa-
mente define os conceitos de seres humanos, Estados Unidos,

VIII. SELEO DE OBSERVAES
vivendo e idade. Deve ser possvel, em princpio, mesmo que

no na prtica, a coleta de todos os membros dessa populao, e a
definio da populao deve ser suficientemente clara de maneira
a no existir nenhuma ambiguidade quanto a quem est includo e
quem est excludo.
Essa tarefa pode parecer simples, mas vrios exemplos na literatura
jurdica sugerem o inverso. Considere o exame minucioso de Fried-
man da histria da counter majoritarian difficulty,314 um termo
que Bickel cunhou para refletir o problema de permitir que juzes
no-eleitos vetem a legislao passada pelos representantes eleitos.315
Ao desenvolver essa histria, Friedman tenta refutar uma parte do
juzo convencional, qual seja, que a crtica ao exerccio de reviso
judicial da Corte corria em uma seta direta dos tempos de Lochner
at o New Deal,316 com a natureza dessas crticas adquirindo formas
similares. Para tanto, Friedman detalha algumas crticas especficas
que surgiram durante a Era Progressiva/Populista e o perodo do New
Deal. Quanto primeira, ele aponta para, entre outros, um comentrio
feito por Theodore Roosevelt: Aqui os tribunais decidem se ou no
(...) as pessoas devem ter cumpridas a sua vontade; para o perodo
do New Deal, ele cita uma frase escrita para Franklin Roosevelt por
um correspondente: Nove HOMENS VELHOS, cuja idade total
soma cerca de 650 anos, deveriam ter ajuda adicional.317
O objetivo de Friedman, assim, alcanar uma inferncia descri-
tiva; ou seja, usar essa amostra de citaes para traar uma afirmao
geral sobre a populao. Mas qual essa populao? Todas as crticas
feitas por algum contra a Corte? Aquelas feitas por ou para polti-
cos? Aquelas na mdia? As registradas em livros de histria? E qual
o espao temporal de interesse? O perodo do New Deal comea
com a eleio de Roosevelt ou com suas primeiras propostas econ-
micas? Ele acaba com a Segunda Guerra Mundial, com a morte de

Franklin D. Roosevelt, ou com algum outro fato? difcil responder

a essas perguntas por meio dos exemplos e narrativas de Friedman,
uma vez que ele nunca especifica o objeto preciso de sua inferncia.
O conhecimento emprico requer menos ambiguidade, porque sem a
clara identificao da populao-alvo, avaliar a qualidade das infe-
rncias e a incerteza de suas concluses torna-se impossvel. Mesmo
que Friedman seja incapaz (por qualquer razo) de investigar cada
um dos elementos em sua populao, ele deve estar certo quanto a
qual essa populao e, ao menos em teoria, estar apto a identificar
todos os seus membros. O objetivo geral crtico, mas mundano: o
pesquisador pode atingir um objetivo mais facilmente se este objetivo
est claramente identificado.
O estudo de Friedman qualitativo, mas o mesmo pressuposto
mantm-se para trabalhos quantitativos. Um exemplo a investi-
gao de Veilleux sobre aquilo que ela hipotetiza serem as maiores
causas de declnio na proporo de suspenses de execuo conce-
didas pelas cortes federais: mudanas nas interpretaes concer-
nentes doutrina do abuso de lei (?) (abuse of the writ doctrine)
e aumento da ateno ao interesse dos estados.318 Para investigar
essas explicaes; isto , para traar uma inferncia causal, ela ana-
lisa uma amostra de decises de suspenso publicadas entre 1981
e 1995 pela Suprema Corte, pelas Cortes de Apelao do Quinta e
do Dcimo Primeiro Circuito, e por todas as cortes federais distri-
tais localizadas nessas regies.319 Tal demonstrado; o que ela
deixa de definir, no entanto, a populao relevante em torno da
qual ela quer elaborar a inferncia causal. So todas as suspenses
concedidas por todas as cortes federais desde o comeo do tempo?
So todas as suspenses publicadas? So todas as suspenses publi-
cadas desde 1981?
A ltima dessas trs populaes parece sensata, mas no deve-

mos nunca ter de adivinhar como devemos neste caso, assim

como no artigo de Fischer, tentando explicar a afirmao da posio
dos acordos entre acusao e defesa na justia criminal.320 No in-
cio, Fischer escreve o seguinte:
Devemos seguir o curso de ascenso dos acordos entre defesa

e acusao para atentarmos para a fonte de sua fora. Contarei
a histria de como ele se desdobrou na Amrica, apesar de que
as suas primeiras instncias possam tambm ter ocorrido em
outros lugares, e apesar de que os acordos entre defesa e
acusao, dentro de um tempo, espalhar-se-ia pelo mundo
da common law e alm, ele primeiro triunfou aqui. Dentro
da Amrica, focarei em Massachusetts.
(...) Dentro de Massachusetts, focarei principalmente em seu
maior condado, Middlesex County [,](...) onde trabalhei como
promotor, uma experincia que tornou familiares para mim os
rumos de seus tribunais e talvez ainda mais ciente da maneira
como as coisas mudaram. Dentro de Middlesex County,
olharei mais atentamente camada mdia do sistema judicial
do condado, a qual possui jurisdio sobre todos os crimes,
exceo dos mais srios. 321
Mas qual o real objetivo de sua inferncia? Baseado em sua

descrio e em nossa leitura de seu ensaio, poderia ser qualquer uma
das seguintes: acordos entre defesa e acusao (1) no mundo; (2)
nos Estados Unidos; (3) em Massachusets; (4) em Middlesex, o
maior condado de Massachusets; (5) na camada mdia do sistema
judicial do condado; ou talvez algum outro lugar. A lista de possibi-
lidades aparentemente infinita, mas no deve e no precisa ser
assim; o autor deve tornar conhecido o objeto de cada inferncia.

Se descritiva ou causal, a inferncia aprender sobre fatos que no

B. COLETAR TAnTOS DADOS quAnTO POSSVEL
conhecemos pelo uso de fatos conhecidos requer fatos. Conhecer

mais desses fatos (conforme as regras citadas aqui) deve melhor-la.
Assim, para retornar aos exemplos supracitados, se Friedman quer
fazer afirmaes sobre os tipos de crticas dirigidas Corte feitas
durante as eras Progressiva/Populista e a do New Deal; isto , para
usar as crticas sobre as quais ele aprendeu para alcanar concluses
sobre a populao das crticas, ele deve coletar o mximo de crticas
possvel (valendo isto tambm para Veilleux e Fischer).
Simplesmente, quando existe uma oportunidade de coletar mais
dados, ns em geral devemos obter proveito disso. Devemos tambm
julgar a pesquisa emprica por quanta informao o pesquisador traz
para confrontar a inferncia em questo. Se um pesquisador baseia
suas inferncias em relativamente pouca informao, ento qualquer
concluso ser especialmente incerta. Se, entretanto, ele capaz de
mobilizar uma quantidade massiva de informao, ento as respostas
para as questes colocadas pela pesquisa podem mesmo estar corre-
tas o suficiente para mudar o curso da literatura jurdica ou para reco-
mendar polticas pblicas que afetam muitas pessoas.
Uma vez que todas as observaes so incertas, e todas as fontes
de observaes tm talvez tipos diferentes de erros de mensurao,
nosso conselho quanto coleta de mais dados no apenas ou
necessariamente significa coletar mais de um mesmo tipo (como
aumentar do nmero de observaes). De fato, pode ser especial-
mente til a coleta de dados de muitos tipos diferentes de muitas
fontes diferentes.
Em certo sentido, esta recomendao remete-nos ao nosso primei-
ro conselho de listar todas as implicaes observveis de uma teoria,
mesmo aquelas para cuja observao falta ao pesquisador tempo e

recursos. Para observar isto, reconsidere uma das explicaes que

Veilleux oferece para o aumento de negativas de suspenses de exe-
cuo: a deferncia das cortes federais para com os estados.322 Se
esta teoria se mantivesse, ento o pesquisador poderia desenvolver
implicaes observveis que transcendam a rea legal especfica sob
anlise; ou seja, se as cortes federais acatam as solues dos estados
nas questes de a quem ou no executar, ento elas podem estar aca-
tando suas medidas em outras reas tambm. Veilleux poderia ento
medir e coletar observaes nessas outras reas, seguindo, desse
modo, a regra que dita que quanto mais dados, melhor.
No entato, essa regra vai alm da mera listagem de todas as obser-
vaes implicveis; tambm requer que os pesquisadores empreen-
dam procuras amplas por diversos tipos de dados, ainda que sobre
uma implicao particular. Se Friedman est interessado nos tipos
de crticas da Corte do New Deal feitas por uma ampla gama de ato-
res, incluindo cidados, acadmicos, polticos e outros, ento o tipo
de dado que ele ou outro poderia coletar igualmente amplo: antro-
polgicos, etnogrficos, histricos, arquivsticos, de estudos inves-
tigativos; dados agregados; entrevistas apronfundadas com algumas
pessoas; comparaes entre cortes; e mesmo comparaes entre pa-
ses, para citar apenas alguns exemplos.
Ns no queremos insinuar que os pesquisadores devam passar
anos coletando dados para cada projeto de pesquisa individual; reco-
nhecemos que vrias outras restries pessoais e profissionais,
somadas s cientficas afetam as decises de pesquisa de maniera
bastante razovel. Se fossem oferecidas escolhas, todavia, os pesqui-
sadores deveriam quase sempre optar por colher os dados. Se eles
possuem um jeito fcil de coleta de dados, mesmo os parcialmente
relevantes ao projeto, eles deveriam utiliz-lo. Se os procedimentos
para a coleta de dados para outro projeto puderem ser ligeiramente

Pesquisa emPrica em Direito: as regras De inferncia
alterados para serem relevantes ao projeto dos pesquisadores sem

muitos problemas, ento que assim se proceda. Uma vez que a maior
tarefa confrontada por um pesquisador emprico a realizao de
inferncias, base-las em mais dados de uma maneira apropriada no
far nenhum mal.
C. RegistRaR o pRoCesso pelo qual
A despeito de como os pesquisadores procedem quanto seleo de

os dados vm a seR obseRvados
suas observaes, inferncias vlidas requerem informaes sobre o

processo de gerao de dados.323 Um estudo que fornece informa-
es insuficientes sobre o processo pelo qual os dados vieram a ser
observados pelo investigador no pode ser replicado e, dessa manei-
ra, viola a regra que articulamos no Captulo II. Igualmente impor-
tante, ele quebra o vnculo presumido entre os fatos que temos e os
fatos que gostaramos de conhecer, e dessa forma no tem serventia
para a elaborao de inferncias em torno da populao. Finalmente,
como explicamos abaixo, somente conhecendo o processo pelo qual
eles obtiveram os dados, os pesquisadores podem determinar se
algum vis aflige suas inferncias.
A lista de publicaes de artigos de direito que no seguem esta
recomendao longa. Muitas, como a de Friedman, Lin e Kramer,
so qualitativas. Mas estudos quantitativos no so imunes violao
dessa crtica regra de inferncia. No Captulo II ns apontamos dois,
o exame de Mann de crdito segurado (secured credit)324 e o estudo
em grupo de Eisenberg sobre a sentena do jri nos casos capitais.325
Mas h vrias outros trangressores. A investigao de Anderson e
Rowe sobre como vrias regras podem induzir ao acordo entre as
partes de um processo fornece um exemplo interessante.326 Para
enfrentar esta questo, os pesquisadores mandaram um disquete de

computador (contendo um programa interativo de simulao de

litigios) para cerca de 1.310 advogados. (Dizemos cerca de porque
impossvel especificar, de sua descrio, o nmero na sua amostra
original). O que eles nos dizem que 131 advogados completaram a
simulao, o que representa uma taxa de resposta de aproximada-
mente 10%.327 Mas como eles projetaram essa amostra? Tudo o
que eles dizem acerca da gerao de dados que comearam com
uma lista de advogados (quantos, ns no sabemos) que obtiveram
da American Inns of Court Foundation e mandaram questionrios
para advogados atuantes de Inns selecionados, escolhidos por dis-
perso tanto geogrfica como referente ao tamanho da cidade.328 A
partir dessa descrio, podemos supor que certos vises existem em
sua amostra final de 131 advogados (por exemplo, um vis para com
advogados com tempo suficiente e conhecimentos para rodar uma
simulao de computador), mas, porque os pesquisadores no forne-
ceram praticamente nenhuma informao quanto ao processo de
gerao de dados, ns no podemos estipular muitos outros vises.
Isto torna qualquer inferncia alcanada por eles quanto a se cer-
tas regras induzem ao acordo entre advogados vlida para a amostra
final de 131 advogados (que em si de pouco interesse), mas no
necessariamente vlida para a amostra desejada de 1.310 advogados
para a qual a pesquisa foi enviada, e provavelmente invlida para o
alvo de populao de todos os advogados. O nico elo entre a popu-
lao e a amostra final observada o processo pelo qual os dados
vm a ser observados. Todos os mtodos de inferncia que procuram
buscar conhecimento sobre uma populao com dados de uma
amostra requerem conhecimento desse processo. Sem esse conhe-
cimento, somos relegados a elaborar assunes tericas injustifica-
das sobre fatos fceis de se conhecer e concluses substanciais bem
mais incertas do que o necessrio.

Para outro exemplo, considere a pesquisa de Mill sobre o estado

versus as estratgias clnicas elaboradas para ajudar mulheres que
sofreram violncia domstica, na qual ela hipotetiza que formas par-
ticulares de interveno estatal, como priso mandatria e ajuiza-
mento de ao pode fazer mais mal do que bem s mulheres.329
Para avaliar essa afirmao, Mills realiza o que ela chama de uma
anlise clnica, comparando as estratgias que assistentes sociais
e outros clnicos utilizam quando esto lidando com mulheres que
foram submetidas violncia domstica com aquelas estratgias
invocadas pelo Estado.330 Essa comparao d-se por meio de um
exame dos cursos de ao prescritos em determinados livros e artigos
escritos por clnicos, de um lado, e pela seleo de prticas governa-
mentais. (Estipulamos, com o propsito de isolar um problema meto-
dolgico por vez, que essas fontes so representativas da prtica
emprica real, mesmo que possamos razoavelmente questionar essa
afirmao e, em verdade, provavelmente devssemos sujeit-la a uma
investigao emprica separada).
Dado que Mills no especifica o objeto de sua inferncia, ao menos
quanto s estratgias clnicas, suponhamos que se trata de cada curso
de ao j prescrito por clnicos em livros e artigos. Da mesma manei-
ra, uma vez que ela no revela como escolheu os determinados livros
e artigos para sua anlise de fato, o nico elemento que ns, leitores,
conhecemos com propriedade que ela no coletou cada curso de
ao j prescrito nas obras escritas dos clnicos assumamos ainda
que as observaes que ela analisou em seu estudo representem o pro-
duto de um de dois mecanismos de seleo, que so bem comuns em
peridicos jurdicos: ou o pesquisador exerce discrio completa sobre
quais observaes sero includas (processo por vezes denominado
amostragem proposital) ou escolhe observaes porque elas so
convenientes ou visveis (processo denominado convenincia ou

amostragem fortuita). Se Mills procedeu de uma das duas maneiras,

completamente possvel que um vis ode uma forma ou outra infecte
sua amostra e, consequentemente, quaisquer inferncias que ela espe-
re traar.331 Esses vieses podem manifestar-se em uma amostra de
observaes por meio da sustentao imprpria da concluso que ela
pretendia alcanar (seleo de prticas clnicas que ela acredita que
ajudam mulheres), ou de uma maneira mais sutil (mas no menos per-
niciosa) que descrevemos em seguida. Agora, suponha que Mills cole-
tou dados sobre todos os elementos de sua populao cada curso de
ao j prescrito nas obras escritas por clnicos. (Continuamos a esti-
pular que esses escritos representam a prtica emprica). Obviamente,
o mesmo tipo de vieses no estaria presente; pela incluso de todas
as estratgias sugeridas por clnicos, a amostra no incluiria, por
exemplo, apenas aquelas que so condizentes com a sua tese.
D. VERIfICAR O PROCESSO PELO quAL
Assim como pesquisadores podem introduzir vieses em seus estudos

AS OBSERVAES POTEnCIAIS SO GERADAS
quando eles elaboram amostras no-representativas, o mundo que

cria uma srie de dados potencialmente observveis tambm pode
gerar vis nas inferncias, se ele se difere sistematicamente da popu-
lao-alvo. Portanto, ainda que os pesquisadores sigam nosso con-
selho e coletem todos os elementos na populao, eles podem ser
incapazes de alcanar inferncias vlidas sobre aquela populao.
Especialmente preocupante quando o mundo, e no o investiga-
dor, invoca uma regra de seleo tal que aqueles itens que de alguma
maneira adentram a populao disponvel so correlacionados com a
varivel dependente (Y), mesmo aps levar-se em conta a varivel
explicativa (X). Infelizmente, isso acontece com bastante frequncia
no mundo jurdico. Entre os mais proeminentes exemplos, esto estu-

dos que baseiam suas inferncias exclusivamente em opinies publi-

cadas, em vez de fundamentarem-se em toda a populao de opinies,
publicadas e no-publicadas. Assim foi o esforo de Kerr, tentando
explicar a reviso judicial das decises de agncias administrativas
na era ps-Chevron.332 Entre as explicaes que ele oferece, como
percebemos anteriormente, encontra-se uma teoria contextual: juzes
continuam a utilizar fatores tradicionais na adjudicao dos casos
semelhantes a Chevron, em detrimento do teste de dois passos de Che-
vron em outras palavras, eles desafiam a Suprema Corte.333 Para
corroborar essa explicao, Kerr coletou dados em todas as decises
das cortes de circuito publicadas entre 1995 e 1996 que aplicavam o
precedente Chevron.334 Agora, se tudo o que Kerr pretende fazer
alcanar concluses sobre como os juzes de cortes de circuito lidam
com Chevron em opinies publicadas por eles entre 1995 e 1996 (em
outras palavras, se este o objeto de sua inferncia), ento sua abor-
dagem mais que aceitvel; ela realmente encontra-se em consonn-
cia com nossa sugesto de coletar todos os elementos na populao.
Se, no entanto, ele tenta traar assertivas mais gerais sobre como Che-
vron tem sido encarado nas cortes de apelao da nao como ele
faz na concluso de seu artigo suas inferncias so infundadas. Isso
porque o mundo jurdico conspirou contra ele de uma maneira que
ele no compensou. Esse mundo seus juzes, na verdade invoca
uma regra de seleo que pode estar correlacionada com Y, em razo
de X: a regra disciplinando a publicao de opinies. Enquanto esta
regra ordena os juzes a publicar somente aquelas opinies que so
de valor jurisprudencial geral,335 uma grande parte da literatura
sugere que a regra suficientemente vaga para permitir que juzes de
cortes de circuito publiquem ou no, como julgarem melhor.336
Suponha ento, como a literatura tambm sugere, que os juzes
das cortes de apelao faam uso estratgico de sua discrio 337 -

publicando opinies que seguem os precedentes da Suprema Corte

(por exemplo, Chevron) e negligenciando a publicao daquelas opi-
nies que no os seguem, com o objetivo de evitar a revogao. Se
assim for, logo qualquer inferncia que Kerr alcanar somente basea-
do nas opinies publicadas ser enviesada, e tal vis ser para uma
direo previsvel: ele vai superestimar o efeito de Chevron. Isso
exatamente o que Kerr fez. Baseado em seus dados, ele concluiu que
os juzes das cortes de circuito no continuaram a usar fatores tradi-
cionais na adjudicao dos casos semelhantes a Chevron, mas basea-
ram-se no precedente de Chevron: Estranhamente, o melhor guia
para prever resultados sobre o Chevron o prprio Chevron.338 Tal-
vez ele esteja certo, mas dado o visinduzido em sua anlise por meio
de uma regra de seleo que pode estar altamente correlacionada com
a varivel dependente, suas concluses so infundadas e podem ser
exatamente o oposto da realidade emprica.
E. Em ESTuDOS AmPLOS, ESTABELECER umA AmOSTRA
Se as circunstncias impedem que os pesquisadores coletem dados

DE PROBABILIDADE ALEATRIA
de todos os membros da populao, mas eles possuem recursos para

coletar um grande nmero de observaes, eles devem estabelecer
uma amostra de probabilidade aleatria uma amostra em que cada
elemento na populao total tem uma conhecida (e preferencialmente
a mesma) probabilidade de ser selecionado.
Antes que expliquemos as vantagens dessa estratgia de seleo,
sejamos claro quanto ao que isso acarreta: amostragem de probabili-
dade aleatria envolve a identificao da populao de casos e a sele-
o de um subgrupo conforme a regras conhecidas de probabilidade.
Para fazer isso, a cada membro da populao deve ser designada uma
probabilidade seletiva, e a seleo na amostra observada deve ser

realizada de acordo com essas probabilidades.339 Seleo aleatria,

portanto, no seleo fortuita ou seleo de convenincia ela segue
regras muito especficas e, na vasta maioria dos estudos, ocorrer
somente se o pesquisador escolher invoc-la intencionalmente.
Existem vrias formas diferentes de amostragem de probabilidade
aleatria. Em probabilidade de amostragem igual, todas as observa-
es sobre a populao possuem uma mesma chance de serem inclu-
das no estudo. Considere o pesquisador que quer compreender, por
via de uma anlise de decises da corte, por que os juzes afastam-
se das diretrizes do Federal Sentencing Reform Act. Suponha que ele
possui uma lista de todos os mil casos envolvendo as diretrizes agru-
padas no Act (com mil casos representando uma figura hipottica) e
deseja estabelecer uma amostra de cem casos ou dez por cento.
Amostragem aleatria de igual probabilidade envolve designar para
cada caso a mesma probabilidade de seleo e selecionar apenas cem.
Uma maneira de fazer isso seria extraindo um grupo de cem nmeros
daquilo que se conhece como uma distribuio uniforme dos nme-
ros inteiros de 1 at 1000. Esse processo equivalente a escrever
os nmeros de um at mil em fichas de pquer, misturar todas em
um barril, aleatoriamente escolher uma, escrever o nmero, colocar
a ficha de volta no barril, e repetir o processo at o investigador obter
uma lista de cem nmeros.340
Um problema potencial com essa abordagem aparece quando o
investigador tem em mente uma varivel causal chave. Suponha que
estamos interessados no efeito causal do partido poltico dos juzes
da corte distrital federal sobre a probabilidade de afastamento das
diretrizes para sentenas judiciais; ns afirmamos ser mais provvel
que os Republicanos afastem mais do que os Democratas. Se os
recursos permitirem-nos selecionar, por exemplo, cem casos e assim
fizermos aleatoriamente com igual probabilidade de seleo, ns

podemos, por acaso, ter uma amostra sem nenhum Republicano, tor-
nando impossvel traar inferncias causais. Mesmo se acabarmos
com muito mais Democratas que Republicanos, nossa concluso cau-
sal seria ineficiente (teria uma maior discrepncia) do que uma com
nmeros iguais de cada.
Para salvaguardar-se das ineficincias de ocorrncias ao acaso, aca-
dmicos utilizam com frequncia a tcnica da amostragem aleatria
estratificada. A ideia extrair diferentes amostras aleatrias de igual
probabilidade de seleo dentro de cada categoria de outra varivel.
No presente exemplo, estratificar pela varivel chave explicadora seria
especialmente til, j que garante um nmero fixo de observaes
(presumidamente um nmero igual) dentro das categorias de juzes
Republicanos e Democratas e, portanto, pode ser usada para maximi-
zar a eficincia do estimador dentro dos limites de uma amostragem
de tamanho fixo. Todo o pesquisador precisaria, para faz-lo, prima-
riamente estratificar casos de acordo com o partido poltico do juiz
(isto , criar duas listas, uma de casos decididos por juzes Republi-
canos, outra por Democratas). Segundo, presumindo-se que o pesqui-
sador queira uma amostra de cem, com um nmero igual de casos
decididos por Republicanos ou Democratas, ele deveria extrair uma
amostra de igual probabilidade de cinquenta de cada estrato.
Notando esses tipos de amostras de probabilidade aleatria, por
que ns aconselhamos sua utilizao se os pesquisadores tm um
grande nmero de observaes na populao? Afinal, se, ao longo
deste livro, aconselhamos que mais dados so melhores, ento por
que sugerimos ignorar qualquer informao que tenhamos sobre
observaes potenciais a serem selecionadas, e selecion-las de acor-
do com um gerador de nmeros aleatrios, o qual garante ignorar
todas essas informaes adicionais? A principal razo que a seleo
aleatria o nico mecanismo de seleo, em estudos de grandes

nmeros, que automaticamente garante a ausncia de vis de sele-

o. Isso porque, quando utilizamos a seleo aleatria, estamos, por
definio, garantindo a ausncia de qualquer associao que possa
existir entre regras de seleo e as variveis de nosso estudo. J tra-
balhamos em convenc-lo sobre este aspecto geral do estudo de
Mills,341 mas sejamos mais especficos aqui. Se Mills tivesse invo-
cado a regra de seleo que a levasse a escolher somente estratgias
de estados que paream prejudiciais s mulheres e somente estrat-
gias clnicas que sejam favorveis mulher (em outras palavras, sele-
cionasse observaes que embasassem sua teoria), poderamos dizer
que ela se valeu de uma regra de seleo que enviesou sua amostra
em favor de sua teoria. Diramos, tambm, que ela fez isso selecio-
nando suas amostras com base na varivel dependente (em outras
palavras, a estratgia de lidar com mulheres que sofreram violncia):
escolheu somente aqueles valores da varivel dependente (estratgias
governamentais prejudiciais e estratgias clnicas benficas) que
apiam sua tese.
Com uma regra de seleo que extraisse aleatoriamente da popu-
lao, Mills no acabaria por escolher somente observaes favor-
veis sua tese, seja intencionalmente ou no. Quando adequadamente
aplicada, a seleo aleatria previne vieses que no os do acaso, e um
grande nmero significa que a chance de que isso acontea excep-
cionalmente pequena. Claro, isso no significa que a regra dela e a
seleo aleatria levariam a resultados diferentes. A regra de seleo
dela pode no ter sido tendenciosa, mas, j que o seu processo exato
para a gerao dos dados no foi identificado no artigo, no temos
como saber.
Em termos gerais, a no ser que o pesquisador colha todas as
observaes na populao e que a populao em si tenha sido criada
de modo no enviesado pelo mundo, a amostragem aleatria a nica

regra de seleo que salvaguarda contra a escolha de observaes na

qual a regra de seleo relacionada ou correlacionada com a vari-
vel dependente, ou com qualquer varivel, exceto o acaso. De fato,
independente do quo cuidadosamente uma regra de seleo seja
criada, quando baseada em conhecimento humano, pode estar
inadvertidamente relacionada varivel resultante sendo estudada
e, portanto, pode introduzir vieses. Ento, enquanto verdade que
selecionar observaes aleatoriamente (em lugar de utilizar qualquer
outro conhecimento que se tem sobre os dados para fazer a seleo)
viola a regra fundamental de que mais dados melhor, estamos
dispostos a ver alguma informao ser descartada para que se evite
a introduo inadvertida de vis de seleo.
Para nossa recomendao de utilizar estratgias de seleo alea-
tria em estudos de amostragem volumosa, sublinhamos duas adver-
tncias. Uma a de que isso se aplica somente a estudos com grande
amonstragem exploraremos na prxima seo. A outra simples-
mente o seguinte: s porque pesquisadores utilizam a linguagem da
cincia ou introduzem um novo elemento de aleatoriedade em seus
estudos no significa que eles isolaram seu estudo de vis de seleo.
Ns j vimos que, sem precaues adicionais, uma amostra aleatria
de um conjunto de dados potencialmente observveis no fornecer
inferncias imparciais se os dados potencialmente observveis dife-
renciarem-se sistematicamente da populao.
Infelizmente, a literatura de peridicos jurdicos repleta de arti-
gos que demonstram o mesmo ponto. Um exemplo a anlise de
Miller sobre quais fatores especficos (com esses fatores especficos
servindo como as variveis independentes de seu estudo) levam os
advogados a ajuizar uma ao junto corte federal ou estadual (com
a escolha do foro como a varivel dependente) quando h jurisdio
concorrente.342 Dada a presso da quantidade de casos nas cortes

federais, este um problema srio e que chamou a ateno do

American Law Institute (ALI), do Congresso, de numerosos acad-
micos, e do presidente da Suprema Corte poca, Rehnquist, que
apontou um comit para estud-lo.343 Talvez no to surpreenden-
temente, essas fontes discordam sobre a necessidade de uma juris-
dio concorrente. O comit do presidente da Suprema Corte, por
exemplo, concluiu que uma das maiores causas de sua existncia
o medo de vieses locais nas cortes estaduais deixou de ser vlida;
o ALI discorda expressamente dessa opinio, e o veredito dos aca-
dmicos misto. Sem dvida, ento, a tentativa de Miller de procu-
rar entre as vrias razes poderia ter elevado os debates acadmicos
e de polticas pblicas, tivesse ele feito o que alega fazer alcanar
inferncias vlidas sobre por que os advogados entram em uma corte
e no na outra, com base em uma amostra aleatria de respostas
de advogados a uma pesquisa.
O que ele faz, ao contrrio, o seguinte: (1) tenta obter uma lista
de todos os casos de cortes estaduais que poderiam ter sido proto-
colados em uma corte federal um esforo que falhou porque, apa-
rentemente, as cortes estatais no guardam essa informao; (2)
obtm, em vez disso, uma lista de todos os casos de remoo de
1987 (n = 18.860) aqueles em que o demandante escolheu peti-
cionar em uma corte estadual, mas que o demandado removeu para
a corte federal; (3) seleciona aleatoriamente (por meios no reve-
lados) seiscentos desses casos; (4) manda pesquisas para os 1.092
advogados envolvidos nesses seiscentos casos; e (5) recebe e analisa
respostas de somente 482 advogados (uma taxa de resposta utiliz-
vel de 44,1%).344
Por que esse procedimento, o qual parece depender de amostra-
gem aleatria, falha? O problema que Miller seleciona casos de
uma maneira relacionada sua varivel dependente, o foro escolhido

pelo advogado: ele pesquisas advogados de acusao que querem

estar em uma corte estatal e advogados de defesa que querem estar
em cortes federais. Isso significa, essencialmente, que seu estudo
produz uma inferncia descritiva enviesada. Ele no pode dizer muito
sobre a populao de todos os advogados confrontados com a escolha
entre peticionar em um foro estadual ou federal por meio de uma
amostragem focada somente em advogados de acusao que fizeram
uma das duas escolhas possveis e em advogados de defesa que fize-
ram uma das duas escolhas possveis. Tambm significa que todas
as inferncias causais que ele traa so enviesadas podemos mesmo
especificar a direo do vis. Tendo observado apenas advogados de
defesa que no querem estar nas cortes estaduais, Miller pode, por
exemplo, superestimar a importncia de fatores como o vis local,
e, tendo observado somente advogados de acusao que querem estar
em uma corte estadual, ele pode subestimar o efeito. (Para ver isso,
pense em um estudo que incluiu advogados de defesa que no pedi-
ram para ter seus casos removidos para as cortes federais e, conse-
quentemente, podem no ver umvis local, e advogados de acusao
que peticionaram em cortes federais e, ento, podem estar vendo um
vis local). Certamente, Miller reconhece o problema: Essa amostra
, claro, enviesada, uma vez que ela exclui advogados atuando em
casos peticionados e no removidos da corte estadual.345 Mas isso
no o impediu de traar inferncias causais e utiliz-las para fazer
um srie de recomendaes polticas.
Se alguma organizao poltica ou jurdica as adotar, no sabe-
mos. O que sabemos que, simplesmente porque Miller introduz um
elemento de aleatoriedade em seu estudo, isso no impede a amostra
resultante de ser enviesada. E que at que ele corrija isso, ou que outro
pesquisador formule um estudo que no seleciona baseado na varivel
dependente, devemos considerar suspeitas quaisquer inferncias.

f. Em ESTuDOS DE AmOSTRAGEm PEquEnA,
Como percebemos acima, nossa recomendao do uso de estratgias

EVITAR VIS nA SELEO SEm SELEO ALEATRIA
de seleo aleatria aplica-se somente a estudos com amostragens

volumosas. A razo pela qual uma amostragem volumosa til que
ela torna correlaes provenientes do acaso extremamente improv-
veis, de fato, menos e menos provveis medida em que a quantidade
de amostras (n) aumenta. Mas a seleo aleatria no ajuda a evitar
um vis de seleo com uma quantidade de amostras (n) muito peque-
na, uma vez que correlaes entre a regra de seleo e a varivel depen-
dente podem ocorrer por acaso, e mesmo com probabilidades bastante
altas.346 Esse no um problema trivial, pois, sem a seleo aleatria,
no existe um nico mtodo para o qual os pesquisadores possam auto-
maticamente migrar para evitar o problema de enganar a si mesmos.
Ento a questo torna-se: Como os pesquisadores devem proceder
se eles esto realizando estudos com amostragem pequena? A resposta
que eles devem se prevenir contra vieses que eles podem inadverti-
damente introduzir em um estudo quando substituem a seleo alea-
tria por alguma forma de escolha intencional. Alcanar este objetivo
requer que eles formulem um mtodo de seleo de modo que a regra
de seleo no esteja relacionada varivel dependente.
Esse processo geralmente bem difcil, claro, uma vez que os
valores da varivel dependente so tipicamente desconhecidos antes
de qualquer amostragem. Contudo, felizmente, existem vrios mto-
dos para superar isso; ou seja, para selecionar as observaes a serem
includas em estudos de amostragem pequena. Considere um pesqui-
sador que quer compreeder o nvel de obedincia dos policiais na ativa
em Illinois ao precedente Miranda, e quer faz-lo por meio da obser-
vao do comportamento deles. Certamente, ele poderia identificar
todos os policiais no estado e desenhar uma amostra aleatria daqueles

que ele incluir em seu estudo. Mas assumamos que ele, como muitos
de ns, possui tais restries temporais e em sua disponibilidade para
viajar que s pode observar os policiais na delegacia perto de sua casa.
Em outras palavras, ele intencionalmente, e no aleatoriamente, sele-
cionou a sua amostra, dessa maneira arriscando a possibilidade de que
a delegacia que ele escolheu seja diferente de todas as outras na forma
como faz cumprir o precedente Miranda.
Como pode ele minimizar esse risco? Idealmente, o pesquisador
deveria coletar mais dados. Dadas as restries, no entanto, uma boa
abordagem seria a de identificar uma estratgia de medio que seja
fcil ou barata de ser aplicada sobre uma variedade de observaes
mais ampla, uma que complemente o exame detalhado da delegacia
de polcia da vizinhana. No caso desse exemplo, talvez o investiga-
dor pudesse extrair uma amostra aleatria de, digamos, cem delega-
cias de polcia em Illinois e discernir dos registros pblicos o nmero
de aes baseadas no precedente Miranda ajuizadas por advogados
de defesa envolvendo os oficiais daquelas delegacias. No h dvida
de que esses dados sero indicadores diferentes e menos vlidos do
que aqueles que o pesquisador coleta de seu estudo de caso detalha-
do;347 mas igualmente verdico que eles podem ajud-lo a determi-
nar se a sua delegacia representativa das outras (por exemplo, uma
classificao em terceiro entre cem em relao ao nmero de aes
ajuizadas revelaria algo muito diferente do que, diga-se, uma classi-
ficao em quinquagsimo entre cem). Outra estratgia produtiva
poderia ser realizar a anlise a partir dos registros pblicos primeiro
e, com essa informao, escolher uma delegacia policial mais repre-
sentativa onde realizar o estudo detalhado. Com esse tipo de dados
em mos, o pesquisador poderia estar mais (ou menos, como o caso
possa ser) seguro de que as inferncias que ele alcana a partir das
amostras menores e intencionalmente selecionadas.

Ix.
SuGESTES COnCLuSIVAS:
DESENVOLVENDO UMA INFRAESTRUTURA
PARA SUSTENTAR A PESqUISA EMPRICA
Regras importam. Essa uma afirmao que muitos pesquisadores,

mas especialmente os juristas, aceitam sem muito debate. medida
em que a realizao adequada da pesquisa emprica, e, especialmente,
o alcance de inferncias vlidas, depende das regras seguintes, os
pesquisadores tm incentivos suficientes para aprender e para aplicar
aquelas que destacamos.
Ao mesmo tempo, reconhecemos que independente do quanto
desejem os pesquisadores realizar boas pesquisas, independente do
quanto eles desejem contribuir com credibilidade aos debates de
polticas, independente do quanto eles desejem argumentar com
autoridade com seus colegas seguir as regras pode ser difcil, ou,
em algumas instncias, quase impossvel sem uma infraestrutura
de pesquisa suficiente. Por suficiente, queremos dizer uma estru-
tura que sustenta, encoraja e reala a habilidade dos pesquisadores
de realizar pesquisas empricas, bem como a habilidade de advo-
gados, juzes e estudantes de consumirem-nas.
Para este fim, ns projetamos, e agora explicamos, uma srie
de recomendaes centradas em como as faculdades de direito e
a comunidade jurdica em sentido amplo podem facilitar o desen-
volvimento de tal infraestrutura. Nenhuma dessas recomendaes,
apressamo-nos a notar, necessita ser construda do zero. Muito
pelo contrrio. Enquanto poucos professores de direito realizando
pesquisa emprica parecem ter agora muita facilidade com as
regras de inferncia, os mtodos e normas da pesquisa emprica,
ou os critrios segundo os quais avaliar tal trabalho, a profisso

Ix. SuGESTES COnCLuSIVAS: DESENVOLVENDO UMA INFRAESTRUTURA
jurdica desenvolveu elevados padres para reger muitos outros

aspectos de suas vidas acadmicas. Faculdades de direito, ao
menos do nosso ponto de vista, afiguram-se altamente organiza-
das, eficientes, bem financiadas, e a maioria parece colegiada e
agradvel. Elas do nfase memorvel satisfao de seus vrios
constituintes, e focam em questes como o currculo e o ensino
bem mais do que a maioria dos departamentos de artes e cincias.
A comparao com departamentos de cincias sociais extrema:
cientistas sociais, economistas e socilogos podem seguir toda a
sua carreira sem se encontrar a fim de discutir coletivamente pro-
blemas pedaggicos. Mesmo os estudantes em faculdades de
direito so melhor organizados que seus colegas de departamentos
acadmicos tradicionais.
O que isso significa para ns que oportunidades para a melhora
rpida e significativa da infraestrutura de pesquisa em faculdades de
direito so substanciais. As normas e instituies j existem para que
se faa isso, e nossas recomendaes decorrem da. De fato, graas
s normas rgidas, se as faculdades de direito acatassem mesmo algu-
mas de nossas recomendaes, no apenas poderiam elas corrigir o
estado infeliz no qual a pesquisa emprica hoje se encontra, como
tambm tambm poderiam ser capazes a ultrapassar outras discipli-
nas acadmicas mesmo aquelas que tm realizado um trabalho
emprico superior, mas que no so, todavia, to unificadas em torno
de uma comunidade claramente identificvel, com normas que sus-
tentem a iniciativa.
O que seguem so recomendaes que a evidncia sugere pode-
rem tornar isto possvel ou, no mnimo, comear o processo. Ns
as agrupamos em cinco categorias. As primeiras so voltadas para
trs atores: (1) estudantes de faculdades de direito (2) faculdade de
direito e, (3) juzes e advogados. O segundo grupo foca em dois

problemas de interessa para toda a comunidade: (4) peridicos jur-

dicos e (5) arquivamento de dados e documentao.
Uma nota final: de maneira a transmitir nossas ideias o mais
claramente possvel, ns as explicamos com um certo nvel de
especificidade. Mas ns certamente no as vemos como o nico jeito
de se proceder. Sem dvida, essas recomendaes so baseadas
somente na nossa hiptese de que a sua implementao melhoraria
as anlises empricas no direito. Ns obviamente no estamos cer-
tos de que qualquer uma de nossas ideias funcionar como desejado
em qualquer faculdade de direito especfica, e no realizamos
quaisquer anlises para avali-las. Tais estudos certamente deve-
riam ser feitos. Ao mesmo tempo, dcadas de experincia em
dezenas de disciplinas acadmicas, em centenas de universidades,
e por milhares de acadmicos, nos do alguma convico sobre a
direo geral dessas propostas. Como outsiders, ns necessaria-
mente temos menos convico sobre se adaptamos adequadamente
esses princpios gerais para a cultura do conhecimento jurdico e
das faculdades de direito, e, de qualquer maneira, propostas desse
tipo devem ser sempre adaptadas s condies locais nicas de
escolas individualmente. Qualquer que seja o destino final dessas
ideias, esperamos que elas ajudem a estimular uma discusso
vibrante sobre os caminhos para melhorar a pesquisa emprica na
comunidade dos pesquisadores jurdicos.
A. OfERECER CuRSOS Em PESquISA EmPRICA
Talvez mais que a maioria das unidades na universidade, as facul-

PARA ESTuDAnTES DE fACuLDADES DE DIREITO
dades de direito tm a fama de serem sensveis aos interesses e

necessidades de seus estudantes. Em contraste, por exemplo, aos
programas de Ph.D. acadmico, os quais raramente treinam seus

estudantes para fazer o que eles passaro uma grande frao de suas
carreiras fazendo lecionar as faculdades de direito devotam
recursos e professores instruo clnica, competies de moot
courts e outros programas que ajudam os estudantes a desenvolver
habilidades de que eles precisaro para a prtica do direito. Igual-
mente, em contraste s disciplinas acadmicas, as quais tipicamente
permitem apenas que o corpo docente edite seus peridicos, as
faculdades de direito confiam a estudantes que presumivelmente
beneficiam-se de maneiras incontveis dessa experincia348 a
direo de algumas de suas publicaes mais prestigiosas. Final-
mente, em contraste a muitas de suas contrapartes de ps-graduao
acadmica, que dedicam quantias limitadas de tempo e dinheiro
colocao de seus estudantes em empregos, as faculdades de direito
tipicamente estabelecem um aparato sofisticado para facilitar todos
os aspectos da procura por trabalho, do preparo de currculos s
estratgias de entrevistas.
No importa o motivo pelo qual essa norma surgiu. O que
importante que faculdades de direito podem aumentar isso ainda
mais a partir da incorporao em seus currculos de ao menos um
curso sobre pesquisa emprica um curso que cobriria as aborda-
gens quantitativas e qualitativas para o projeto e a avaliao da
pesquisa. Isso certamente deveria ser requisito para estudantes ser-
vindo nos peridicos jurdicos da faculdade (um assunto para a qual
voltaremos no Captulo IX.D abaixo) e provavelmente para todos
os outros tambm.349
Oferecemos essa recomendao no porque todos os estudantes
necessariamente realizaro pesquisa emprica prprias. Faculdades
de direito no so primordialmente designadas para o treinamento
de futuros professores de direito, e, assim, a maioria dos estudantes
nunca prepararo artigos para peridicos jurdicos. O motivo de

nossa recomendao mais porque eles precisaro das habilidades

para avaliar tais pesquisas, seja para clientes, seja para membros
senior de seus escritrios de advocacia; seja em processos civis ou
criminais. Isso j ocorre hoje, e pode tornar-se ainda mais recor-
rente uma vez que os juzes fazem cada vez mais demandas aos
advogados para que preencham padres jurdicos particulares, para
que questionem especialistas, ou para que fundamentem afirmaes
especficas com uma sustentao emprica verossmil.
Alm da satisfao das necessidades dos estudantes e da comuni-
dade jurdica, treinar os estudantes nos padres e normas da pesquisa
emprica possui, no mnimo, dois bons subprodutos. Primeiro, mais
uma vez dado o aumento da demanda por dados, os estudantes com
essa habilidade estaro em maior demanda no mercado que aqueles
sem ela (uma tendncia que encorajamos no Captulo IX.C abaixo).
Isso uma boa notcia para estudantes que fazem, e faculdades de
direito que oferecem, uma aula emprica. Afinal, melhores taxas de
contratao ajudam a atrair melhores candidatos ambos os quais
podem levar ao aumento do prestgio da faculdade. Segundo, a facul-
dade se beneficiar enormemente. Oferecer cursos empricos
requerer que as faculdades de direito contratem um professor trei-
nado em metodologia emprica, que, por sua vez, poderia servir como
um recurso para faculdade um que eles poderiam ter sido incapazes
de obter seno por necessidades curriculares.
Temos mais a dizer sobre os requisitos de infraestrutura do corpo
docente abaixo, mas permita-nos antes abordar duas preocupaes
bvias: quem deve ser esse metodologista e de que campos acad-
micos deve ele vir? Comeando com o primeiro, certamente ele
deve ser um pesquisador e professor dedicado, bem versado nas
regras de inferncia e nas normas e padres para a realizao da
pesquisa emprica. O metodologista selecionado tambm deve ser

capaz de lecionar a estudantes e ao corpo docente sobre como ana-

lisar os dados deles e, consequentemente, deve possuir um conjunto
de habilidades tcnicas.
Este metodologista poderia, por um lado, vir de um grande
nmero de disciplinas acadmicas. Uma vez que a pesquisa emp-
rica no direito tem problemas metodolgicos que se justapem
queles na biologia, qumica, economia, medicina e sade pblica,
cincia poltica, psicologia e sociologia, mtodos podem ser adap-
tados dessas disciplinas para o estudo do direito. Por outro lado,
em praticamente toda a disciplina que comeou a desenvolver um
programa srio de pesquisa emprica, pesquisadores descobriram
problemas metodolgicos que so nicos s preocupaes especiais
dessa rea. Cada nova fonte de dados, como se v, geralmente
requer pelo menos alguma adaptao de mtodos existentes, e, por
vezes, o desenvolvimento de mtodos totalmente novos. H a bio-
informtica dentro da biologia, a bio-esttica e a epidemiologia
dentro da medicina e sade pblica, a econometria dentro a econo-
mia, a quimiometria dentro da qumica, a metodologia poltica
dentro da cincia poltica, a psicometria dentro da psicologia, a
metodologia sociolgica dentro da sociologia, e assim por diante.
Dessa forma, para encorajar uma pesquisa emprica sria, dura-
doura e continuamente melhorada, a comunidade jurdica deve
fomentar o desenvolvimento de um subcampo de metodologia den-
tro do direito. Para atingir este objetivo, as faculdades de direito
devem contratar pesquisadores que possuam um treinamento pro-
fundo em mtodos empricos em qualquer que seja a disciplina na
qual obtiveram seu diploma. Mas elas tambm tm de selecionar
um metodologista que tenha, ou que ao menos tenha interesse em
desenvolver, uma compreenso dos tipos de problemas que inte-
ressam a, e dos tipos de dados disponveis para, juristas. Certas

disciplinas acadmicas regularmente produzem Ph.D.s que se

encaixam nessa descrio (por exemplo, economia e cincia pol-
tica). E professores de direito podem ajudar-se incutindo nesses
metodologistas uma apreciao ainda maior de seus problemas.
Isso poderia se dar atravs de cursos co-lecionados, o que funcio-
naria para o benefcio tanto dos estudantes quanto dos professores.
Tambm pode desenvolver-se por via da pesquisa colaborativa
uma matria que discutiremos com mais detalhes na prxima
seo. De qualquer maneira, devem ser criados novos vnculos
entre pesquisadores. Alguns novos mtodos empricos jurdicos
seriam ento desenvolvidos pelo, digamos, cientista poltico ou
economista, o que bom dada a natureza cada vez mais interdis-
ciplinar do direito, mas outros seriam desenvolvidos por professores
de direito. E, eventualmente, faculdades de direito no teriam
necessidade de buscar de fora as solues para problemas meto-
dolgicos. O campo a metodologia emprica da pesquisa jurdica
floresceria sozinho.
B. AumEnTAR OPORTunIDADES PARA A REALIzAO

DE PESquISA EmPRICA DE ALTA quALIDADE PELOS
Quando se trata de sua pesquisa, professores de direito parecem ter

DOCEnTES E EnTO DISSEmIn-LA RAPIDAmEnTE
desenvolvido uma norma de oportunidade. Talvez eles estejam inte-

ressados em pesar em debates polticos atuais, em ver seus
argumentos utilizados em peas judiciais, em assegurar que uma
deciso da corte ou uma lei do Congresso no desconsidere suas
ideias, em obter vitaliciedade na universidade, ou em realizar algum
outro objetivo. Mas qualquer que seja a explicao, eles esto preo-
cupados talvez mais preocupados que os outros acadmicos em
externar suas ideias e resultados o mais rpido possvel.

No temos problema com essa norma. De fato, comentrios

cientificamente vlidos em debates atuais sobre polticas pblicas
podem fazer contribuies altamente importantes e dramatica-
mente influentes. Os juristas provaram inmeras vezes que eles
so preparados como ningum para enfrentarem esta tarefa, ao
menos com respeito velocidade; onde eles falharam por vrias
vezes em relao ao aspecto de alta qualidade da tarefa. Esse fra-
casso um infortnio, porque eles podem realiz-la bem em
relao a ambos os aspectos. Ou seja, eles podem realizar uma
pesquisa de primeira-linha a qual eles podem criar e disseminar
rapidamente. Mesmo se o tempo, informao e recursos so limi-
tados, sempre h maneiras de produzir resultado confiveis.
Para ajudar os professores a alcanar esse objetivo, oferecemos
dois grupos de recomendaes para que as faculdades de direito
sigam. O primeira centra-se em fomentar o desenvolvimento do
grupo de habilidades necessrias para que seus professores faam
uma pesquisa de alta qualidade de modo que eles possam respon-
der corretamente no tempo permitido; o segundo focado na
construo de uma infraestrutura que permita aos professores de
direito a produo de resultados de pesquisa confiveis o mais
rpido possvel. Essas sugestes iro capacitar os pesquisadores a
produzir inferncias cientficas vlidas tendo vista seu tempo e
seus recursos limitados (em outras palavras, julgar corretamente
suas incertezas), mas no paramos por aqui. Apesar de que o tempo
sempre ser limitado, sugerimos maneiras pelas quais os recursos
podem ser redirecionados e empacotados, de modo que o nvel de
incerteza nas concluses dos pesquisadores possa ser reduzido em
muito, mesmo para a pesquisas que precisa ou deve ser dissemi-
nada rapidamente.

Aprender e compreender as regras que discutimos neste livro so,

1. Ajudar a construir habilidades metodolgicas
acreditamos, passos necessrios para professores de direito. Ainda

assim, ao mesmo tempo, reconhecemos que estes passos, sozinhos,
so insuficientes, e que os juristas requerero treino extra para
implementar as regras que oferecemos e para dominar habilidades
associadas anlise de dados sejam eles qualitativos ou quanti-
tativos. Como podem eles desenvolv-las?
Os docentes podem proceder de vrias maneiras, sendo trs delas
bastante bvias. Primeiro, eles podem fazer um curso de pesquisa
emprica. Dizemos isso com o entendimento claro de que os profes-
sores de direito tipicamente no frequentam as aulas de seus colegas.
Mas eles deveriam saber que em vrias disciplinas cognatas, os aca-
dmicos quer com cargo vitalcio ou no, quer iniciantes ou no,
quer para retocar suas habilidades ou para aprender outras comple-
tamente novas fazem cursos tcnicos regularmente. E assim o
fazem sem vergonha; em verdade, em muitos departamentos acad-
micos, o comparecimento a uma aula de mtodos pode permitir que
se reivindique o direito a vangloriar-se, uma vez que isso indica,
tanto para os colegas quanto para os estudantes de ps-graduao,
um desejo de manter-se au courant.
Segundo, os membros do corpo docente podem obter treinamento
em institutos, com o Inter-university Consortium for Political and
Social Research (ICPSR), entre os mais proeminentes. Localizado
na Universidade de Michigan, o ICPSR fornece um treinamento
de vero para professores e estudantes interessados em anlise
emprica.350 Os cursos variam do introdutrio (Introduo Esta-
tstica e Anlise de Dados) ao tcnico (Tpicos Avanados em
Estimativa Mxima de Probabilidade); do geral (Introduo Com-
putao) ao muito especfico (Seleo No-aleatria de Estudos de

Envelhecimento e Aposentadoria); dos altamente tericos (Modelos

Matemticos: A Teoria dos Jogos) ao descaradamente emprico (Mto-
dos Quantitativos e Estudos Africanos). E, apesar de que somente
uns poucos so elaborados especificamente para problemas relacio-
nados ao direito (por exemplo, Dados de Justia Criminal: Integrando
Estudos Qualitativos e Quantitativos), os juristas sairiam dessa expe-
rincia com consideravelmente mais conhecimentos sobre a vasta
gama de ferramentas disponveis para o desenvolvimento de teorias
e para a anlise de dados qualitativos e quantitativos.
Terceiro, um professor de direito pode aprender sobre isso enga-
jando-se em colaboraes com um metodologista na faculdade de
direito, ou, por exemplo, um colega cientista social com interesse
pelo direito. Esse , talvez, o jeito mais fcil e eficiente e geral-
mente adotado em outras disciplinas acadmicas para que juristas
desenvolvam uma apreciao dos mtodos empricos e para que
aprendam as habilidades necessrias para que executem eles mes-
mos tais investigaes.
Faculdades de direito podem e deveriam facilitar cada uma des-
sas atividades. Para membros do corpo docente que quisessem fazer
um curso sobre pesquisa emprica e que podem, ao fim, demonstrar
um domnio dessas habilidades (talvez na forma de uma apresen-
tao de pesquisa para a faculdade, ou um artigo publicado), suas
faculdades poderiam fornecer uma diminuio na carga horria de
ensino. Para aqueles que quisessem ir ao ICPSR, as faculdades de
direito deveriam pagar sua matrcula, como muitos programas de
ps-graduao de outros campos atualmente fazem. E para juristas
interessados em participar de colaboraes com colegas dotados de
habilidades empricas, suas faculdades deveriam fornecer incenti-
vos para concretizar seus interesses talvez na forma de bolsas de
estudo para o projeto proposto ou outras formas de apoio. Qualquer

que seja a maneira como procedam, as faculdades de direito devem

reconhecer que o objetivo de uma carreira na pesquisa acadmica
fazer a maior contribuio possvel para a literatura acadmica.
Se a contribuio individual ou de co-autoria no deveria importar
tanto quanto o fato de ela existir. Indo ainda mais ao ponto, se a
incluso de coautoria no repertrio de algum pode ajudar um pes-
quisador a gerar uma maior contribuio total como no caso de
pesquisadores de muitos outros campos ento isso deve ser for-
temente encorajado.
Por ltimo, faculdades de direito no deveriam punir seu corpo
docente (por exemplo, negando a concesso de estabilidade no cargo)
por artigos em coautoria. Essa a fonte de certa preocupao, uma
vez que a colaborao muito rara em peridicos jurdicos (e to
comum em todos os outros campos), mas suficientemente simples
de reprimir. Faculdades de direito, segundo aconselha Schuck, devem
conceber tcnicas para avaliar adequadamente a contribuio de
cada indivduo para a pesquisa realizada conjuntamente.351 O
mtodo mais comum em outras disciplinas toma a forma de um sim-
ples conselho ao corpo docente jnior: Colabore com mais de um
pesquisador; no colabore apenas com pesquisadores snior. Seguir
esse conselho torna as contribuies individuais mais fceis de serem
avaliadas entre projetos, mas outras fontes de informao tambm
existem, como direcionar cartas de avaliao, no momento da pro-
moo, para aqueles familiarizados com o docente e suas prticas de
pesquisa e contribuies para projetos de coautoria.
Mas as faculdade de direito podem ir alm, especialmente se
existe uma massa crtica de docentes interessados na produo de
pesquisa emprica de alta qualidade. Talvez elas pudessem manter
seminrios mensais sobre as aplicaes e inovaes da metodologia
emprica, convidando pesquisadores proeminentes (por enquanto,

de outras disciplinas) para lider-los. Elas tambm deveriam consi-

derar a criao de seu prprio instituto de vero local, o qual pode
envolver a contratao de especialistas em pesquisa emprica rela-
cionada ao direito. Esses especialistas serviriam como professores
e condutores de debates e, com alguma sorte, criar-se-iam oportu-
nidades para mais colaboraes durveis. Finalmente, as faculdades
de direito deveriam explorar a possibilidade de obteno do apoio
de fundaes para desenvolver workshops de pesquisas empricas
durando trs ou quatro dias por vez, para atualizar talvez vinte ou
trinta docentes rapidamente. Obviamente, sesses curtas no so
suficientes, mas podem ajudar consideravelmente. Estabelec-las
em combinao com materiais criativos de aprendizado distncia
disponibilizados pela internet, juntamente com a atribuio de lei-
turas como preparao para os workshops (e, claro, ir a vrios
deles), contribuiria muito. E, eventualmente, se um curso emprico
for tornar-se parte do currculo da faculdade de direito, os workshops
no seriam necessrios, uma vez que estudantes (em outras palavras,
futuros professores de direito) obteriam treinamento suficiente.
2. Economizar tempo por meio
Juristas podem realizar pesquisas empricas srias no importando

da melhora de recursos
o quo limitados sejam o tempo ou os recursos. Mas, se ambos

forem muito restritos, eles pagaro o preo na forma de resultados
menos seguros (em outras palavras, quanto menos tempo e recur-
sos, menor o nmero de observaes que podem ser coletadas, ou
menos confiveis os procedimentos de medio que podem ser uti-
lizados, e, consequentemente, maior a ineficincia das inferncias
resultantes). J que pelo menos alguns professores de direito dese-
jam produzir resultados de pesquisa que eles possam disseminar o

mais rpido possvel, garantindo, ao mesmo tempo, que eles sejam

o mais informativos possvel, levar mais tempo no uma opo.
Aumentar os recursos, por outro lado, poderia fazer uma diferena
nada trivial. Ns vemos no mnimo quatro maneiras como as facul-
dades de direto podem ajudar.
Primeiro, elas podem garantir que os docentes realizando pesquisas
empricas possuam computadores e programas aptos tarefa, conjun-
tamente com o apoio tcnico de que precisam para utilizar esses
recursos. Em uma estimativa grosseira, computadores devem ser tro-
cados a cada trs anos, e os programas atualizados aproximadamente
a cada ano.352 A equipe de apoio pode assumir vrias formas diferen-
tes, mas normalmente inclui administradores da rede, operadores de
sistema, pessoal de suporte ao usurio e assistncia especializada.
Claro, muitas faculdades de direito j possuem algumas dessas pes-
soas contratadas (alm de web designers e administradores), e
provavelmente mais sero contratados no instante em que mais docen-
tes aumentarem sua dependncia da tecnologia para comunicao e
escrita. Nossa sugesto, alm da manuteno da excelncia nessa rea,
suplementar o grupo de informaes tecnolgicas existente com
especialistas que possam executar tarefas especficas de pesquisa.
Comentamos aqui dois exemplos, embora encontrar indivduos que
dem conta de ambos possa ser possvel.
Um um especialista em softwares de estatsticas. Muitos pro-
fessores de direito agora se baseiam em um banco de dados simples
ou em programas de planilhas, a exemplo do Microsoft Excel. Estes
so adequados para a explorao dos dados em sua forma bruta,
mas no so teis para anlises e grficos de estatstica sria, no
sendo nem numericamente estveis para muitos propsitos estats-
ticos.353 A infraestrutura deve estar disponvel, de modo que os
pesquisadores no sejam restringidos em quais anlises realizar

pelas limitaes de seus softwares. Felizmente, numerosas alterna-

tivas (incluindo os programas SPSS, SAS, Stata, Gauss, R) existem.
Estas so certamente mais poderosas, mas tambm mais difceis de
aprender e usar. Logo, h uma necessidade por conhecimento espe-
cializado, que pode assumir a forma de consultores para o corpo
docente, os quais faro eles mesmos a programao; e at de assis-
tentes, os quais faro o trabalho para os docentes. O outro um
especialista em design grfico. Apresentar dados, sejam eles quali-
tativos ou quantitativos, uma habilidade importante e uma de
que muitos pesquisadores empricos geralmente precisam, mas que
no possuem tempo ou inclinao para aprender. Ter uma pessoa
na equipe com o conhecimento necessrio seria um benefcio
enorme para professores de direito, que, talvez mais que a maioria,
tm de comunicar os resultados de sua pesquisa para leigos.
No inclumos nessa lista uma pessoa capacitada em tcnicas
analticas de dados. Enquanto explicamos que a manuteno de tal
indivduo crtica, ele no deveria ser considerado parte do grupo
de informao tecnolgica. Um metodologista um acadmico
no campo jurdico, um professor de direito que foca em, contribui
para e aplica a metodologia jurdica qualitativa e quantitativa. Uma
vez que estatsticas e o desenho da pesquisa no so meramente
tcnicos, como o , por exemplo, encanar; as posies de esta-
tsticos da equipe geralmente no funcionam nesse contexto.
Faculdades de direito precisam de criatividade em mtodos, e no
de um tcnico que meramente aplica as tcnicas existentes meca-
nicamente para a literatura jurdica um trajeto que geralmente
leva ao uso de mtodos que no comportam as necessidades dos
pesquisadores. Assim como em qualquer outro campo, metodologia
um esforo criativo e no pode ser delegado para qualquer um
que no outro acadmico.

Um segundo jeito pelo qual as faculdades de direito podem ajudar

seu corpo docente a otimizar seu tempo por meio do fornecimento
de recursos humanos adicionais, na forma de assistentes de pesquisa,
o que permitir que os docentes coletem dados o mais rapida e efi-
cientemente possvel. Os departamentos acadmicos alcanam isto
de maneiras diversas incluindo bolsas, subsdios e crdito de curso
para estudantes que se disponham a ser assistentes de pesquisa
todos os quais seriam viveis e, em alguma extenso, j existentes
em vrias faculdades de direito. Contudo, meramente adotar ou
estender o modelo usado em departamentos acadmicos no funcio-
nar. O problema que pesquisadores em outros campos tipicamente
comprometem-se com os monitores no comeo do semestre ou ano
acadmico, de modo que encontrar ajuda na ltima hora pode ser
bem difcil, seno impossvel. Claramente, os monitores, mesmo
nessa forma tradicional, seriam uma melhora, mas eles no solucio-
naro o problema da produo dos melhores resultados o mais rpido
possvel para responder s questes que surgem no debate pblico.
Consequentemente, alm da contratao de assistentes de pesquisa
por professores de direito, como muitos j fazem, uma soluo que
favorecemos seria a de que as prprias faculdades de direito empre-
gassem um nmero de assistentes de pesquisa (junto com uma poro
dos recursos humanos que mencionamos acima) e mantivessem-nos
sem tarefas no comeo do semestre. Assim, eles estariam disponveis
para pesquisar, a pedido, quando emergisse o debate de uma poltica
especfica ou de outras questes que exijam ateno imediata. Sem
dvida, uma disponibilidade de recursos assim ajudaria os professo-
res a aumentar a j existente norma de velocidade.
Terceiro, como j mencionamos, faculdades de direito devem
encorajar seu corpo docente a realizar colaborao com pesquisa-
dores que sabem como realizar pesquisa emprica sria. Alm das

razes que apresentamos anteriormente, o trabalho emprico cola-

borativo mais rpido de ser realizado. Juristas no precisam gastar
um tempo precioso aprendendo os detalhes de cada nova habilidade
possvel e, em vez disso, podem depender de coautores, que presu-
midamente se beneficiariam do conhecimento especializado que
professores de direito colocam mesa.
Finalmente, para realizar pesquisa emprica, os docentes geral-
mente requerem financiamento: eles podem precisar adquirir um
grupo de dados especfico, realizar uma pesquisa de campo, con-
tratar entrevistadores e assim por diante. Para que sua faculdade
possa otimizar seu tempo, recomendamos que faculdades de
direito e seus centros associados sigam o percurso de vrias outras
unidades acadmicas e forneam bolsas para projetos com credi-
bilidade. Tal financiamento permitiria que os pesquisadores
realizassem estudos-piloto, os quais eles poderiam, por sua vez,
usar para informar debates sobre polticas pblicas ou para
demonstrar o valor de sua pesquisa para diferentes agncias de
financiamento, fundaes e doadores externos faculdade. Finan-
ciamento externo certamente traz benefcios para projetos de
pesquisa individuais, mas tambm possui implicaes positivas
para as faculdades de direito. Certamente, os diretores no recu-
sariam reembolsos de custos indiretos que fluiriam para seus
cofres se mais de seus docentes obtivessem o apoio do Programa
para direito e cincias sociais da National Science Foundation.
Como um outro incentivo, faculdades de direito deveriam seguir
a trilha das unidades de pesquisa que repassam uma frao de
reembolso de custos indiretos para os docentes que geraram fun-
dos em primeiro lugar.

C. InCEnTIVAR EmPREGADORES A COnTRATAR
No incio deste livro, sublinhamos os apelos lanados pelos mem-

ESTuDAnTES COm PRTICA EmPRICA
bros da comunidade jurdica, especialmente juzes e advogados,

por pesquisas empricas com credibilidade em uma variedade de
tpicos. Tentamos responder a esses pedidos por meio do ofereci-
mento de regras que os pesquisadores poderiam usar para melhorar
sua pesquisa e que os consumidores dela poderiam empregar para
avaliar vrios estudos.
Mas esses consumidores, mais uma vez primordialmente juzes e
advogados, podem fazer avanar sua prpria causa, fazendo um
esforo especial de contratao de estudantes de direito com prtica
emprica. Isso se d por, no mnimo, duas razes. Primeiro, encora-
jaria faculdades de direito a desenvolver a infraestrutura necessria,
ou seja, a seguir nossas recomendaes. Se, por exemplo, juzes
comeassem questionando candidatos a assessores sobre seu treina-
mento emprico, isso forneceria incentivos para a faculdade de direito
adicionar os cursos necessrios para seu currculo. Isto, por sua vez,
levaria as faculdades a contratar um metodologista, facilitando a
habilidade do corpo docente de produzir os estudos realizados ade-
quadamente que os juzes demandam atualmente.
A segunda razo ligada a nossa recomendao de que os juris-
tas encontrem colaboradores com habilidades empricas. Assim
como a coautoria com um metodologista permite ao corpo docente
otimizar seu tempo, contratar um assessor ou um associado com
habilidades empricas um jeito eficiente para juzes e advogados
apreciarem pesquisa sem investir recursos que no aqueles que eles
j investiro (como salrio). Juzes confrontados com resultados
conflitantes produzidos por estudos empricos sobre a redistribui-
o eleitoral, emprego ou inmeras outras reas do direito tero um

talento interno para ajud-los a classificar esses resultados. Idem

para advogados que devem enfrentar resultados que no se encai-
xam confortavelmente com suas prprias concluses. A contratao
de estatsticos, embora talvez no seja completamente extinta, tor-
nar-se- menos necessria.
Por meio do oferecimento dessa recomendao, no queremos
dizer que o treinamento emprico deva ser o nico ou mesmo o mais
importante critrio que advogados e juzes devam considerar quando
tomarem decises de contratao. O que, em vez disso, sugerimos,
que se este se tornasse um dentre muitos critrios, o efeito cascata
seria extremamente benfico para todos os membros da comunidade
jurdica os produtores e consumidores da pesquisa.
D. muDAR PARA um mODELO ALTERnATIVO DE
No mundo do direito, estudantes dirigem e editam a publicao de

ADmInISTRAO DE PERIDICOS ACADmICOS
peridicos de suas faculdade (por exemplo, The University of Chi-

cago Law Review, a Yale Law Journal), embora eles geralmente
consultem informalmente o corpo docente antes de tomar decises
quanto a artigos especficos.354 Lemos vrios relatos sobre como
essa norma surgiu,355 e apreciamos a tradio. Ao mesmo tempo,
certos aspectos disso nos incomodam, como a sua falha em se con-
formar a um aspecto crtico da pesquisa emprica, que ela no seja
ad hominem, que o foco esteja no trabalho e no na pessoa.356 Sem
alguma forma de reviso cega, separar a pessoa do produto dif-
cil. Igualmente problemtico que estudantes (e, de fato, qualquer
pessoa) podem no possuir o conhecimento necessrio para avaliar
os trabalhos enviados que cubram reas complexas e tcnicas do
direito, ou que empreguem mtodos estatsticos ou qualitativos
sofisticados. Finalmente, a falta de reviso paritria imparcial em

muitas publicaes coloca os juristas em uma desvantagem ntida

vis--vis ao resto da universidade. Garry Wills357 no o nico
docente proeminente a expressar choque ao descobrir como peridi-
cos jurdicos padres operam. Como coloca Lawrence Friedman,
Peridicos jurdicos so o canal principal para pesquisadores

do direito, e o sistema dos peridicos jurdicos singular
educao jurdica. Pessoas em outros campos ficam atnitas
quando descombrem-no; elas mal podem acreditar no que
ouvem. O qu, estudantes decidem quais artigos valem ser
publicados? No h reviso paritria? (...) Secretamente,
compartilho de seu assombro; e creio que o sistema to
insano, em alguns aspectos, como eles o creem. H, de fato,
quase uma literatura da injria professores e outros
queixando-se contra os peridicos jurdicos.358
O que essa citao e muitas outras que poderamos fornecer 359

sugerem que a falta de reviso paritria (entre outras caractersticas
desse sistema singular) tornam difcil para pesquisadores em
outras unidades tomar o trabalho jurdico de maneira sria espe-
cialmente porque seus colegas no levam em considerao artigos
que no passaram pela reviso paritria, quando se fala em obteno
de vitaliciedade, promoes, aumentos salariais e outras vantagens.
Que outros no consideram seriamente a pesquisa jurdica no ,
claro, nosso ponto; o que central que a reviso paritria possui,
por vezes, benefcios importantes.
Em nossa compreenso, contudo, mudar totalmente para o modelo
de reviso cega utilizado em peridicos acadmicos entre as cincias
naturais e sociais politicamente invivel. O grande nmero de
peridicos criaria um aumento enorme na quantidade de trabalho

para professores de direito servindo como revisores annimos.

Alm disso, o trabalho que se empreende na reviso ordinaria-
mente acompanhado por uma proibio contra o envio de artigos
para mltiplos peridicos (de maneira que os esforos dos editores
e de seus revisores no sejam desperdiados); dessa forma, uma
mudana para reviso paritria poderia tambm tornar as publica-
es mais lentas um resultado especialmente indesejado, dada a
norma da velocidade. Outras dificuldades tambm foram identifi-
cadas,360 mas suficiente dizer que a verso desenvolvida do
modelo de reviso paritria no parece ajustar-se s normas, neces-
sidades e objetivos da comunidade jurdica.
por tais razes que os professores de direito mantiveram seu
modelo singular, mas, ao mesmo tempo, desenvolveram vrios
mecanismos para compensar os defeitos percebidos nele. Notas de
rodap extensivas so um deles.361 Outro a sempre presente, e
longa, lista de acadmicos que levam agradecimentos no comeo das
artigos, que podem ter emergido como um meio de testemunho da
credibilidade da pesquisa. 362 Claro, largar nomes no significa que
a pessoa nomeada de fato serviu como um revisor paritrio no-an-
nimo ou aprovou de qualquer maneira o artigo; da mesma forma como
as elaboradas notas de rodap no garantem o valor da pesquisa. Mas,
aparentemente, o corpo docente das faculdades v tais medidas como
respostas teis para o choque expresso por universidades quando o
segredo da famlia foi exposto. PROFESSORES DE DIREITO SO
EDITADOS POR ESTUDANTES DE DIREITO.363
Mesmo que teis no tempo em que foram desenvolvidas, essas
adies estilsticas no compensam os outros problemas que identi-
ficamos na falta de reviso paritria cega. Ns, dessa forma,
propomos um modelo alternativo um que permita que as faculdades
de direito continuem com a norma existente, enquanto realam-na

tirando vantagem de algumas caractersticas do sistema de reviso

paritria. Outras possibilidades existem, claro,364 mas essa, a qual
similar quela que muitas editoras universitrias (de livros) seguem,
pode ser a que melhor se ajusta s tradies do direito.
Esse modelo funcionaria como segue.
: Estudantes continuariam a servir, como fazem agora, como

editores e membros das peridicos jurdicos. Mas as faculdades
de direito expandiriam os conselhos editoriais para incluir
membros do corpo docente.
: Quando receberem manuscritos, os estudantes como

membros das editoras universitrias podem rejeit-los por
quaisquer razes que acreditarem vlidas, exatamente como
fazem agora. Mas para qualquer manuscrito que eles julgarem
potencialmente publicvel, eles devem obter ao menos uma
reviso paritria cega (ou seja, em que revisor desconhea
a identidade do autor, e o autor desconhea a identidade do
revisor). O revisor deve ser um especialista em, no mnimo,
um aspecto do tema ou dos mtodos em questo. Na maior
parte das situaes, isso implica um professor de direito
(idealmente, mas no sempre, de outra faculdade de direito),
embora ocasionalmente isso possa implicar um estudante
que escreveu uma tese sobre um tema relacionado ou,
possivelmente, um Ph.D. em outra rea. A chave que
editores voltem-se para um revisor baseados em seu
conhecimento, no em seu status.
: Aps receber a avaliao externa, os estudantes estariam livres

para rejeitar o manuscrito. Mas, se eles quisessem publicar o

ensaio, eles devem trazer a reviso paritria annima e

quaisquer avaliaes estudantis internas para o conselho
editorial para uma aprovao final. Se desejado, o estudante
editor da publicao jurdica pode designar algum para
escrever uma resposta reviso annima, solicitar uma resposta
ou mesmo uma verso revisada do artigo, do autor, e incluir
esse material na informao revisada pelo conselho editorial.
Qualquer que fosse o procedimento exato, o importante que o

peridico jurdico publicaria somente artigos que (1) fossem revisa-
dos por no mnimo um especialista externo em uma reviso paritria
cega dupla (ou, no mnimo, una) e (2) obtivesse a aprovao do con-
selho editorial. O conselho editorial serviria como uma checagem
sobre o estudante editor da publicao jurdica, mas, na vasta maioria
dos casos, as expectativas seriam suficientemente claras, de maneira
que o conselho editorial apoiaria a deciso do editor do peridico
jurdico. De fato, o que ocorre na maioria das editoras universitrias,
e o que muito provavelmente ocorreria se fosse esse modelo apro-
priadamente adaptado ao direito, que o conselho editorial operaria
para fortalecer o editor, uma posio que seria to autnoma como o
atualmente. O novo sistema facilitaria ao editor dizer no aos
membros sniores do corpo docente que possam ter alguma influn-
cia sobre sua carreira futura (Desculpe, o conselho editorial no
aprovou o seu artigo...), e adicionaria uma credibilidade substancial
para o processo de tomada de decises, para o prestgio da publicao
jurdica, e para o valor acadmico de seu contedo. Editores estu-
dantes j esto conscientes de algumas dessas vantagens, como atesta
a sua prtica de consultar informalmente o corpo docente.365
Ao oferecer esse modelo, reconhecemos que segui-lo ou a
alguma variao dele que as faculdades tenham adaptado localmente

pode onerar os estudantes e docentes. Estudantes, sob a orientao

de professores, devem comear a construir um elenco de de revisores
externos. Os diretores precisaro persuadir o corpo docente a parti-
cipar de conselhos editorias; e os docentes sero, ocasionalmente,
convidados a servir como avaliadores de manuscritos. Alm disso,
professores de direito, acostumados com um tempo de resposta rela-
tivamente rpido, tero (talvez) de esperar um pouco mais para a
tomada de deciso sobre os manuscritos mandados para publicao.
Para ns, nenhum desses custos terrivelmente oneroso ou pro-
blemtico. Listas de revisores, como editores docentes sugeriram,
so fceis de serem desenvolvidas, e podem ser ainda mais simples
no direito, dado o anurio AALS Directory of Law Teachers (Dire-
trio de Professores de Direito), um tipo de recurso que muitas
outras disciplinas no possuem. Ademais, uma vez que o peridico
jurdico tenha estabelecido sua lista inicial, o prximo grupo de edi-
tores s precisar trabalhar em cima desta. (Como um efeito parte,
o processo de compilao de tal informao pode, por si s, ser bas-
tante informativo, ajudando estudantes e docentes a aprender sobre
campos inteiros de pesquisa.) O corpo docente participante do con-
selho editorial se alternar com o tempo, por esse meio assegurando
que a nem um nico professor seja imposta a tarefa por longos
perodos. Se necessrio, as faculdades de direito podem compensar
os membros do corpo de docente com recompensas, variando de
tempo livre a investimentos em seu prximo projeto. Finalmente,
nossa experincia na cincia poltica, uma disciplina (como a maio-
ria) na qual as publicaes utilizam a reviso paritria, de que
editores competentes podem devolver manuscritos em dois ou trs
meses. E isso com a obteno de no mnimo trs revises externas
para todos os artigos enviados, no simplesmente para aqueles que
eles julgam publicveis. Eles conseguem alcanar isso valendo-se,

entre outras estratgias, da velocidade do e-mail para contatar revi-

sores potenciais, mandando manuscritos em forma eletrnica, e
cobrando prazos de entrega rigidamente no envio do relatrio dos
revisores. Essas e outras estratgias so todas viveis para peridi-
cos jurdicos.
Ainda mais ao ponto, os benefcios desse modelo alternativo
suplantam qualquer um desses inconvenientes. Tanto os estudantes
como o corpo docente obtm uma vantagem, da qual docentes de
outras disciplinas j esto bem cientes: ler e avaliar manuscritos,
embora uma tarefa, um jeito timo para aprender sobre o estado
da literatura, e para faz-lo ainda antes da publicao. Essa uma
das razes por que docentes em outras disciplinas se dispem
carga associada com a reviso e o servio no conselho editorial.
Ademais, nosso modelo alternativo fornece um mecanismo o con-
selho editorial para facilitar a interao entre corpo docente e
estudantes, para quebrar a hierarquia, que parece mais severa e
enraizada em faculdades de direito que em qualquer outro programa
acadmico. Para ns, a nica hierarquia relevante em uma disci-
plina acadmica a baseada no conhecimento, e, por vezes, os
alunos possuem esse conhecimento, e o corpo docente, no. Sem
dvida, enquanto as opinies de especialistas externos podem aju-
dar a discernir se o artigo em questo est certo, s vezes, a
pessoa que sabe mais que quase qualquer um sobre um tema um
estudante que o pesquisou; s vezes, a pessoa com a melhor ideia
sobre um tpico de uma pesquisa algum que no tornou-se
enviesadopor anos de operao dentro do paradigma padro, e
este tambm pode ser, s vezes, um estudante. Fazer o corpo
docente e os estudantes realizarem decises em conjunto tem,
ento, benefcios para todos os envolvidos. Convida os estudantes
a tornar-se parte da comunidade acadmica, a socializar em um

mundo onde o aprendizado nunca para, onde o conhecimento

compartilhado, onde as normas de troca gratuita de informao aca-
dmica so incutidas, onde novas ideias so desenvolvidas.
Os benefcios associados a esse modelo para faculdades de direito
tanto para posio dessas em suas universidades quanto na comu-
nidade legal so claros. No mais ficaro os diretores e seus
docentes envergonhados com os segredos da famlia; eles podero
dizer validamente que todos os peridicos jurdicos publicados
seguiram no mnimo um modelo de reviso paritria. Isso melhorar
seu status em outras partes da universidade, as quais a despeito
do ranking da faculdade de direito geralmente as enxergam como
intelectualmente inferiores. Externamente, tambm pode ajudar. O
processo de reviso filtrar ao menos um pouco do lixo que os
prprios professores acusam seus peridicos de publicar,366 com o
resultado sendo publicaes melhores. Ns tambm podemos ima-
ginar faculdades de direito usando o modelo como um veculo para
melhorar sua reputao. Suponha que, do topo das vinte faculdades
de direito mais bem colocadas, dez adotem esse modelo e dez no
o faam. Isso forneceria uma abertura para que os dez adotantes
avanassem em suas posies; pois, uma vez que se torne ampla-
mente sabido que sua principal publicao passa por uma reviso
paritria, diretores de outros lugares tero incentivos para incitar
seus docentes para publicar neles. Com o tempo, as publicaes com
reviso paritria tornar-se-o cada vez melhores, enquanto outras
sero reduzidas, assim como so em outras disciplinas. A mesma
lgica, claro, mantm-se para todas as faculdades de direito, a des-
peito de sua posio atual na hierarquia das universidades.
Certamente, ao recomendar esse modelo, reconhecemos que ele
no se sobrepe a muitas das deficincias que os acadmicos asso-
ciam ao processo de seleo existente nos peridicos jurdicos. Mas

ele possui vantagens substanciais superiores s do modelo presente,

enquanto retm aqueles elementos que os professores de direito
parecem julgar atraentes.
E. DESEnVOLVER PADRES PARA
Uma das mais normas mais fortes na publicao jurdica a norma

O ARquIVAmEnTO DE DADOS
de documentao textual: editores de peridicos jurdicos e autores

so, mais do que a maioria da academia, obcecados com notas de
rodap. Sabemos que essa norma sofreu ataques por vrios lados367
e, de algumas perspectivas, um desperdcio de esforos. Mas, da
perspectiva da pesquisa emprica, ela possui duas vantagens impor-
tantes. Primeiro, conecta o conhecimento existente a literaturas
existentes. Esta uma das poucas maneiras como juristas preenchem
nossas admoestaes sobre a importncia do desenvolvimento de
uma comunidade de pesquisadores. Segundo, elaborar notas de
rodap habilita os leitores a localizar qualquer texto citado em um
artigo e aprender sobre o contedo daquele texto. E, se o texto no
publicado, acadmicos so capazes de obt-los por meio do autor
ou dos prprios peridicos jurdicos, as quais pedem aos autores que
forneam materiais no publicados para estoque em seus arquivos.
Ns certamente no podemos dizer a mesma coisa das normas em
praticamente qualquer outra disciplina acadmica.
Dada a importncia (e o valor) dessa norma de documentao para
a comunidade legal, surpreendente que violaes sejam excessivas
quando se fala em fontes no-textuais de informao mais relevan-
tes aqui, como dados quantitativos ou qualitativos analisados em
pesquisas empricas. Ento, por exemplo, enquanto os peridicos
jurdicos obtm materiais no publicados de autores com frequncia,
eles tipicamente no armazenam dados quantitativos ou qualitativos,

ou a documentao necessria para replicar os estudos que eles

publicam.368 No mesmo sentido (e com poucas excees notveis),
descobrimos que impossvel obter dados utilizados em artigos de
peridicos jurdicos a partir de fontes pblicas, dos peridicos jur-
dicos ou diretamente dos autores dos artigos. Mesmo aquelas
excees notveis vieram com limitaes ou outras complicaes.
Em um caso, o autor se disps a fornecer seus dados, mas apenas se
estivssemos dispostos a assinar um documento com limites quase
draconianos sobre o nosso uso; em outro, os dados vieram em uma
forma que tornou a anlise quase impossvel.369
A concluso dessas prticas de que as bases da maioria das evi-
dncias documentais importantes em artigos empricos de peridicos
jurdicos est perdida para sempre. Tal desperdcio monumental de
recursos no deveria continuar. Como pode a comunidade acadmica
avaliar tal trabalho? Como podem futuros acadmicos construir a
partir delas? Com efeito, como pode mesmo o prprio autor reali-
zar pesquisas subsequentes? Como pode a comunidade acadmica
corrigir erros, melhorar seus mtodos, ou beneficiar-se das mais
importantes vantagens de se ter uma comunidade acadmica?
Recomendamos que peridicos jurdicos, no mnimo, requeiram
documentao de dados empricos com tanta especificidade quanto
requerem para a documentao textual. E, assim como a documen-
tao textual, isso deveria ser um pr-requisito para a publicao.
Isso significa simplesmente tornar possvel para qualquer leitor que
transpasse as correntes das evidncias empricas utilizadas para sus-
tentar as concluses publicadas. Citar grupos de dados de uso
pblico um caminho para ir ao encontro dessa norma, mas em
praticamente todas as situaes, o nico jeito de garantir observn-
cia total requerer que os pesquisadores depositem seus dados
originais, e todas as informaes necessrias para replicar seus

resultados, em algum arquivo pblico. Isso pode soar como uma

ideia incomum, mas pesquisadores em todos os campos que tenta-
ram replicar o trabalho emprico de outros sabem o quo difcil
consegui-lo sem os dados originais. Mesmo aqueles que utilizaram
bases de dados pblicos precisariam normalmente depositar ao
menos todos os detalhes de seus clculos como eles foram dos
dados publicamente disponveis para seus resultados numricos
e informao exata sobre qual verso da base de dados pblicos
eles analisaram. Pelo mesmo motivo, pesquisadores realizando pes-
quisas de opinio deveriam depositar as respostas a nvel individual
para as suas questes (removendo apenas as informaes necess-
rias proteo da identidade dos questionados) e quaisquer clculos
realizados (por exemplo, como se lidou com dados faltantes).
Investigadores codificando casos depositariam seus grupos de
dados, as regras de codificao completas, e as conexes precisas
entre seus dados numricos o os casos originais de onde foram
codificados. Pesquisadores estudando discursos de legisladores
depositariam os textos dos discursos (se eles no pudessem ser
facilmente obtidos de outras fontes), ou citaes detalhadas para
todos os discursos consultados.
Existem muitos arquivos pblicos, incluindo o Publication Rela-
ted Archive do ICPSR,370 o arquivo de dados da International
Studies Association ,371 Qualidata: o ESRC Qualitative Data Archi-
val Resource Centre ,372 a Data Base Registry of the Economic
History Association 373 e Statlib, um repositrio da comunidade esta-
tstica.374 Um procedimento saudvel seria que peridicos jurdicos,
individual ou coletivamente, estabelecessem seus prprios arquivos
de dados, de modo que pudessem manter as evidncias empricas e
satisfazer as normas da profisso jurdica. Exemplos de arquivos
associados com peridicos individuais so os criados pelo Journal

of Applied Econometrics375 and pela Political Analysis.376 O projeto

Centro de Dados Virtuais (Virtual Data Center) fornece ferramentas
fceis e de domnio pblico que os peridicos e outros podem utilizar
para configurar seus prprios arquivos, assim como os padres exatos
para citar dados empricos.377
Essa recomendao foca-se nos peridicos jurdicos. A outra diz
respeito aos prprios juristas: aqueles que observam essa regra tem
de receber crdito por isso. Juristas deveriam listar, em seus currcu-
los, os bancos de dados que tornaram publicamente disponveis, da
mesma forma como hoje listam artigos publicados. Comits de con-
tratao, de concesso de perenidade e de promoo, bem como
outros corpos sancionadores precisam reconhecer a contribuio que
dados disponveis publicamente fazem para a comunidade docente.
Compreendemos que seguir essa recomendao e as outras que
oferecemos e, claro, as regras de inferncia s quais devotamos
a maior parte deste livro impor s faculdades de direito e seus
docentes uma grande quantidade de desafios. Enfrent-los, suspei-
tamos, no ser de todo difcil. Afinal, o interesse na pesquisa
emprica e as normas de apoio documentao esto em vigor.
agora uma questo de tornar seu uso produtivo pelo enfoque na dire-
o que recomendamos uma direo que s podemos acreditar que
levar a melhoras substanciais na literatura jurdica, assim como nas
polticas pblicas.

nOTAS
nOTAS
A pesquisa emprica tem por objetivo coletar e resumir dados do mundo

real e, a partir desses, realizar inferncias descritivas e causais.
i
Agradecemos a National Science Foundation (SBR-9729884, SBR-

9753126, e IIS-9874747) e os National Institutes of Aging (P01 AG17625-01) pelo
ii
suporte pesquisa; Micah Altman, Anne Joseph, Susan Appleton, Stuart Banner,
Shari Diamond, Bill Eskridge, Malcolm Feeley, Barry Friedman, Brian Glenn, Jack
Goldsmith, Andrew Holbrook, Dan Keating, Bob Keohane, Jack Knight, Bert
Kritzer, Ron Levin, Joan Nix, Eric Posner, Dan Schneider, Nancy Staudt, Sid Verba,
e Adrian Vermeule por comentrios teis e discusses; Dana Ellison, Andrew
Holbrook, e Jeff Staton pela assistncia na pesquisa; e Scott Norberg por seus dados.
Ver Gary King, Robert O. Keohane, e Sidney Verba, Designing Social

Inquiry: Scientific Inference in Qualitative Research, p. 46 (Princeton 1994).
1
Ver, por exemplo, Michael Heise, The Importance of Being Empirical,

Pepperdine L Rev, n. 26, p. 807, 810 (1999):
2
[Q]uando falo sobre conhecimento emprico jurdico, refiro-me apenas ao

subconjunto de conhecimento emprico jurdico o qual usa tcnicas e
anlises estatsticas. Por tcnicas e anlises estatsticas, quero dizer estudos
que empregam dados (incluindo opinies jurdicas sistematicamente
codificadas) que facilitam descries de ou inferncias para uma maior
amostra ou populao, bem como a rplica por outros pesquisadores.
Craig A. Nard, Empirical Legal Scholarship: Reestablishing a Dialogue
between the Academy and the Profession,Wake Forest L Rev, n.30, p. 347, 349
(1995) ([O] estudo emprico baseado em um detalhado estudo estatstico e
anlise, a partir dos quais pode-se traar concluses e formular ou reformular
polticas). Mesmo Peter H. Schuck, Why Dont Law Professors Do More Empirical
Research?, J Legal Educ, n. 39, p. 323, 323 (1989), que reconhece que muitas
formas de literatura jurdica so, de fato, empricas, define o conhecimento
emprico como principalmente (...) estudos estatsticos.

Muitos pesquisadores dividem a pesquisa emprica em dois tipos ou

estilos: quantitativo, o qual usa nmeros e mtodos estatsticos, e qualitativo, o
3
qual no se baseia em nmeros, mas em material histrico, entrevistas intensivas

e afins. Ver, por exemplo, Earl Babbie, The Basics of Social Research, p. 258
(Nelson Thomas Learning 1999); William J. Dixon, Research on Research
Revisited: Another Half Decade of Quantitative and Field Research on
International Organizations, Intl Org, n. 31, p. 65, 79 (1977). Essa distino pode
ser relevante para alguns propsitos, mas no para o nosso. Isso ocorre porque as
regras governando a pesquisa emprica, para a qual devotamos a maior parte deste
livro, aplicam-se com igual fora para o trabalho qualitativo e para o quantitativo.
Ver King, Keohane e Verba, Designing Social Inquiry, p. 6 (citado na nota 1).
4 Heise, Pepperdine L Rev, n. 26, p. 812 (citado na nota 2).
Realizamos uma anlise sistemtica, mas ainda preliminar, de artigos

publicados nos ltimos cinco anos em seis principais peridicos jurdicos
5
(Chicago, Columbia, Harvard, NYU, Stanford, and Yale). Virtualmente, todos os

artigos que examinamos at agora incluem no mnimo algumas anlises ou
hipteses empricas. Metade deles usou evidncias empricas para avaliar suas
hipteses empricas, e cerca de metade dessas eram somente qualitativas.
Nancy C. Staudt, Taxing Housework, Georgetown L J, n. 84, p. 1571

(1996).
6
7 Id, p. 1647.
Conforme David A. Sklansky, The Fourth Amendment and Common Law,

Colum L Rev, n. 100, p. 1739, 1744 (2000), dentro do novo originalismo, a
8
Corte examina se buscas e apreenses esto desarrazoadamente em violao

quarta emenda da Constituio dos Estados Unidos , procedendo de maneira a
determinar se o sistema de common law do sculo 18 as permitia.
9 Id, p. 1745.

nOTAS
Ver Nard, Wake Forest L Rev, n. 30, p. 36162 (citado na nota 2), para
os resultados de sua pesquisa telefnica de quarenta professores de direito
10
selecionados aleatoriamente. Dados os procedimentos que Nard utilizou, ns

no quereramos fazer uma afirmao forte de que sua amostra revela uma
populao relevante. (Para mais sobre amostragem, ver Captulo VIII). No
entanto, estamos impressionados com o nmero de artigos produzidos por
juristas proclamando a necessidade de mais pesquisas no mundo real e em
uma ampla gama de tpicos jurdicos. Uns poucos exemplos incluem: Heise,
Pepperdine L Rev, n. 26, p. 834 (citado na nota 2) (Nossa literatura jurdica
seria enriquecida se mais acadmicos, particularmente professores de direito,
tornassem-se engajados na pesquisa emprica jurdica e a produzissem mais).
Nancy S. Marder, The Myth of the Nullifying Jury, Nw U L Rev, n. 93, p. 877,
886 & n. 35 (1999) (lamentando a falta de pesquisa emprica sobre anulao de
jri); Michael C. Dorf, The Supreme Court 1997 TermForeword: The Limits
of Socratic Deliberation, Harv L Rev, n. 112, p. 4, 56 (1998) (argumentando
que a Suprema Corte deve basear-se em maior medida em anlises (...) empricas
nas suas opinies escritas); Joseph A. Guzinski, Governments Emerging Role
as a Source of Empirical Information in Bankruptcy Cases, Am Bankr Inst J, n.
17, p. 8, 8 (Out, 1998) (argumentando que a falta de evidncias empricas tem
atrasado os esforos para mudar o cdigo de falncias); Michael A. Livingston,
Reinventing Tax Scholarship: Lawyers, Economists, and the Role of the Legal
Academy, Cornell L Rev, n. 83, p. 365, 368 (1998) (propondo que o
conhecimento tributrio se expandisse de maneira a incluir um foco maior em
estudos empricos); Kevin R. Reitz, Sentencing Guideline Systems and
Sentence Appeals: A Comparison of Federal and State Experiences, Nw U L
Rev, n. 91, p. 1441, 1489 (1997) (pedindo por mais coleta e anlises de apelaes
de sentenas que seguem diretrizes de sentenciamento); Schuck, J Legal Educ,
n. 39, p. 323 (citado na nota 2) (A negligncia ao estudo emprico algo
nocivo e cada vez mais preocupante para nosso estudo e ensino); Derek C.
Bok, A Flawed System of Law Practice and Training, J Legal Educ, n. 33, p.
570, 580 (1983) (arguindo que os juristas ignoram as cincias sociais a seu
prprio risco e que eles no podem se manter inertes e esperar que os outros
completem seus problemas).

O juiz Richard A. Posner talvez o mais intimamente associado a essa

posio. Ver, por exemplo, Richard A. Posner, The Problematics of Moral and Legal
11
Theory, p. 15664 (Belknap 1999) (pedindo por um maior uso da cincia social no
processo decisrio judicial); Richard A. Posner, Against Constitutional Theory,
NYU L Rev, n. 73, p. 1 (1998); Richard A. Posner, The Summary Jury Trial and
Other Methods of Alternative Dispute Resolution: Some Cautionary Observations,
U Chi L Rev, n. 53, p. 366 (1986). Para outros na longa lista de membros distintos
da comunidade jurdica a pedir por mais trabalhos fundamentados em observaes
do mundo real, ver Heise, Pepperdine L. Rev, n. 26, p. 834 (citado na nota 2). De
fato, esses pedidos remontam no mnimo at O.W. Holmes, The Path of Law, Harv
L Rev, n. 10, p. 457, 469 (1897) (Para o estudo racional do direito, o estudioso da
letra da lei pode ser o homem do presente, mas o homem do futuro o homem das
estatsticas e o mestre de economia.), e os Realistas Jurdicos. Ver Michael Rustad
e Thomas Koenig, The Supreme Court and Junk Social Science: Selective Distortion
in Amicus Briefs, NC L Rev, n. 72, p. 91, 10017 (1993) (correlacionando a ascenso
das cincias sociais na determinao constitucional de fatos com uma maior
aceitao dos Realistas Jurdicos); John Henry Schlegel, American Legal Realism
and Empirical Social Science: From the Yale Experience, Buff L Rev, n. 28, p. 459,
463 (1979) (exame de pesquisas empricas antigas de Realistas Jurdicos de Yale).
Tambm percebemos que mesmo os membros da comunidade jurdica que
no explicitamente exortaram os professores de direito a produzir mais pesquisas
empricas perceberam sua importncia crescente no estudo e na prtica do direito.
O juiz da Suprema Corte Stephen Breyer, em su.oduo ao Federal Judicial
Centers Reference Manual on Scientific Evidence (2d 2000), disponvel on-line
em http://www.fjc.gov/public/pdf.nsf/lookup/sciman0a.pdf/$file/sciman0a.pdf>
(visitado em 12 de janeiro, 2002), comea com as seguintes linhas: Nessa era da
cincia, ela deveria esperar encontrar boas-vindas acaloradas, talvez um lar
permanente em nossos tribunais. A razo disso simples. As disputas legais
nossa frente envolvem cada vez mais os princpios e ferramentas da cincia.
Breyer continua, provendo vrios exemplos da Suprema Corte que requereram que
os juzes entendessem estatsticas e, de uma forma mais ampla, as regras de
inferncia. Da mesma forma, enquanto trabalhava no Quinto Circuito, John Minor
Wisdom escreveu:

nOTAS
O que a princpio pareceu ser um antagonismo entre a cincia social e o

direito agora se desenvolveu para uma relao amorosa. O que comeou
no campo da educao espalhou-se para vrias outras reas. Caso aps
caso, o Quinto Circuito, entre outras, baseou-se em estudos (...) para
mostrar poluio, discriminao ilegal de negros no tribunal de jri,
discriminao no trabalho, uso arbitrrio ou discriminatrio da pena de
morte, discriminao contra a mulher, a necessidade de reajustes de
representaes polticas, e a cura para a representao inequnime em
vrios rgos pblicos.
John Minor Wisdom, Random Remarks on the Role of Social Sciences in
the Judicial Decision-Making Process in School Desegregation Cases, L &
Contemp Probs, n.39, p. 134, 14243 (1975). Ao menos, ao nvel da Suprema
Corte, os dados parecem apoiar as observaes do juiz Breyers e do juiz Wisdom.
Depois de examinar as citaes s evidncias trazidas do mundo real nos casos de
aborto e discriminao de gnero para a Corte, no apenas Rosemary J. Erickson
and Rita J. Simon, The Use of Social Science Data in Supreme Court Decisions,
p. 153 (Illinois 1998), concluem que o uso de (...) dados de estudos
cientificamente confiveis pela Corte aumentou com o tempo. Eles tambm
afirmam que [U]m estudo cientificamente confivel (...) quase certo que v para
os registros da Corte. Id.
Ver, por exemplo, Ronald J. Tabak, How Empirical Studies Can Affect
Positively the Politics of the Death Penalty, Cornell L Rev, n. 83, p. 1431, 1431
12
(1998) (Estudos empricos relativos pena de morte podem ter um papel

importante no discurso pblico sobre a pena capital. (...) Mas o discurso
construtivo somente ocorrer se os oponentes da pena de morte eduquem-se sobre
o que os estudos empricos mostram.).
Ver, por exemplo, Peter H. Schuck e E. Donald Elliott, To the Chevron

Station: An Empirical Study of Federal Administrative Law, Duke L J, n. 1990, p.
13
984, 986 ([A]inda que possa haver um amplo acordo o fato de que as aes
administrativas importam, no h consenso sobre como e sob quais circunstncias
precisamente elas importam.); Jerry Mashaw e David L. Harfst, Regulation and

Legal Culture: The Case of Motor Vehicle Safety, Yale J Reg, n. 4, p. 257, 275
(1987) (As expectativas normativas de advogados da administrao pblica
foram raramente submetidos a uma verificao emprica que fosse mais que de um
tipo anedtico).
Ver, por exemplo, Guzinski, Am Bankr Inst J, n. 17, p. 8 (citado na nota

10) (Esforos para mudar as leis de falncia tem sido barradas pela falta de
14
respostas confiveis para qualquer nmero de perguntas empricas.)
Ver, por exemplo, Posner, U Chi L Rev, n. 53, p.393 (citado na nota 11):
Comeando pela promulgao das Regras Federais de Procedimento
15
Civil em 1938 e acelerando com a exploso do nmero de casos que

comeou em 1960, os tribunais federais foram uma arena de
experimentao massiva em administrao judicial. Os seus marcos
incluem a liberalizao das aes de classe, a inverso das custas
advocatcias, a expanso da produo antecipada de provas , managerial
judging, o jri de seis pessoas, a limitao da publicao das decises de
apelao, o maior uso dos adjuntos judiciais e, agora, a resoluo
alternativa de conflitos, ilustrada pelo julgamento sumrio do jri e
pela arbitragem anexada ao tribunal. Muito poucos desses experimentos
foram concebidos ou avaliados sob uma perspectiva cientfica e isso
pode ajudar a explicar o porqu dos tribunais federais permanecem em
um estado de crise. Talvez uma dose da cincia social seja a coisa, ou
uma delas, de que o sistema necessita.
Tabak, Cornell L Rev, n. 83, p. 1431 (citado na nota 12). Um exemplo

recente desse fenmeno Gratz v Bollinger, F Supp 2d, n. 122, p. 811, 822 (E D
16
Mich 2000), no qual o Juiz Patrick J. Duggan baseou-se fortemente nas evidncias
do mundo real para manter o programa atual de aes afirmativas das faculdades de
literatura, cincia e arte da Universidade de Michigan. Confome o Juiz Duggan, os
defensores apresentaram evidncias slidas sobre os benefcios que emergem de
um corpo estudantil etnica e racialmentediversificado. Id, p. 822. Comentando esse
caso, Derek Bok, coautor de um estudo que apresentou evidncias scio-cientficas

nOTAS
para defender aes afirmativas (William G. Bowen and Derek Bok, The Shape of
the River: Long-Term Consequences of Considering Race in College and
University Admissions (Princeton 1998)), observou que em Regents of the
University of California v Bakke, US, n. 438, p. 265 (1978), O Juiz Powell disse
que no havia evidncias dos benefcios educacionais da diversidade, mas que ele
estava disposto a aceitar o julgamento dos educadores de que havia (...) Os
tribunais esto agora aptos a ver dados de maneira a averiguar que peso dar a esta
afirmao., Jacques Steinberg, Defending Affirmative Action with Social Science,
NY Times 1 ao 41 (Dez 2000) (citando Bok).
Ver Robert C. Ellickson, Trends in Legal Scholarship: A Statistical Study,

J Legal Study, n. 29, p. 17, 528 (2000). Ellickson escreve que os dados de citao
17
indicam que professores de direito e estudantes tornaram-se mais inclinados a

produzir (...) anlises quantitativas. Id. Os termos da pesquisa que ele utilizou
para produzir as citaes s quais nos referimos no texto so estatstica e
significncia. Id. Ao contrrio de, digamos, empricas, essas so, de acordo
com Ellickson, mais provveis de aparecer em artigos contendo pesquisas
originais. Id. Esses termos, claro, apenas se aplicam para as pesquisas empricas
quantitativas.
18 Ver Captulo I.
Assim, o problema principal na nossa viso a necessidade no atendida

de um subcampo do direito dedicado a mtodos empricos, e a concomitante
19
ausncia total de artigos dedicados exclusivamente soluo de problemas

metodolgicos exclusivos da literatura jurdica. Sem esses artigos, e acadmicos
que os produzam, a maioria das reas de pesquisa com problemas que ainda no
foram atendidos em outras disciplinas, permanecer no remediada e o progresso
nesse campo permanece congelado.
Ver, de forma geral, Juiz Alex Kozinski, Who Gives a Hoot about Legal
Scholarship?, Houston L Rev, n. 37, p. 295 (2000) (argumentando que os
20
acadmicos influenciam a tomada de decises judiciais); Max Stier, et al, Law

Review Usage and Suggestions for Improvement: A Survey of Attorneys,

Professors, and Judges, Stan L Rev, n. 44, p. 1467 (1992) (resumindo os
resultados de pesquisas de opinio sobre o valor percebido de peridicos
jurdicos); Scott M. Martin, The Law Review Citadel: Rodell Revisited, Iowa L
Rev, n. 71, p. 1093 (1986) (argumentando que os artigos de peridicos jurdicos
tm valor como referncia para advogados); Juiz Frank K. Richardson, Law
Reviews and the Courts, Whittier L Rev, n.5, p. 385 (1983) (percebendo o impacto
de pesquisas empricas contidas em um simpsio de uma publicao jurdica teve
em uma srie de casos).
Para exemplos particulares, ver Erickson e Simon, Use of Social Science

Data (citado na nota 11); Wallace D. Loh, Social Research in the Judicial Process:
21
Cases, Readings, and Text (Russell Sage 1984); John Monahan e Laurens Walker,
Social Science in Law: Cases and Materials; (Foundation 1998); Paul L. Rosen,
The Supreme Court and Social Science (Illinois 1972).
Infelizmente, um bom nmero de exemplos relatados nesses trabalhos
revela os problemas que podem ocorrer quando os responsveis pelos programas
polticos baseiam suas decises em pesquisas mal elaboradas. Considere, por
exemplo, o estado de trs estudos, todos aparecendo em peridicos jurdicos e
todos alcanando a mesma concluso: no existem diferenas significativas entre
as decises tomadas por jris de seis ou doze pessoas. Note, Six-Member and
Twelve-Member Juries: An Empirical Study of Trial Results, Mich J L Reform, n.
6, p. 671 (1973); Note, An Empirical Study of Six- and Twelve-Member Jury
Decision-Making Processes, Mich J L Reform, n. 6, p. 712 (1973); Gordon
Bermant and Rob Coppock, Outcomes of Six- and Twelve-Member Jury Trials: An
Analysis of 128 Civil Cases in the State of Washington, Wash L Rev, n. 48, p. 593
(1973). Dentro de uma questo de meses das publicaes, o trio encontrou seu
caminho at uma deciso da Suprema Corte, Colgrove v Battin, US, n. 413, p. 149
(1973), a qual, alinhada com os resultados dos estudos, sustentou que um jri de
seis pessoas satisfaz a garantia de um julgamento com tribunal de jri em casos
civis da stima emenda da Constituio dos Estados Unidos. No importou que
dois desses trs artigos fossem notas no assinadas de um estudante, ou que
nenhum tenha sido publicado em uma revista de direito de prestgio; todos

nOTAS
continham afirmaes fortes e oportunas sobre o mundo, os juzes reagiram em

consequncia disso.
Claro, no sabemos se esses trs estudos, em vez de argumentos legais ou
outros fatores, foram o que convenceu a Corte a decidir da maneira como ela fez.
O que est alm de qualquer dvida, no entanto, que a Corte citou os trs com
aprovao: Estudos bem recentes proveram evidncias empricas convincentes de
estar correta a concluso do caso Williams [v Florida, US, n. 399, p. 78 (1970)] de
que no h diferena discernvel entre resultados alcanados pelos dois jris de
tamanhos diferentes, Colgrove, US, n. 413, p. 159. Tambm alm de qualquer
dvida est que esses estudos bem recentes eram seriamente falhos. Um baseou-
se em um experimento em que jurados (na verdade estudantes universitrios)
viram um julgamento filmado que era to bvio e pesadamente tendencioso que
nenhum dos dezesseis jris experimentais alcanaram um veredicto favorecendo o
demandante. Ver nota 6, Mich J L Reform, p. 712. Assim, mesmo se jris de seis
ou de doze pessoas de fato dem veredictos distintos nos casos de ocorrncia mais
comum (em outras palavras, aqueles que so mais parelhos entre a defesa e a
acusao), o experimento teria perdido inteiramente o efeito do tamanho. Ver
Michael Saks, Ignorance of Science Is No Excuse, Trial 18 (Nov-Dez 1974), e
Hans Zeisel e Shari Seidman Diamond, Convincing Empirical Evidence on the
Six Member Jury, U Chi L Rev, n. 41, p. 281 (1974).
Isso no seno uma ilustrao. Outros problemas com a pesquisa sobre
o jri citados em Colgrove foram to transparentes que Michael Saks, um
professor de direito com um Ph.D., foi levado a escrever:
A qualidade dos (...) estudos mostrados (...) no ganharia uma nota
passvel em uma aula de psicologia no ensino-mdio (...) A Corte
olhou para os estudos empricos e entendeu os achados afirmados.
O que a Corte no percebeu que nem todos os estudos empricos so
iguais (...) Estudos usando mtodos fracos no dizem nada a ningum;
mas eles podem ser seriamente mal-realizados porque suas concluses
ainda podem ser propriamente denominadas empricas. Os (...)
estudos empricos citados em Colgrove v. Battin, em razo de seus
mtodos falhos, disseram muito menos do que a Corte pensou que eles
estavam dizendo.

Saks, Trial 1819. Para outras crticas dos estudos de jris citados em
Colgrove, ver Robert H. Miller, Six of One is Not a Dozen of the Other: A
Reexamination of Williams v. Florida and the Size of State Criminal Juries, U Pa
L Rev, n. 146, p. 621, 65761 (1998) (argumentando que os estudos citados em
Colgrove exibiram problemas metodolgicos inerentes e excessivos); Richard
O. Lempert, Uncovering Nondiscernible Differences: Empirical Research and
the Jury Size Cases, Mich L Rev, n. 73, p. 643, 64447, 699705 (1975)
(argumentando que os estudos citados eram falhos no apenas em sua
metodologia, mas em seu planejamento fundamental); Zeisel e Diamond, U Chi L
Rev, n. 41, p. 281, 28290 (encontrando que os estudos citados em Colgrove
falharam em prover concluses confiveis).
Os estudos a que se refere Saks so quantitavos (numricos), mas a
pesquisa emprica baseando-se em outras formas de evidncia mais qualitativas
(no-numricas) que tem sido igualmente influente ainda que possa ser igualmente
problemtica. Pesquisas sobre a segunda emenda da Constituio dos Estados
Unidos ilustram bem esse ponto. Em resposta a decises de tribunais e artigos de
peridicos jurdicos sugerindo que a emenda garante apenas um direito coletivo
dos estados de armar suas milcias (perceba que trinta e sete dos quarenta e um
peridicos jurdicos publicados entre 1980 e 1994 aparentemente tomam uma
perspectiva de direitos individuais quanto segunda emenda, ver Glenn Harlan
Reynolds, A Critical Guide to the Second Amendment, Tenn L Rev, n. 62, p. 461,
466 nota 19 (1995)), Levinson, Lund e outros juristas argumentam que os juzes
deveriam comear a interpretar a segunda emenda como estabelecendo um direito
individual de manter e usar armas um direito constitucional que, como religio
e discurso, o Congresso no pode limitar. Ver Nelson Lund, The Past and Future
of the Individuals Right to Arms, Ga L Rev, n. 31, p. 1, 1939 (1996); David E.
Vandercoy, The History of the Second Amendment, Valparaiso L Rev, n. 28, p.
1007, 1009 (1994); Sanford Levinson, The Embarrassing Second Amendment,
Yale L J, n. 99, p. 637, 64355 (1989); Nelson Lund, The Second Amendment,
Political Liberty, and the Right of Self Preservation, Ala L Rev, n. 39, p. 103, 108
21 (1987). Sustentando sua posio, afirmam esses acadmicos, h uma vasta
ordem de evidncias documentais indicando que os constituintes pretendiam que
a emenda salvaguardasse um direito individual. Advogados representando vrios

nOTAS
grupos contrrios ao controle de armas, naturalmente, desenvolveram esses

argumentos em suas peas jurdicas. Ver, por exemplo, Brief Supporting Appellee
of Amicus Curiae National Rifle Association of America, United States v
Emerson, Civil Action N. 99-10331 (5th Circuit, interposta em 20.12.1999). Ao
menos um juiz federal fez uso extensivo desses argumentos para sustentar seu
posicionamento de que a segunda emenda probe que o governo negue a posse de
armas para pessoas sujeitas a mandados de injuno. Ver United States v Emerson,
F Supp, n. 46, 2d, p. 598 (1999).
Historiadores e outros acadmicos agora pularam para o debate. Depois
de examinar as evidncias oferecidas nos artigos sobre a segunda emenda, Garry
Wills que se surpreendeu ao constatar que a maioria dos peridicos jurdicos no
submetida reviso paritria perguntou-se se nossos peridicos jurdicos
estavam sendo compostos por Lewis Carroll usando vrios outros pseudnimos.-
Garry Wills, To Keep and Bear Arms, NY Rev Books, p. 62, 71 (21.09.1995). Para
outras crticas, ver Saul Cornell, Commonplace or Anachronism: The Standard
Model, the Second Amendment, and the Problem of History in Contemporary
Constitutional Theory, Const Commen, n. 16, p. 221, 246 (1999); Michael A.
Bellesiles, Arming America: The Origins of a National Gun Culture, p. 21314
(Knopf, 2000). Mas ver Joyce Lee Malcolm, To Keep and Bear Arms: The Origins
of an Anglo-American Right, p. 162 (Harvard 1994) (sustentando particulares
afirmaes feitas por Levinson).
Certamente este debate continuar. Ns apenas desejamos que se perceba
aqui que os artigos de peridicos jurdicos que parecem t-lo precipitado (ao
menos aqueles traando afirmaes sobre os desejos dos constituintes) violam
muitas das regras que discutimos no balano deste livro por exemplo, os autores
tipicamente no explicam a razo pela qual eles arrolam certas evidncias e
omitem outras e que essas violaes podem ter efeitos dramticos nas
concluses dos autores. Ver tambm Morgan Cloud, Searching through History;
Searching for History, U Chi L Rev, n. 63, p. 1707, 170708 (1996) (traando um
ponto similar sobre as histrias de advogados da quarta emenda [da Constituio
dos Estados Unidos], quando ele escreve que eles tm sido incompletos,
revisando apenas uma pequena frao dos dados histricos relevantes, e eles tm
sido partidrios, seletivamente implantando fragmentos do registro histrico para

sustentar seus argumentos sobre o significado da emenda). Para outros

tratamentos recentes dos problemas no estudo jurdico procurando desvelar a
inteno original ou entendimento, ver, por exemplo, Emil A. Kleinhaus, Note,
History as Precedent: The Post-Originalist Problem in Constitutional Law, Yale L
J, n. 110, p. 121 (2000); Martin S. Flaherty, History Right?: Historical
Scholarship, Original Understanding, and Treaties as Supreme Law of the
Land, Colum L Rev, n. 99, p. 2095 (1999).
Ver, por exemplo, Heise, Pepperdine L Rev, n. 26, p. 81718 (citado na

nota 2); Nard, Wake Forest L Rev, n. 30, p. 362 (citado na nota 2); Gerald N.
22
Rosenberg, Across the Great Divide (between Law & Political Science), Green
Bag, n. 3, 2d, p. 267 (2000). A falta de treinamento pode ser a razo primria, mas
no a nica. As outras razes, porm, que os acadmicos sugerem, so, para ns,
seriamente defeituosas como a sua percepo de que a pesquisa do mundo real
consome mais tempo (ver, por exemplo, Julius G. Getman, Contributions of
Empirical Data to Legal Research, J Legal Educ, n. 35, p.489 (1985)), e mais
difcil de realizar (ver, por exemplo, Lawrence M. Friedman, The Law and Society
Movement, Stan L Rev, n. 38, p.763 (1986); Heise, Pepperdine L Rev, n. 26, p. 807
(citado na nota 2)), que outras formas de estudos jurdicos. Todavia, eles indicam
que a infra-estrutura das faculdades de direito poderiam, mas hoje no fornecem
apoio para esse tipo de trabalho. Ns oferecemos sugestes para a construo da
infraestrutura apropriada no Captulo IX.
Essas diferenas de treinamento levaram a numerosos desentendimentos

e a acusaes sendo atiradas de um lado para o outro da divisa disciplinar. O que
23
os crticos deixam de lado, no entanto, que essas diferenas, em perspectiva, so

consistentes com objetivos marcadamente diferentes dos dois lados. Entre outras
coisas, cientistas almejam realizar uma boa pesquisa emprica, aprender sobre o
mundo e traar inferncias. Em contraste, advogados e juzes, e assim, professores
de direito, especializam-se na persuaso. Advogados precisam persuadir juzes e
jri a favor de seus clientes, e as regras de persuaso no sistema adversarial so
diferentes das regras da investigao emprica. Como atores a quem falta o poder
de execuo, os juzes tentam aumentar a legitimidade de suas aes pela

nOTAS
persuaso das partes nos processos, o poder executivo, o pblico, e assim por
diante, que as decises judiciais tm uma base firme na autoridade de direito
estabelecida previamente, em vez de na discrio pessoal dos juzes mesmo
quando essa autoridade inconsistente, ilgica, historicamente imprecisa ou
inexistente. Peridicos jurdicos, por sua vez, so preenchidos em parte com
pareceres de tribunais dissimulados (com muitos artigos escritos por ex-assessores
de juzes) reargumentando, sustentando ou praticando a arte de persuaso poltica.
Para os propsitos de persuaso poltica, juzes podem fazer afirmaes sobre
histria, filosofia, economia e cincia poltica que seriam vistas como superficiais
ou desacreditadas por praticantes dessas disciplinas, mas que no ofendem os
padres mnimos de aceitabilidade pelo desempenho de sua distinta atividade.,
Richard H. Fallon, Jr., Non-Legal Theory in Judicial Decisionmaking, Harv J L &
Pub Pol, n. 17, p. 87, 93 (1994). Podemos ver a falta de contradio somente pelo
reconhecimento de que o objetivo do Ph.D. de aprender sobre o mundo emprico
difere do objetivo dos J.D. de persuaso poltica. Claro que advogados tambm
entendem que as ideias sobre o mundo podem estar errados, e os Ph.D. utilizam a
persuaso para convencer outros da importncia de suas ideias, mas ainda assim
as diferenas institucionais nos campos continuam fortes.
Ver Arthur Selwyn Miller, The Myth of Objectivity in Legal Research and
Writing, Cath U L Rev, n. 18, p. 290, 291 (1969) (argumentando que a
24
objetividade na escrita jurdica impossvel de ser alcanada por advogados em

razo de seu comprometimento com a advocacia).
Nosso ponto no que advogados so piores na aplicao das regras de

inferncia que acadmicos nas cincias naturais e sociais. Tal deve frequentemente
25
ou mesmo normalmente ser verdade, mas esses outros campos esto cheios de seus
prprios problemas, nenhum dos quais, no entanto assunto deste livro.
Muitos acadmicos j avaliaram o estado do estudo jurdico, e assim

fizeram de uma variedade de perspectivas. Para exemplos recentes, ver Lawrence
26
M. Friedman, Law Reviews and Legal Scholarship: Some Comments, Denver U L

Rev, n. 75, p. 661, 66165 (1998) (criticando a influncias de peridicos jurdicos

no estilo e no contedo do literatura jurdica); Ronald J. Krotoszynski, Jr., Legal

Scholarship at the Crossroads: On Farce, Tragedy, and Redemption, Tex L Rev,
n. 77, p. 321, 32131 (1998) (criticando o processo seletivo de artigos para
peridicos jurdicos); Posner, NYU L Rev, n. 73, p. 711 (citado na nota 11)
(percebendo a desconexo entre teoria constitucional acadmica e a tomada de
decises judiciais; Daniel A. Farber e Suzanna Sherry, Beyond All Reason: The
Radical Assault on Truth in American Law 3 (Oxford 1997) (desacreditando o
abandono da moderao e (...) a morte do senso-comum na academia legal.);
Richard S. Harnsberger, Reflections about Law Reviews and American Legal
Scholarship, Neb L Rev, n. 76, p. 681, 691700 (1997) (culpando os editores dos
peridicos jurdicos pela queda na proporo de artigos prticos para
tericos); Harry T. Edwards, The Growing Disjunction between Legal Education
and the Legal Profession, Mich L Rev, n. 91, p. 34, 35 (1992) (criticando estudos
impraticveis que tm pouca relevncia para problemas concretos); Edward
L. Rubin, The Practice and Discourse of Legal Scholarship, Mich L Rev, n. 96, p.
1835, 188091 (1988) (argumentando que o estudo jurdico no vai efetivamente
ao encontro de seus objetivos de persuadir juzes e aqueles que traam as polticas
pblicas).
Assim procedendo, ns baseamos em King, Keohane, and Verba,

Designing Social Inquiry (citado na nota 1), e trabalhos subsequentes, como Mark
27
Lichbach, ed, The Qualitative-Quantitative Disputation, Am Polit Sci Rev, n. 89,

ed. 2, p. 45480 (1995) (simpsio de reviso sobre Designing Social Inquiry);
Henry E. Brady and David Collier, eds, Rethinking Social Inquiry: Diverse Tools,
Shared Standards (no prelo: IGS/Rowman & Littlefield 2002); Mark Lichbach e
Richard Ned Lebow, Theory and Evidence in International Relations (no prelo,
Princeton 2002). Nosso propsito adaptar, elaborar e expandir esses trabalhos (e
as regras que eles contm) de maneiras que parecem especialmente produtivas
para a pesquisa no direito.
No mnimo, professores de direito, juzes e advogados tero agora algo no

que se apoiar ao invs das fontes problemticas citadas em tantos peridicos
28
jurdicos. Ver, por exemplo, Orin S. Kerr, Shedding Light on Chevron: An Empirical

nOTAS
Study of the Chevron Doctrine in the US Courts of Appeals, Yale J Reg, n. 15, p. 1,
22 nota 113 (1998) (citando um livro de estatsticas de 1955, R. Clay Sprowls,
Elementary Statistics for Social Science and Business (McGraw-Hill 1955));
Leandra Lederman, Which Cases Go to Trial?: An Empirical Study of the Predictors
of Failure to Settle, Case W Res L Rev, n. 49, p. 315, 350 (1999) (justificando o uso
da (altamente insensata) regresso passo-a-passo (ver Gary King, How Not to Lie
with Statistics: Avoiding Common Mistakes in Quantitative Political Science, Am J
Polit Sci, n. 30, p. 666 (1986)) com base nas alegaes feitas em Michael O.
Finkelstein e Bruce Levin, Statistics for Lawyers (Springer-Veriag 1990) sobre a
importncia da parcimnia um conceito amplamente incompreendido (ver King,
Keohane, e Verba, Designing Social Inquiry p. 104 (citado na nota 1)); Gregory C.
Sisk, Michael Heise, e Andrew P. Morriss, Charting the Influences on the Judicial
Mind: An Empirical Study of Judicial Reasoning, NYU L Rev., n. 73, p. 1377, 1432
e nota 233 (1998) (citando George W. Bohrnstedt e David Knoke, Statistics for
Social Data Analysis (Peacock 2d ed 1988), entre outros, para sustentar sua
compreenso (incorreta) da multicolinearidade e suas decises falhas concomitantes
de excluir uma varivel independente se ela e uma(s) outra(s) varivel(eis)
correlacionam-se em um nvel 0,5 ou mais).
Diversos estudos documentam o uso que juzes e advogados fazem das

evidncias empricas algumas das quais os advogados (e amici curiae) coletam
29
independentemente, algumas das quais os juzes e advogados tiram de artigos de

peridicos jurdicos e outros trabalhos eruditos. Ver, por exemplo, Rustad e
Koenig, NC L Rev, n. 72, p. 91 (citado na nota 11); D.H. Kaye, Statistics for
Lawyers and Law for Statistics, Mich L Rev, n. 89, p. 1520 (1991); John Monahan
and Laurens Walker, Social Authority: Obtaining, Evaluating, and Establishing
Social Science in Law, U Pa L Rev, n. 134, p. 477 (1986); Rosen, The Supreme
Court and Social Science (citado na nota 11); Ronald Roesch, et al, Social Science
and the Courts: The Role of Amicus Curiae Briefs, L & Human Beh, n. 15, p. 1
(1991); Michael Saks e Charles H. Baron, editores, The Use/Nonuse/Misuse of
Applied Social Research in the Courts (Abt Books 1980); Erickson and Simon,
Use of Social Science Data (citado na nota 11). Rustad e Koenig, NC L Rev, n. 72,
p. 93 (citado na nota 11), nota: Uma vez hertica, a crena de que os estudos

empricos podem influenciar o contedo da doutrina jurdica agora um dos

poucos pontos de concordncia geral entre juristas.
Ainda mais interessantes so as afirmaes de que juzes e advogados
fariam um maior uso da pesquisa fundamentada em observaes do mundo real se
mais estudos existissem, ou se eles fossem de uma maior qualidade. Estas vm de
juristas, ver, por exemplo, David L. Faigman, Normative Constitutional Fact-
Finding: Exploring the Empirical Component of Constitutional Interpretation, U
Pa L Rev, n. 139, p. 541, 612 (1991) (argumentando que a pesquisa jurdica
baseada em fatos coloca um visto especialmente convincente nas tomadas de
deciso judiciais na arena da interpretao constitucional), assim como de
juristas, ver, por exemplo, Chandler v Florida, US, n. 449, p. 560, 57879 (1981)
(lamentando que no presente, ningum foi apto a apresentar dados empricos
suficientes para determinar que a mera presena da mdia disseminada possui
inerentemente um efeito adverso na administrao da justia). Estamos animados
com essas afirmaes; no entanto, queremos enfatizar que se os tribunais fizerem
uso de dados resultantes de estudos realizados impropriamente (em outras
palavras, uma parte vigorosa do trabalho publicado em peridicos jurdicos; ver
Captulo I), eles podem expor-se a uma crtica severa. Ver Rustad e Koenig, NC L
Rev., n. 72, p. 91, 94 (citado na nota 11) (ilustrando que os jeitos como os dados
da cincia social nas averiguaes legislativas so distorcidos por motivos
partidrios); David M. OBrien, The Seduction of the Judiciary: Social Science
and the Courts, Judicature, n. 64, p. 8, 11 (1980) (argumentando que juzes
deveriam abandonar a prtica de justificar suas decises baseando-se em
proposies empricas); Saks e Baron, eds, Use/Nonuse/Misuse of Applied Social
Research, p. 28 (citando exemplos de m-utilizao de dados empricos nas
fundamentaes judiciais). Para crticas de decises particulares, ver, por
exemplo, Saks, Trial p. 1820 (citado na nota 21); Zeisel e Diamond, U Chi L Rev,
n. 41, p. 28290 (citado na nota 11); Miller, U Pa L Rev, n. 146, p. 65051 (citado
na nota 21).
30 Ver Saks, Trial, p.18 (citado na nota 21).
31 509 US 579 (1993).

nOTAS
Ainda, Kumho Tire Co v Carmichael, 526 US 137 (1999), a Corte

estendeu a obrigao do juiz de julgamento originria do caso Daubert para cobrir
32
praticamente todas as ofertas de testemunhos baseados em conhecimento

especializado. Opinio do Juiz Alex Kozinski sobre a reavaliao em Daubert, 43
F3d 1311, 131516 (9th Cir 1994) (citaes internas omitidas), ressalta a posio
desconfortvel na qual (no mnimo alguns) juzes agora se encontram quando
chamados a avaliar pesquisas:
Juzes federais decidindo sobre a admissibilidade do testemunho
pericial cientfico confrontam uma tarefa bem mais complexa e
assombrosa em um mundo ps-Daubert que antes (...) Em Daubert,
ns devemos nos engajar em uma difcil anlise de duas partes.
Primeiro, precisamos determinar nada mais que se o testemunho do
perito reflete conhecimento cientfico, se seus achados so
derivados do mtodo cientfico, e se o produto de seu trabalho
equivale boa cincia. Segundo, devemos assegurar que o
testemunho pericial proposto relevante para a tarefa em mos, i.e.,
ele avana ilogicamente um aspecto material da parte propositora. A
Suprema Corte refere-se a essa segunda ponta da anlise como o
requerimento de conformao. A primeira ponta de Daubert coloca
os juzes federais em uma posio desconfortvel. A questo da
admissibilidade surge apenas se primeiro estabelecido que os
indivduos cujos testemunhos esto sendo proferidos so peritos em
um campo cientfico particular; aqui, por exemplo, a Suprema Corte
tornou-se eloquente nas qualificaes impressionantes dos peritos dos
demandantes. Algo ainda no se torna conhecimento cientfico
somente porque expressado por um cientista; nem pode ser
considerada conclusiva uma assertiva feita em proveito prprio pelo
prprio cientista de que suas concluses foram derivadas do mtodo
cientfico, seno a opinio da Corte poderia ter acabado na segunda
nota de rodap. Enquanto lemos a lio da Suprema Corte em Daubert,
ento, apesar de que estamos amplamente destreinados em cincia e de
que, certamente, no somos preo para as testemunhas cujo
testemunho estamos examinando, nossa responsabilidade determinar

se esse testemunho considerado conhecimento cientfico, se

constitui boa cincia e se foi derivado do mtodo cientfico. A
tarefa nossa frente ainda mais assombrosa quando a disputa
concerne a problemas nas fronteiras da pesquisa cientfica, onde fatos
encontram a teoria e a certeza dissolve-se em probabilidade. Como o
registro desse caso ilustra, os cientistas frequentemente possuem
discordncias ferrenhas sobre qual metodologia de pesquisa
apropriada, sobre o que deve ser aceito como prova suficiente para a
existncia de um fato, e se a informao derivada de um mtodo
particular pode dizer-nos algo til sobre o assunto estudado. Nossa
responsabilidade, dessa maneira, a menos que tenhamos lido
seriamente errado a opinio da Suprema Corte, resolver disputas
entre cientistas respeitados, com boas credenciais, sobre problemas
claramente dentro da especialidade deles, em reas onde no existe um
consenso cientfico sobre o que e o que no boa cincia e
ocasionalmente rejeitar esse testemunho pericial porque ele no foi
derivado de um mtodo cientfico. Conscientes de nossa posio na
hierarquia do judicirio federal, respiramos fundo e procedemos com
essa inebriante tarefa.
Judges Shunning Bad Science, Science 929 (Nov 3, 2000). O estudo

original pode ser encontrado em <http://air.fjc.gov/public/fjcweb.nsf/pages/336/>
33
(visitado em 11 de janeiro de 2002).
Existem, claro, alguns livros-textos e manuais que endeream problemas

relacionados, mas no idnticos. Ver, por exemplo, Steven M. Crafton and Margaret
34
F. Brinig, Quantitative Methods for Lawyers (Carolina 1994), Wayne C. Curtis,

Statistical Concepts for Attorneys: A Reference Guide (Quorum 1983), Finkelstein e
Levin, Statistics for Lawyers (citado na nota 28); Hans Zeisel e David Kaye, Prove
It with Figures: Empirical Methods in Law and Litigation (Springer 1997); Federal
Judicial Center, Reference Manual on Scientific Evidence (2000) (citado na nota 11).
Esses trabalhos explicam vrios procedimentos estatsticos e discutem algumas das
regras de inferncia estatstica mas, ao contrrio deste livro, eles no esto

nOTAS
tipicamente direcionados ao conhecimento legal ou preocupados com inferncias

usando evidncias qualitativas, design ou a infraestrutura de pesquisa.
Que juzes (e devemos adicionar advogados e professores de direito) tm

dificuldades em fazer a diferenciao entre essa distino, foi documentado por
35
vrios acadmicos. Ver a nota 21. Ver tambm Rustad e Koenig, NC L Rev, n. 72,
p. 152 (citado na nota 11) (Juzes no so imunes tendncia humana de
supervalorizar anedotas vvidas quando tomando decises importantes.), citando
J. Alexander Tanford, The Limits of a Scientific Jurisprudence: The Supreme Court
and Psychology, Ind L J, n. 66, p. 137, 145 (1990); Faigman, U Pa L Rev, n. 139,
p. 544 (citedo na nota 29) (Os tribunais falham ao distinguir entre princpios
normativos e proposies empricas, analisando a pesquisa emprica como se ela
fosse argumento sobre o texto ou precedente).
Tambm no tabulamos os tipos particulares de erros que identificamos.

Tentamos desenvolver esquemas codificados para fazer isso, mas a maioria dos
36
artigos comete tal complicado e inter-relacionado conjunto de erros que no

conseguimos encontrar um jeito de quantificar erros sem cometer injustia com o
artigo original. Claro, tabulaes como essas no serviriam a nenhum propsito
relevante: os erros esto em todos os lugares, cada regra que discutimos abaixo
violada numerosas vezes na literatura dos peridicos jurdicos , e praticamente
todos podem ser corrigidos.
Coletamo-los de uma pesquisa no Lexis, realizada em 17 de julho de

2000, de ttulo [emprico] na biblioteca LAWREV, arquivo ALLREV.
37
Exclumos artigos que no pretendiam ser empricos, como recapitulaes.
Ver http://www.usnews.com/usnews/edu/beyond/gradrank/law/gdlawt1.html
38
39 Ver <http://www.ssrn.com> (visitado em 11 de janeiro de 2002).
40 Especificamente, dos setenta e dois artigos de pesquisa publicados nessas

revistas (de nmeros 1 e 2 dos volumes publicados em 2000; para o Journal of

Legal Studies, parte um dos nmeros um e dois) apenas 18% (n=13) foram
escritos por um professor de direito ou uma equipe de professores de direito; os 59
restantes foram escritos ou (coescritos) por no mnimo um pesquisador de fora da
academia jurdica. (Nossa contagem de artigos de pesquisas exclui intercmbios,
peas de simpsios, revises e crticas de livros). O Journal of Legal Studies, da
Universidade de Chicago contabiliza a maior quantidade de artigos produzidos por
juristas dez dos treze, mas quatro dos dez foram escritos por membros do corpo
docente de Chicago.
Para aqueles que j leram os Captulos III VIII, esclarecemos que o alvo
de nossa inferncia aqui a extenso dos problemas metodolgicos na literatura
41
jurdica futura se este livro no for lido. Em outros campos, a sofisticao

metodolgica muda gradualmente, e no vemos razes para diferenas
significativas no direito. Dessa maneira, parecemos seguros em nossa suposio
de que prticas metodolgicas recentes iro prognosticar de forma precisa as
prticas futuras, por isso focamos na tarefa de analisar o passado recente. Se
considerarmos a amostra de todos os artigos em cujo ttulo constar a palavra
emprico como uma aproximao bruta de uma amostra aleatria de todos os
artigos empricos em peridicos jurdicos, podemos, assim, ficar muito seguros de
que a populao de artigos empricos similarmente problemtica. Por exemplo,
astronomicamente pequena (menor que um em trinta e sete bilhes) a
probabilidade de se observar uma amostragem aleatria de 231 artigos nos quais
100% violam ao menos uma das regras de inferncia, dada uma populao-alvo
com apenas 90% de artigos violando ao menos uma regra. Esse resultado, e nossas
amostras suplementares enviesadas em favor de uma melhor pesquisa, fizeram
parecer altamente improvvel que mesmo tanto quanto 10% apenas dos artigos de
peridicos jurdicos no futuro prximo no violaro as regras de inferncia (ao
menos sem maior ateno a essas regras).
O poder de permanncia de estudos jurdicos falhos e desacreditados pode

ser extraordinrio. Por exemplo, como Tabak, Cornell L Rev, n. 83 p.143132
42
(citado na nota 12), aponta:

nOTAS
Pesquisadores realizando estudos vlidos sobre preveno falharam em

encontrar qualquer efeito preventivo em uma pena capital (...) Ainda
assim, no discurso poltico, os proponentes da pena de morte geralmente
alegam o contrrio que o efeito preventivo existe. Eles ainda citam
estudos realizados por Isaac Ehrlich e seu estudante, Stephen Layson.
Isso se d mesmo que um painel apontado pela National Academy of
Sciences, junto com muitos outros pesquisadores, tenham condenado seu trabalho.
Ver, por exemplo, Lawrence R. Klein, Brian Frost, eVictor Filatov, The Deterrent
Effect of Capital Punishment: An Assessment of the Estimates, em Alfred
Blumstein, Jacqueline Cohen, and Daniel Nagin, eds, Deterrence and
Incapacitation: Estimating the Effects of Criminal Sanctions on Crime Rates,
p.336, 33957 (National Academy of Sciences 1978).
Estamos cientes de que h bibliografia economtrica que explora a
questo da preveno com resultados indeterminados. O nico ponto aqui que
pesquisadores continuam a citar o estudo de Ehrlich, mesmo que estudos de maior
qualidade alcanando resultados idnticos e diferentes existam. Juristas
abordaram a mesma questo em relao literatura recente sobre Miranda v
Arizona, 384 US 436, (1966), o qual se baseia em estudos mais antigos para
alcanar concluses sobre o impacto da deciso. Ver, por exemplo, Richard
Angelo Leo, Police Interrogation in America: A Study of Violence, Civility, and
Social Change, p.33233, dissertao de Ph.D. no-publicada (1994), citada em
Stephen J. Schulhofer, Mirandas Practical Effect: Substantial Benefits and
Vanishingly Small Social Costs, Nw U L Rev, n. 90, p. 500, 50607 (1996):
Praticamente todos [os estudos] foram realizados por advogados ou
professores de direito no-treinados em mtodos de pesquisa das
cincias sociais [e eles] esto repletos de fraquezas metodolgicas. (...)
A fraqueza metodolgica de praticamente todos os estudos sobre o
impacto de Miranda deveria necessariamente moderar, e em certos casos
fazer-nos questionar, as concluses que foram extradas desses estudos.
Entre os mais famosos ataques est Fred Rodell, Goodbye to Law

Reviews, Va L Rev, n.23, p.38, 38 (1936), em que Rodell alegou que havia dois
43
problemas com a escrita jurdica: Um seu estilo. O outro seu contedo. O

artigo de Rodell deve ser o mais conhecido ironicamente, ao menos de acordo

com Bernard J. Hibbitts, Last Writes?: Reassessing the Law Review in the Age of
Cyberspace, NYU L Rev, n.71, p. 615, 630 (1996), o trabalho de Rodell em
ltima instncia (...) [tornou-se] o artigo de peridicos jurdicos mais citado em
peridicos jurdicos mas muitos outros expressaram sentimentos similares. Para
uma reviso de suas preocupaes, ver id.
Kenneth Lasson, Scholarship Amok: Excesses in the Pursuit of Truth and

Tenure, Harv L Rev, n.103, p. 926, 928 (1990).
44
45 Id, p.931.
James Lindgren, An Authors Manifesto, U Chi L Rev, n. 61, p. 527, 531

(1994).
46
47 Rodell, Va L Rev, n. 23, p. 39 (citado na nota 43).
Peter Huber, Galileos Revenge: Junk Science in the Courtroom 2 (Basic

1991), usa o termo cincia-lixo para referir testemunhos de especialistas
48
duvidosos em julgamentos. Mas ver Kenneth J. Chesebro, Galileos Retort: Peter

Hubers Junk Scholarship, Am U L Rev, n. 42, p. 1637, 1644 (1993):
Galileo () iria rapidamente tornar-se exasperado com a tese sem
fundamentos do livro de Huber, suas numerosas deturpaes e omisses
de material, e seu mtodo manipulativo e evasivo de argumentao.
Galileo consideraria que a crtica de Huber sobre supostos erros de
conhecimento dos outros era hipcrita, uma vez que o prprio Huber
repetidamente viola os critrios que ele prescrevia para o mundo em geral.
Depois de uma inspeo total, Galileo no ratificaria a mensagem de
Galileos Revenge.
Rustad and Koenig, NC L Rev, n. 72, p. 9899 (citado na nota 11), invoca
a cincia-lixo para descrever os contedos de alguns documentos de amicus
curiae. De acordo com Rustad e Koenig, eles apresentam evidncia emprica que
frequentemente no alcana os critrios de Huber para boa cincia a cincia da

nOTAS
publicao, replicao, e verificao, a cincia do consenso e da reviso paritria.

Rustad e Koening, NC L Rev, n. 72, p. 97, nota 30 (citado na nota 11), citando
Huber, Galileos Revenge, p.3 (citado na nota 48). Acreditamos que isso verdade
para uma poro saudvel da literatura jurdica publicada em peridicos jurdicos.
49 Rodell, Va L Rev, n. 23, p. 45 (citado na nota 43).
Elyce H. Zenoff, I Have Seen the Enemy and They Are Us, J Legal Educ
36, p. 21 (1986).
50
51 Heise, Pepperdine L Rev, n. 26, p. 808 (citado na nota 2).
Michael J. Saks, Do We Really Know Anything about the Behavior of the

Tort Litigation Systemand Why Not?, U Pa L Rev, n. 140, p. 1147, 1159 (1992),
52
coloca isso desta forma em relao ao uso da evidncia anedtica na literatura

jurdica no sistema de litgios de perdas e danos:
Evidncia anedtica amplamente desacreditada na maioria das campos,
e por uma razo perfeitamente boa: tal evidncia permite unicamente as
mais frouxas e fracas inferncias sobre os assuntos que o campo est
tentando entender. Anedotas no permitem que algum determine a
frequncia de ocorrncia de algo ou as suas causas e efeitos. Tampouco
conseguem iluminar-nos sobre o comportamento do sistema de litgios
de perdas e danos.
Posner, NYU L Rev, n.73, p.4 (citado na nota 11). O artigo de Posner
devotado a apontar que a teoria constitucional no sensvel , e realmente tende
53
a obstruir, a enorme necessidade dos juzes constitucionais, que a necessidade de

conhecimento emprico. Id, p.3. A teoria constitucional, ele continua, hoje
circula em um meio que amplamente obscuro ao juiz e ao advogado praticante.
Id, p.4. Posner gostaria de ver um tipo inteiramente diferente de teorizao
constitucional baseada amplamente em responder a questes relacionadas ao
efeito do direito e das decises jurdicas. Id, p.11. Edwards, Mich L Rev, n. 91,
p.34 (citado na nota 26), concorda que os juristas do nfase demais teoria

abstrata, mas tm diferentes ideias sobre direo em qual eles devem focar-se.
Ele apoia a literatura jurdicaprtica conhecimento que prescritivo e
doutrinrio. Id, p. 42 43. A diferena entre as posies de Posner e Edwards
pode ser grande em vrias dimenses, mas no particularmente relevante para o
nosso objetivo de melhorar pesquisas baseados em observaes do mundo real.
Indiferentemente se os estudos focam-se em, digamos, produtos das decises
jurdicas (doutrina) ou em seu efeito, eles devem ser realizados de acordo com as
regras que destacamos.
John Henry Schlegel, Searching for ArchimedesLegal Education, Legal

Scholarship, and Liberal Ideology, J Legal Educ, n. 34, p. 103 (1984).
54
Gary King e Bradley Palmquist, The Record of American Democracy,

1984 and 1990, Sociol Methods & Rsrch, n. 26, p. 424 (1998).
55
James S. Liebman, et al, Capital Attrition: Error Rates in Capital Cases,

19731995, Tex L Rev n. 78, p. 1839,184445 nota 23 (2000).
56
Na verdade, eles criaram dois bancos de dados, o Direct Appeal Database

(DADB) e o Habeas Corpus Database (HCDB). Id. DADB abriga o nome do
57
indivduo cujo julgamento capital estiver sob reviso; o estado que o sentencia; o
ano, resultado, citao e histria jurdica subsequente (audincia, petio de
reviso) da deciso finalmente resolvendo a apelao; e informao sobre a base
para reverso, se uma reverso ocorrer. Id. HCDB contm o nome do indivduo
cujo julgamento capital estiver sob reviso; o estado que o sentencia; o momento
do habeas corpus e sua adjudicao nos vrios estgios; o resultado nos vrios
estgios; informao sobre o requerente, advogados, juzes, tribunais, vtima e
crime; as circunstncias agravantes e atenuantes reveladas no julgamento;
procedimentos utilizados durante o processo de reviso do habeas; e os
fundamentos alegados e aceitos judicialmente para as defesas em prol da
concesso do habeas. Id.
58 Id.

nOTAS
Fonte dos dados: H.W. Perry, Jr., Deciding to Decide: Agenda Setting in
the United States Supreme Court 136 (Harvard 1991). Perry tirou esses dados de
59
uma amostragem aleatria de peties de reviso.
Pesquisadores sugerem que esses fatores esto relacionados com a

deciso da Corte sobre a petio de reviso. Especificamente quando o governo
60
dos Estados Unidos o peticionrio, eles argumentam que a Corte mais inclinada
a conceder a reviso do que quando, digamos, uma parte privada a peticionaria.
Ver, por exemplo, Gregory A. Caldeira e John R. Wright, Organized Interests and
Agenda Setting in the U.S. Supreme Court, Am Polit Sci Rev, n. 82, p. 1109
(1988); Joseph Tanenhaus, et al, The Supreme Courts Certiorari Jurisdiction: Cue
Theory, em Glendon Schubert, ed, Judicial Decision-Making 111 (Free Press of
Glencoe 1963); Virginia C. Armstrong and Charles A. Johnson, Certiorari
Decisions by the Warren & Burger Courts: Is Cue Theory Time Bound?, Polity, n.
15, p. 141 (1982). Similarmente, os pesquisadores sugerem que a presena de um
conflito entre circuitos de apelao aumenta as chances de que a Corte conceda
revises da sentena. Ver, por exemplo, Robert M. Lawless e Dylan Lager Murray,
An Empirical Analysis of Bankruptcy Certiorari, Mo L Rev, n. 62, p. 101, 10410
(1997); S. Sidney Ulmer, The Supreme Courts Certiorari Decisions: Conflict as
a Predictive Variable, Am Polit Sci Rev, n. 78, p. 901 (1984); Perry, Deciding to
Decide, p. 24652 (citado na nota 59); Caldeira e Wright, Am Polit Sci Rev, n. 82,
p.1120; Doris Marie Provine, Case Selection in the United States Supreme Court,
p. 3839 (Chicago 1980).
Exemplos de outros fatores incluem: se o Advogado Geral peticiona um

amicus curiae em suporte da petio de reviso; se um juiz ou juzes do tribunal
61
que decidiu o caso que se busca revisar dissentiu; e se o caso envolveu uma
questo de liberdades civis. Os pesquisadores colocam que alguns ou todos esses
fatores podem afetar a deciso da Corte em conceder ou no a reviso. Ver, por
exemplo, Provine, Case Selection in the United States Supreme Court (citado na
nota 60) (discutindo fatores que afetam os votos de seleo de casos de um juiz;
enfatizando a concepo de um juiz do papel judicial da Corte); Caldeira e Wright,
Am Polit Sci Rev, n. 82, p. 1109, 1122 (citado na nota 60) (revelando que os amici

curiae das partes interessadas tm um impacto positivo e significativo na deciso

da Corte de conceder o cert); Gregory A. Caldeira, John R. Wright, e Christopher
J.W. Zorn, Sophisticated Voting and Gate-Keeping in the Supreme Court, J L,
Econ, & Org, n. 15, p. 549, 559 (1999) (mostrando que as posies ideolgicas
provveis dos juzes sobre os mritos de um caso influenciam suas decises
estratgicas de votar a favor ou contra o recurso).
Essa vantagem combinatria somente uma de muitas que surgem

quando pesquisadores cooperam e trabalham para desenvolver uma comunidade
62
acadmica vibrante em sua tentativa de construir conhecimento um esforo que

encorajamos ao longo deste livro. Ver especialmente Captulos II.B.2. e IX.
Para uma lista cheia de atributos (variveis) no banco de dados Spaeth, e

os prprios dados, ver http://www.ssc.msu.edu/~pls/pljp/sctdata1.html (visitado
63
em 14 de janeiro de 2002). Informao sobre o banco de dados pode ser

encontrada em Harold J. Spaeth e Jeffrey A. Segal, The U.S. Supreme Court
Judicial Data Base: Providing New Insights into the Court, Judicature, n. 83, p.
228 (2000).
Ver, por exemplo, Harold J. Spaeth e Jeffrey A. Segal, Majority Rule or

Minority Will: Adherence to Precedent on the US Supreme Court (Cambridge
64
1999); Jeffrey A. Segal e Harold J. Spaeth, The Influence of Stare Decisis on the
Votes of United States Supreme Court Justices, Am J Polit Sci, n. 40, p. 971
(1996); Jeffrey A. Segal, et al, Ideological Values and the Votes of U.S. Supreme
Court Justices Revisited, J Polit, n. 57, p. 812 (1995); Jeffrey A. Segal e Harold J.
Spaeth, The Supreme Court and the Attitudinal Model (Cambridge 1993). Ver
tambm Lee Epstein, et al, The Supreme Court Compendium: Data, Decisions,
and Developments (Cong Q 2001).
Ver, por exemplo, Lee Epstein e Jeffrey A. Segal, Measuring Issue Salience,
Am J Polit Sci, n. 44, p. 66 (2000); Caldeira, Wright, e Zorn, J L, Econ, & Org, n.
65
15, p. 549 (citado na nota 61); Lee Epstein e Jack Knight, The Choices Justices
Make (Cong Q 1998); James Meernik e Joseph Ignagni, Judicial Review and

nOTAS
Coordinate Construction of the Constitution, Am J Polit Sci, n. 41, p. 447 (1997);

Jeffrey A. Segal, Separation-of-Powers Games in the Positive Theory of Congress
and Courts, Am Polit Sci Rev, n. 91, p. 28 (1997); Robert L. Boucher, Jr. and Jeffrey
A. Segal, Supreme Court Justices as Strategic Decision Makers: Aggressive Grants
and Defensive Denials on the Vinson Court, J Polit, n. 57, p. 824 (1995); Kevin T.
McGuire, Repeat Players in the Supreme Court: The Role of Experienced Lawyers
in Litigation Success, J Polit, n. 57, p. 187 (1995); Richard C. Kearney e Reginald
S. Sheehan, Supreme Court Decision Making: The Impact of Court Composition on
State and Local Government Litigation, J Polit, n. 54, p. 1008 (1992).
Scott F. Norberg, Consumer Bankruptcys New Clothes: An Empirical

Study of Discharge and Debt Collection in Chapter 13, Am Bankr Inst J, n. 7, p.
66
415, 418 (1999).
Id, p. 429. Norberg tambm relata o 25 e o 75 percentuais. Para

propsitos de apresentao, ns exclumos esses da Tabela 1.
67
68 Ver Heise, Pepperdine L Rev, n. 26, p. 826 (citado na nota 2).
O desvio padro a raiz quadrada da varincia. A varincia a mdia das

diferenas ao quadrado da mdia.
69
70 Somos gratos a Scott Norberg por nos fornecer seus dados.
Reificao um dos mais velhos erros estatsticos de que se tem

registro.Ver Stephen M. Stigler, The History of Statistics: The Measurement of
71
Uncertainty before 1900, p. 16973 (Belknap 1986).
Para outra ilustrao, considere uma eleio recente em Los Angeles,

onde 1,8 milhes de eleitores disseram sim ou no para 27 referendos diferentes.
72
Para qualquer um dos referendos, podemos pensar que a vontade dos eleitores
pode ser caracterizada pela frao votando a favor, mas claro que no qualquer
eleitor individual. Por exemplo, se 66% dos eleitores apiam um referendo, uma

alegao de que o eleitor mdio de dois teros a favor seria absurda. A situao
ainda mais gritante quando se considera o conjunto de todos os referendos, uma
vez que o conjunto da maioria dos referendos vencedores no necessariamente
corresponde s preferncias da maioria dos eleitores. De fato, nessa eleio,
sequer uma nica pessoa votou com a maioria em cada um dos referendos. Steven
J. Brams, D. Marc Kilgour, e William S. Zwicker, The Paradox of Multiple
Elections, Soc Choice & Welfare, n. 15, p. 211 (1998).
Theodore Eisenberg, Stephen P. Garvey, e Martin T. Wells, Jury

Responsibility in Capital Sentencing: An Empirical Study, Buff L Rev, n. 44, p.
73
339, 367 (1996).
Michael S. Gelacak, Ilene H. Nagel, e Barry L. Johnson, Departures

under the Federal Sentencing Guidelines: An Empirical and Jurisprudential
74
Analysis, Minn L Rev, n. 81, p. 299 (1996).
Gelacak, Nagel, e Johnson, Minn L Rev, n. 81, p. 33651 (citado na nota

74).
75
76 Id, p. 338.
77 Ver, por exemplo, id, p.338, nota 156.
Curtis J. Milhaupt e Mark D. West, The Dark Side of Private Ordering:

An Institutional and Empirical Analysis of Organized Crime, U Chi L Rev, n. 67,
78
p. 41, 42 (2000).
79 Id, p.44.
80 Lederman, Case W Res L Rev, n. 49, p. 327 (citado na nota 28).
Michael Bradley e Michael Rosenzweig, The Untenable Case for Chapter

11, Yale L J, n. 101, p. 1043 (1992).
81

nOTAS
Elizabeth Warren, The Untenable Case for Repeal of Chapter 11, Yale L
J, n. 102, p. 437, 441, 443 (1992).
82
83 Id, p.443.
Bradley e Rosenzweig, Yale L J, n. 101, p. 1043 (citado na nota 81), fazem

alegaes que poderiam sustentar qualquer um desses objetivos. Em uma nota de
84
rodap, escrevem: Nossos dados, claro, tambm so limitados a empresas

pblicas. Portanto, no fazemos uma alegao emprica contra o Captulo 11 na
medida em que ele se aplica a corporaes no-pblicas. Id, p.1077, nota 80. Isso,
claro, contraria uma poro relevante da crtica de Warren. Em suporte a sua tese,
est a concluso de Bradley e Rosenzweig, a qual clama pela revogao sem
reservas do Captulo 11. Id, p.108889.
Schuck e Elliot, Duke L J, n. 1990, p. 1060 (citado na nota 13) (alegando

que ()a abordagem de anlise doutrinria dos leading cases no se provou muito
85
til para fazer previses sobre o direito; mtodos melhores so necessrios).
String Citation um termo especfico da literatura jurdica, referindo-se a

uma lista de citaes oferecida para sustentar um ponto no texto.
86
Benjamin D. Black, Note, Developments in the State Regulation of Major

and Minor Political Parties, Cornell L Rev, n. 82, p.109, 124 (1996).
87
88 Id, p.12124, notas 84, 90 (dois casos), notas 10209 (sete casos).
Ver casos relatados em Lee Epstein e Charles D. Hadley, On the

Treatment of Political Parties in the U.S. Supreme Court, 19001986, J Polit,
89
n. 52, p. 413 (1990); Nathaniel Persily e Bruce E. Cain, The Legal Status of
Political Parties: A Reassessment of Competing Paradigms, Colum L Rev, n.
100, p. 775 (2000).
90 Ver Sklansky, Colum L Rev, n. 100, p. 1739 (citado na nota 8).

Ele tambm explora uma dissidncia escrita por Scalia em Ollman v Evans,
750 F2d 970 (DC Cir 1984) (en banc), cert negado, 471 US 1127 (1985), enquanto
91
atuando como juiz no circuito de D.C. No somente isso, em adio aos onze casos
que Sklansky examina detalhadamente, ele menciona seis superficialmente. Ver
Sklansky, Colum L Rev, n. 100, p. 174968 (citado na nota 8).
Derivamos essa estimativa do Banco de Dados Judiciais da Suprema Corte

dos Estados Unidos, ver a nota 63, para os termos de 1986 a 1999 (o perodo de
92
tempo de interesse para Sklansky). Para traar paralelos com os casos exemplares
de Sklansky o mais aproximadamente possvel, selecionamos somente casos de
busca e apreenso arguidos oralmente (problema = 16, 17 ou 18) que resultaram em
opinies assinadas pela Corte (analu = 0; dec_type = 1 ou 7).
Robert A. Hillman, Questioning the New Consensus on Promissory

Estoppel: An Empirical and Theoretical Study, Colum L Rev, n. 98, p. 580 (1998).
93
Daniel A. Farber e John H. Matheson, Beyond Promissory Estoppel:

Contract Law and the Invisible Handshake, U Chi L Rev, n. 52, p. 903 (1985). Os
94
pesquisadores aparentemente revisaram mais de duzentos casos de precluso em

razo de promessa. Id, p. 907, n. 14. Mas, como Hillman coloca:
[Farber e Matheson] discutem somente alguns que supostamente
mostram que os tribunais geralmente estendem suas anlises para
encontrar confiana em casos bem-sucedidos de precluso em razo de
promessa. Na verdade, Farber and Matheson declaram () em sua
concluso: Em casos-chave, fez-se cumprir promessas mediante a mais
fraca evidncia de qualquer dano ao promissrio. Mas o leitor deixado
a indagar-se por que os casos discutidos seriam casos-chave.
Hillman, Colum L Rev, n. 98, p. 618 (citado na nota 93), citando Farber e
Matheson, U Chi L Rev, n. 52, p. 945.
95 Ver Farber e Matheson, U Chi L Rev, n. 52, p. 945 (citado na nota 94).
96 Ver Hillman, Colum L Rev, n. 98, p. 582 (citado na nota 93), alegando que

nOTAS
Farber e Matheson, junto com Edward Yorio e Steve Thel, The Promissory Basis
of Section 90, Yale L J, n. 101, p. 111 (1991), foram enormemente influentes,
com estudos posteriores tratando-os como os criadores de um novo consenso.
Em outras palavras, estudos posteriores presumem a preciso de (Farber and
Matheson e Yorio e Thel) na construo de suas prprias teses. Hillman, Colum
L Rev, n. 98, p. 582.
97 Id, p. 619.
Cientistas sociais usam esse indicador para determinar a salincia de

casos e leis. Ver, por exemplo, Epstein e Segal, Am J Polit Sci, n. 44, p. 66 (citado
98
na nota 65); David Mayhew, Divided We Govern: Party Control, Lawmaking, and
Investigations, 19461990, p. 9 (Yale 1991). No poderamos usar outros
possveis indicadores de visibilidade como o nmero de citaes em peridicos
jurdicos, tratados, compndios de jurisprudncia ou em outros casos porque
muitos dos casos de Sklansky so relativamente recentes.
Ver, em geral, Black, Note, Cornell L Rev, n. 82, p. 109 (citado na nota
87).
99
384 US 436 (1966) (sustentando que promotores no podem utilizar

declaraes obtidas de um ru durante o interrogatrio sob custdia, estando
100
ausente a demonstrao de que salvaguardas procedimentais asseguraram o

privilgio contra a auto-incriminao).
Ver, por exemplo, Paul G. Cassell, Mirandas Social Costs: An Empirical

Reassessment, Nw U L Rev, n. 90, p. 387 (1996) e os estudos nele citados: Paul
101
G. Cassell e Richard Fowles, Handcuffing the Cops? A Thirty-Year Perspective on

Mirandas Harmful Effects on Law Enforcement, Stan L Rev, n. 50, p. 1055 (1998);
John J. Donohue III, Did Miranda Diminish Police Effectiveness?, Stan L Rev, n.
50, p. 1147 (1998).
102 Ver, por exemplo, H. Laurence Ross, Administrative License Revocation

in New Mexico: An Evaluation, L & Pol, n. 9, p. 5 (1987); Frank A. Sloan, Bridget

A. Reilly, e Christoph Schenzler, Effects of Tort Liability and Insurance on Heavy
Drinking and Drinking and Driving, J L & Econ, n. 38, p. 49 (1995).
467 US 837, 84243 (1984). O tribunal forneceu orientao para a

reviso da leitura de uma leipor uma agncia governamental na forma de um
103
teste de dois passos:

Em primeiro lugar, sempre, est a questo de se o Congresso falou
diretamente sobre o problema especfico em questo. Se a inteno do
Congresso clara, esse o fim do problema; pois a corte, assim como a
agncia administrativa, devem dar efeito inteno clara do Congresso.
Se, no entanto, a corte determina que o Congresso no abordou
diretamente o problema especfico em questo, a corte no
simplesmente impe sua prpria leitura da lei, como seria necessrio na
ausncia de uma interpretao administrativa. Em vez disso, se a lei
ambgua ou silencia com respeito ao problema especfico, a questo
para a corte se a resposta da agncia administrativa est baseada em
uma leitura permitida da lei.
Id, p. 84243.
Ver, por exemplo, Schuck e Elliott, Duke L J, n. 1990, p. 984 (citado na
nota 13); Ellen P. Aprill, Muffled Chevron: Judicial Review of Tax Regulations,
104
Fla Tax Rev, n. 3 p. 51, 76 (1996).
Ver, por exemplo, David A. Anderson e Thomas D. Rowe, Jr., Empirical

Evidence on Settlement Devices: Does Rule 68 Encourage Settlement?, Chi Kent
105
L Rev, n. 71, p. 519 (1995).
Aprill, Fla Tax Rev, n. 3, p. 55 (citado na nota 104). Exames qualitativos

(doutrinrios) do efeito de Chevron no so incomuns. Ver, por exemplo, Damien
106
J. Marshall, The Application of Chevron Deference in Regulatory Preemption

Cases, Georgetown L J, n. 87, p. 263, 283 (1998); John F. Coverdale, Court
Review of Tax Regulations and Revenue Rulings in the Chevron Era, Geo Wash L
Rev, n. 64, p. 35, 89 (1995); Linda B. Matarese, Has the Chevron Deference Made

nOTAS
a Difference When Courts Review Federal Banking Agency Interpretations of the

Glass-Steagall Act?, Howard L J, n. 33, p. 195, 264 (1990).
107 Schuck e Elliott, Duke L J, n. 1990, p. 1030 (citado na nota 13).
Adaptamos essa linguagem aqui e nos prximos dois pargrafos de King,

Keohane, e Verba, Designing Social Inquiry, p. 79 (citado na nota 1).
108
Paul W. Holland, Statistics and Causal Inference, J Am Stat Assn, n. 81,

p. 945, 945 (1986).
109
Esse ponto tambm foi deito por King, Keohane, and Verba, Designing
Social Inquiry, p. 76 (citado na nota 1).
110
Gary King, Replication, Replication, PS: Polit Sci & Polit, n. 28, p. 444
(1995) (O nico jeito para compreender e avaliar inteiramente uma anlise
111
emprica conhecer o processo exato pelo qual os dados foram gerados e a anlise
foi produzida.).
Ronald J. Mann, Explaining the Pattern of Secured Credit, Harv L Rev, n.

110, p.625, 63132 (1997).
112
113 Eisenberg, Garvey, e Wells, Buff L Rev, n. 44, p. 350 (citado na nota 73).
114 Para definies e explicaes dessas amostras, ver Captulo VIII.E.
O time de pesquisa de Eisenberg faz parte do Projeto do Jri Capital

(Capital Juror Project CJP) um estudo sobre como os jris em quatorze
115
estados tomam decises em casos capitais. Apesar do principal investigador do

CJP prover uma descrio detalhada do design geral de amostragem do estudo,
ver William J. Bowers, The Capital Jury Project: Rationale, Design, and
Preview of Early Findings, Ind L J, n. 70, p.1043 (1995), e os autores que o
citam em quatro vezes distintas, Eisenberg, Garvey, Wells, Buff L Rev, n. 44, p.

345, nota 32, p. 352 nota 53, p. 354 nota 55, e p. 360, nota 66 (citado na nota
73)), suas citaes no tm nenhuma relao com o processo de amostragem em
si. Mesmo o leitor mais atento pode nunca ter pensado em consultar o texto de
Bowers. Alm disso, os processos especficos de obteno de amostragem
variaram entre os estados de uma maneira que no descrita por nenhum
trabalho prvio que pudemos identificar, ento, mesmo que Bowers descreva o
projeto geral de obteno de amostras do CJP, temos que depender na equipe de
Eisenberg para descobrir o que foi feito na Carolina do Sul. Ver tambm
Theodore Eisenberg e Martin T. Wells, Deadly Confusion: Juror Instructions in
Capital Cases, Cornell L ver, n. 79, p. 1 (1993) (examinando os dados da
Carolina do Sul). Infelizmente, os autores no explicam o que eles fizeram.
Para um exemplo do que eles poderiam ter feito, ver Marla Sandy, Cross-
OversCapital Jurors Who Change Their Minds about the Punishment: A
Litmus Test for Sentencing Guidelines, Ind L J, n. 70, p. 1183, 1189 (1995)
(delineando o procedimento de obteno de amostras utilizado na seleo dos
casos de Kentucky). Trabalho subsequente pela equipe de Eisenberg e seus
membros tambm no nos dizem como seu estudo foi realizado na Carolina do
Sul. Ver Theodore Eisenberg, Stephen P. Garvey, e Martin T. Wells, Forecasting
Life and Death: Juror Race, Religion, and Attitude toward the Death Penalty, J
Legal Stud, n. 30, p. 277 (2001); Theodore Eisenberg, Stephen P. Garvey, e
Martin T. Wells, The Deadly Paradox of Capital Jurors, S Cal L Rev, n. 74, p.
371 (2001); Stephen P. Garvey, The Emotional Economy of Capital Sentencing,
NYU L Rev, n. 75, p. 26 (2000); Theodore Eisenberg, Stephen P. Garvey, e
Martin T. Wells, But Was He Sorry?: The Role of Remorse in Capital Sentencing,
Cornell L Rev, n. 83, p. 1599 (1998); Stephen P. Garvey, Aggravation and
Mitigation in Capital Cases: What Do Jurors Think?, Colum L Rev, n. 98, p.
1538 (1998).
116 Ver o texto acompanhando notas 90 92.
117 Ver o texto acompanhando notas 8789.
118 Schuck and Elliott, Duke L J, n. 1990, p. 1060 (citado na nota 13).

nOTAS
521 US 507 (1997) (revogando o Religious Freedom Restoration Act

de 1993).
119
Steven A. Engel, Note, The McCulloch Theory of the Fourteenth

Amendment: City of Boerne v. Flores and the Original Understanding of Section
120
5, Yale L J, n. 109, p. 115, 117 (1999). Esse trabalho um note, uma categoria
de artigo de peridico jurdico normalmente escrita por estudantes. Dessa maneira,
alguns podem questionar por que o usaramos como uma ilustrao de problemas
com artigos, que geralmente so escritos por professores de direito. Na nossa
opinio, o contedo, e no o autor, que conta. Ademais, como apontamos no
Captulo I, os melhores artigos para os nossos propsito expositivo so aqueles
que so especialmente bons, exceto talvez pelo ponto que estejamos ilustrando.
Para outros que sucitaram esses tipos de perguntas sobre estudos tentando
revelar intenes, ver nota 21.
121
122 Ver texto acompanhando as notas 73, 11318.
Eisenberg, Garvey, e Wells, Buff L Rev, n. 44, p. 339, 341 (citado na

nota 73).
123
124 Id, p. 350.
125 Ver texto acompanhando as notas 11415.
126 Engel, Note, Yale L J, n. 109, p.14145 (citado na nota 120).
127 Ver nota 137.
No visamos a condenar ou a denegrir o uso de notas de rodap. De fato,

porque conectam o conhecimento existente com literaturas existentes, elas so um
128
dos poucos sinais de que os juristas reconhecem a importncia de desenvolver uma

comunidade acadmica.

129 Ada Finifter, Editors Notes, Am Polit Sci Rev, n. 94, p. viii (2000).
About Political Analysis 18, disponvel on-line em http://web.polmeth.ufl

.edu/pa/aboutpa.html (visitado em 14 de janeiro de 2002).
130
O maior arquivo de dados de cincias socias computadorizados o Inter-

university Consortium for Political and Social Research (ICPSR), disponvel on-
131
line em http://www.icpsr.umich.edu (visitado em 10 de janeiro de 2002). Micah

Altman, Gary King, e Sidney Verba fizeram um projeto para computadorizar e
automatizar acesso, autenticao, documentao, categorizao, converso e outros
aspectos da distribuio de dados. Para mais informao, ver http://thedata.org
Ver Information and Instructions for Authors 12 (Fonte de Dados e Dados

Arquivados), Am Polit Sci Rev, disponvel on-line em http://apsr.oupjournals.org/
132
misc/ifora.shtml (visitado em 10 de janeiro de 2002). (A Revista no requer

preparao ou arquivamento dos conjuntos de dados para replicao para dados
utilizados em seus artigos publicados, apesar de encorajarmos que os autores faam-
no, especialmente se seus dados ainda no estiverem disponveis.).
133 Carta da National Science Foundation (em arquivo com os autores).
Dados esto disponveis online em http://www.nsf.gov/sbe/ses/polisci/

start.htm (visitado em 11 de janeiro de 2002). A figura de 52 exclui ajuda financeira
134
para trabalho de doutorado; o termo colaborativo inclui ajuda financeira para

pesquisa colaborativa, conferncias, e infraestrutura.
Bonnie S. Fisher, et al, How Many Authors Does It Take to Publish an

Article?: Trends and Patterns in Political Science, PS: Polit Sci & Polit, n. 31, p.
135
847, 850 (1998), disponvel on-line em http://www.apsanet.org/PS/dec98/

fisheretal.cfm (visitado em 19 de janeiro de 2002).
136 Ver National Science Board, 1 Science and Engineering Indicators 2000,

nOTAS
cap. 6-44 (Jan 13, 2000), disponvel on-line em http://www.nsf.gov/sbe/

srs/seind00/access/c6/c6s4.htm (visitado em 19 de janeiro de 2002).
Realizamos essa contagem em 4 de dezembro de 2000. O nmero de 162

exclui crticas de livros, tributos, notas de casos, ensaios crticos,
137
desenvolvimentos e artigos associados com o exame anual do termo da Suprema

Corte da Harvard Law Review. Enquanto esses dados revelam que professores de
direito no so geralmente coautores em artigos acadmicos, resta claro que eles
reconhecem o valor da colaborao ao menos em relao aos materiais de
ensino. Como muitos juristas nos indicaram, (aparentemente) rara o tratado ou o
livro de casos que no o produto de colaborao.
Ver, por exemplo, Wills, To Keep and Bear Arms, p. 62 (citado na nota
21); Friedman, Denver U L Rev, n. 75, p. 661 (citado na nota 26) (Pessoas em
138
outras reas ficam assombradas quando ouvem sobre o sistema liderado por
estudantes.).
Ver, por exemplo, Nathan H. Saunders, Note, Student-Edited Law Reviews:

Reflections and Responses of an Inmate, Duke L J, n. 49, p. 1663, 166567 (2000)
139
(percebendo razes prticas para a preferncia dos estudantes editores pela

faculdade/professor de elite); Bernard J. Hibbitts, Yesterday Once More:
Skeptics, Scribes and the Demise of Law Reviews, Akron L Rev, n. 30, p. 267, 292
(1996) (O que os estudantes editores preferem publicar acaba sendo o que no
academicamente melhor () mas () o que escrito por nomes familiares.);
Lindgren, U Chi L Rev, n. 61, p. 53031 (citado na nota 46) (percebendo evidncia
anedtica da preferncia de estudantes editores por artigos de autores de faculdades
de elite); Banks McDowell, The Audiences for Legal Scholarship, J Legal Educ,
n. 40, p. 261, 271 nota 39 (1990) (Se os editores estudantes usam o pedigree como
um critrio significante de escolha, ento a literaturanos peridicos jurdicos tende
a reinforar ou manter o status corrente ou posies de prestgio.); Jordan H.
Leibman e James P. White, How the Student-Edited Law Journals Make Their
Publication Decisions, J Legal Educ, n. 39, p. 387, 40205 (1989) (declarando que
espera-se mais que autores conhecidos produzam manuscritos publicveis que

autores novos). Ver tambm Richard A. Posner, The Future of the Student-Edited
Law Review, Stan L Rev, n. 47, p. 1131, 113334 (1995) (anuindo que os estudantes
editores de revistas considerem a reputao de um autor).
L. Timothy Perrin, et al, If Its Broken, Fix It: Moving Beyond the
Exclusionary Rule: A New and Extensive Empirical Study of the Exclusionary Rule
140
and a Call for a Civil Administrative Remedy to Partially Replace the Rule, Iowa
L Rev, n. 83, p. 669 (1998).
Id, p. 736. Para uma discusso deste artigo, ver o texto acompanhando as
notas 16874.
141
George Fisher, Plea Bargainings Triumph, Yale L J, n. 109, p. 857, 1074

75 (2000).
142
Derek Shaffer, Note, Answering Justice Thomas in Saenz: Granting the

Privileges or Immunities Clause Full Citizenship within the Fourteenth
143
Amendment, Stan L Rev, n. 52, p. 709, 750 (2000).
Fisher, Yale L J, n. 109, p. 857 (citado na nota 142), entre outros

problemas, falha em especificar o alvo de sua inferncia. Ver texto acompanhando
144
nota 321. Schaffer, Stan L Rev,n. 52, p. 718 (citado na nota 143), baseia sua
concluso na evidncia qualitativa peneirada da histria relevante pertencente
inteno dos constituintes sobre a quarta emenda. Apesar da admisso de
Schaffer de que a redaoda Clusula encoberta e turva atravs de um vu de
confuso, obscurecimento e pr-concepes, ele no fornece nenhuma
informao sobre seus procedimentos para peneirar a evidncia. Seu trabalho
sofre do mesmo problema do trabalho de Engel, Note, Yale L J, n. 109, p. 115
(citado na nota 120). Ver texto acompanhando as notas 11921.
Por exemplo, uma medida comum de incerteza utilizada em pesquisas

apresentadas na mdia popular a margem de erro, que (geralmente), um
145
intervalo de confiana de 95%. Ento, quando um jornal noticia o resultado de

nOTAS
uma pesquisa digamos, que 75% dos entrevistados preferem ces a gatos, com
uma margem de 5% de erro ele est fornecendo o nvel de incerteza que possui
acerca do resultado de 75% (aqui, que a verdadeira frao de pessoas que preferem
ces a gatos ser capturada dentro do intervalo de confiana em 95 de 100
aplicaes do mesmo procedimento de amostragem).
146 Schuck e Elliott, Duke L J, n. 1990, p. 990 (citado na nota 13).
147 Id, p. 1008.
148 Id, p. 1009.
Ver Herbert M. Kritzer, Interpretation and Validity Assessment in

Qualitative Research: The Case of H.W. Perrys Deciding to Decide, L & Soc
149
Inquiry, n. 19, p. 687 (1994); Herbert Kritzer, Data, Data, Data, Drowning in
Data: Crafting The Hollow Core, L & Soc Inquiry, n. 21, p. 761 (1996).
150 Schuck e Elliot, Duke L J, n. 1990, p. 1009 (citado na nota 13).
Vicki Schultz e Stephen Petterson, Race, Gender, Work, and Choice: An

Empirical Study of the Lack of Interest Defense in Title VII Cases Challenging Job
151
Segregation, U Chi L Rev, n. 59, p. 1073 (1992).
152 Id, p. 1097.
153 Id, p. 1098.
E-mail de Vicky L. Schultz para Gary King (em 3 de novembro de 2000).

(Em arquivo com os autores).
154
155 Shaffer, Stan L Rev, n. 52, p. 750 (citado na nota 143).
156 Id, p. 722.

Ns adotamos e adaptamos nessa seo alguns dos entendimentos de

King, Keohane e Verba, Designing Social Inquiry, p. 12, 22 (citado na nota 1).
157
Para mais informaes sobre o desenvolvimento de perguntas de pesquisa

nessa rea, ver Lee Epstein em Studying Law and Courts, em Lee Epstein, Ed.
158
Contemplating Courts, p. 1, 35 (Cong Q 1995).
Ns adotamos essas duas sugestes de King, Keohane e Verba em

Designing Social Inquiry, p. 15 (citado na nota 1).
159
160 Sisk, Heise, e Morriss, NYU L Rev, n. 73, p. 1391 (citado na nota 28).
Uma pequena amostra inclui Jack Knight e Lee Epstein, On the Struggle
for Judicial Supremacy, L & Soc Rev, n. 30, p. 87 (1996); Forrest Maltzman e Paul
161
J. Wahlbeck, May It Please the Chief?: Opinion Assignments in the Rehnquist

Court, Am J Polit Sci, n. 40, p. 421 (1996); Forrest Maltzman e Paul J. Wahlbeck,
Strategic Policy Considerations and Voting Fluidity on the Burger Court, Am Polit
Sci Rev, n. 90, p. 581 (1996); McNollgast (Mathew D. McCubbins, Roger Noll, e
Barry R. Weingast), Politics and Courts: A Positive Theory of Judicial Doctrine
and the Rule of Law, S Cal L Rev, n. 68, p. 1631 (1995); Maxwell L. Stearns,
Standing Back from the Forest: Justiciability and Social Choice, Cal L Rev, n. 83,
p. 1309 (1995); McNollgast, Legislative Intent: The Use of Positive Political
Theory in Statutory Interpretation, L & Contemp Probs, n. 57, p. 3 (1994); Erin
OHara, Social Constraint or Implicit Collusion?: Toward a Game Theoretic
Analysis of Stare Decisis, Seton Hall L Rev, n. 24, p. 736 (1993); Richard A.
Posner, What Do Judges and Justices Maximize? (The Same Thing Everybody Else
Does), S Ct Econ Rev, n. 3, p. 1 (1993); John A. Ferejohn e Barry Weingast,
Limitation of Statutes: Strategic Statutory Interpretation, Georgetown L J, n. 80,
p. 565 (1992); John Ferejohn e Barry Weingast, A Positive Theory of Statutory
Interpretation, Intl Rev L & Econ, n. 12, p. 263 (1992); Pablo T. Spiller e Rafael
Gely, Congressional Control or Judicial Independence: The Determinants of U.S.
Supreme Court Labor-Relation Decisions, 19491988, RAND J Econ, n. 23, p.
463 (1992); William N. Eskridge, Jr., Reneging on History?: Playing the

nOTAS
Court/Congress/President Civil Rights Game, Cal L Rev, n. 79, p. 613 (1991);

William N. Eskridge, Jr., Overriding Supreme Court Statutory Interpretation
Decisions, Yale L J, n. 101, p. 331 (1991); Frank H. Easterbrook, Ways of
Criticizing the Court, Harv L Rev, n. 95, p. 802, 81331 (1982); Segal, Am
PolitSci Rev, n. 91, p. 28 (citado na nota 65); Walter F. Murphy, Elements of
Judicial Strategy vii (Chicago 1964). Para um exame dos trabalhos prvios, ver
Lee Epstein e Jack Knight, Toward a Strategic Revolution in Judicial Politics: A
Look Back, A Look Ahead, Polit Rsrch Q, n. 53, p. 625 (2000). Para uma coleo
de artigos, ver Maxwell L. Stearns, Public Choice and Public Law: Readings and
Commentary (Anderson 1997). Ver texto das notas 199203, 21318, onde ns
explicamos que (e fornecemos exemplos de como) acadmicos utilizaram a teoria
poltica positiva, a qual pertence a uma particular classe de modelos de escolha
racional para estudar decises judiciais.
162 Rosenberg, Green Bag 2d, n. 3, p. 26869 (citado na nota 22).
Alguns juristas tambm concordam. Veja, por exemplo, Frank B. Cross,

Political Science and the New Legal Realism: A Case of Unfortunate
163
Interdisciplinary Ignorance, Nw U L Rev, n. 92, p. 251, 25253 (1997)

(observando que a cincia jurdica tem sido notavelmente indiferente ao grande
e denso corpo de conhecimento produzido pela cincia poltica sobre os
Tribunais). Veja tambm Tracey E. George, Developing a Positive Theory of
Decisionmaking on U.S. Courts of Appeals, Ohio St L J, n. 58, p. 1635, 1638 nota
7 (1998) (apontando uma longa lista de pesquisas feitas por cientistas polticos).
Judith A. Baer, post no Law and Courts Listserv (23.09.1998), citado em

Rosenberg, Green Bag 2d, n. 3, p. 269 (citado na nota 22).
164
Mark Graber, post no Law and Courts Listserv (21.07.2000) (em arquivo
com os autores).
165
Id. Stephen L. Wasby, post no Law and Courts Listserv (21.07.2000) (em
arquivo com os autores) seguido dessa observao:
166

H mais professores de direito que escrevem em peridicos jurdicos, que

esto discutindo os fatores que afetam os votos dos juzes. No entanto,
em um nmero preocupante de casos, as nicas citaes presentes so
outros artigos de peridicos jurdicos no para a literatura da cincia
poltica, que muito mais extensa e original; os artigos de peridicos
jurdicos citados so, geralmente, na melhor das hipteses, uma fonte
secundria. O que estou dizendo que a falha dos professores de direito
em ler a literatura de cincia poltica relevante sobre leis e tribunais
no ocorre apenas com relao s questes de direito constitucional e de
interpretao constitucional, mas mais ampla.
Para ter certeza, h excees preocupao geral de Wasby. Ver, por
exemplo, Frank B. Cross e Emerson H. Tiller, Judicial Partisanship and
Obedience to Legal Doctrine: Whistleblowing on the Federal Courts of Appeals,
Yale L J, n. 107, p. 2155, 216568 (1998) (citando pesquisas feitas por cientistas
polticos); Cross, Nw U L Rev, n, 92, p. 25253 (citado na nota 163); George,
Ohio St L J, n. 58, p. 1638, nota 7 (citado na nota 163). Mas sua queixa geral ,
provavelmente, procedente na maioria dos casos.
Por exemplo, JSTOR, disponvel online em: <http://www.jstor.org>

(acessado em 11 de janeiro de 2002), contm o texto integral de revistas nas
167
seguintes disciplinas: Estudos afro-americanos, estudos africanos, antropologia,

arqueologia, estudos asiticos, botnica, negcios, ecologia, economia, educao,
finanas, cincia geral, geografia, histria, letras e literatura, estudos latino-
americanos, matemtica, estudos do oriente mdio, filosofia, cincia poltica,
estudos populacionais, estudos eslavos, sociologia, e estatstica. A Stanford
Universitys HighWire Press, disponvel online em: <http://highwire.stanford.edu>
(acessado em 11 de janeiro de 2002), agora oferece 301 revistas, e o OCLC,
disponvel online em: <http://www.oclc.org/home/> (acessado em 11 de janeiro de
2002), oferece mais.
168 Perrin, et al, Iowa L Rev, n. 83, p. 673 (citado na nota 140).
169 Ver id, p. 678.

nOTAS
170 Ver texto das notas 16061.
Perrin, et al, Iowa L Rev, n. 83, p. 696 (citado na nota 140), examinando
Dallin H. Oaks, Studying the Exclusionary Rule in Search and Seizure, U Chi L
171
Rev, n. 37, p. 665 (1970).
Heise, Pepperdine L Rev, n. 26, p. 833 (citado na nota 2) (criticando o

estudo de Perrin e salientando o mesmo problema que ns mencionamos).
173
175 Ns tratamos do tema das implicaes observveis no Captulo V.
Ver tambm King, Keohane, e Verba, Designing Social Inquiry, p. 1617

(citado na nota 1).
176
Milhaupt e West, U Chi L Rev, n. 67, p. 41 (citado na nota 78), exemplar.

Acreditando que os dados confirmam a sua hiptese de que o crime organizado
177
uma reao empreendedora s deficincias institucionais, id., p. 74, eles sugerem

que os governos que buscam combater o crime organizado deveriam direcionar
seus recursos no apenas para controlar o crime per se, mas para criar, ou facilitar,
instituies prprias que protejam os direitos de propriedade, id, p. 97. Mais
genericamente, ver Rubin, Mich L Rev, n. 86, p. 1847 (citado na nota 26) (trazendo
o argumento de que a caracterstica distintiva da (...) literatura jurdica sua voz
prescritiva, o seu desejo conscientemente declarado em melhorar a performance
dos tomadores de decisodo direito). Rubin se refere primariamente aos estudos
doutrinrios, muitos dos quais, como ns notamos nos textos das notas 8-9,
enquadram-se no escopo de nossas preocupaes. bvio que verdade que alguns
juzes e operadores do direito no pensam que as implicaes de certos tipos de
trabalho emprico (como ns definimos emprico) so particularmente
importantes ou relevantes para o seu prprio trabalho. Ver, por exemplo, Edwards,

Mich L Rev, n. 91, p. 35 (citado na nota 26) (criticando o conhecimento imprtico

que tem pouca relevncia para os casos concretos); Posner, NYU L Rev, n. 73, p.
4 (1998) (citado na nota 11) (A teoria constitucional circula hoje em um meio que
em grande parte opaco tanto para o juiz como para o advogado.). Porm isso no
significa que as implicaes para o mundo real no existam.
178 Levinson, Yale L J, n. 99, p. 637 (citado na nota 21).
179 Id., p. 643.
Susan Hightower, Note, Sex and the Peremptory Strike: An Empirical

Analysis of J.E.B. v. Alabamas First Five Years, Stan L Rev, n. 52, p. 895 (2000)
180
(constatando que o caso J.E.B no levou a um aumento da vedao s recusas

imotivadas de jurados ou ao aumento da litigao colateral).
511 US 127 (1994) (proibindo a recusa imotivada de jurado por razes

de gnero).
181
476 US 79 (1986) (proibindo a recusa imotivada de jurado por razes

raciais).
182
183 E.B., 511 US 162 (Scalia discordando).
184 Levinson, Yale J L, n. 99, p. 658 (citado na nota 21).
185 Para uma amostra, ver nota 21
Ver nota 21, discutindo United States v Emerson, 46 F Supp 2d 598 (N D

Tex 1999).
186
187 Ver discusso da nota 21.
188 King, Keohane, e Verba, Designing Social Inquiry, p. 19 (citado na

nOTAS
nota 1) (grifo nosso). Ns destacamos essa definio porque juristas parecem

definir teoria diferentemente daqueles em outras disciplinas. Lawrence M.
Friedman, Law Reviews and Legal Scholarship: Some Comments, Denver U L
Rev, n. 75, p. 661, 668 (citado na nota 26), traz esse argumento quando ele
escreve:
Na literatura jurdica, teoria rei. Porm, pessoas que discutem sobre
teoria no direito tm uma estranha ideia do que teoria significa. Na
maioria das outras reas, uma teoria deve ser testvel; ela uma hiptese,
uma previso, e, portanto, sujeita prova. Quando juristas usam a palavra
teoria, eles parecem querer dizer (na maior parte do tempo) algo
profundo, original e completamente intestvel.
Nossa viso do papel da teoria na pesquisa emprica alinha-se com aquela
utilizada na maioria das outras reas.
Kerr, Yale J Rev, n. 15, p. 610 (citado na nota 28) (expondo o argumento
para o modelo contextual).
189
190 Id., p. 6. Para uma viso geral do teste, ver nota 103.
Ver, por exemplo, Martin E. Halstuk, Blurred Vision: How Supreme Court
FOIA Opinions on Invasion of Privacy Have Missed the Target of Legislative
191
Intent, Comm L and Pol, n. 4, p. 111, 11724 (1999); Eric J. Sinrod, Freedom of
Information Act Response Deadlines: Bridging the Gap Between Legislative Intent
and Economic Reality, Am U L Rev, n. 43, p. 325, 32933 (1994).
Ver, por exemplo, Ellen J. Dannin, Legislative Intent and Impasse

Resolution under the National Labor Relations Act: Does Law Matter?, Hofstra
192
Labor & Empl L J, n. 15, p. 11, 2024 (1997); Eric M. Jensen, Note, The NRLAs
Guard Exclusion: An Analysis of Section 9(b)(3)s Legislative Intent and
Modern-Day Applicability, Ind L J, n. 61, p. 457, 46365 (1986).
Ver, por exemplo, William G. Kanellis, Comment, Reining in the Foreign

Trade Zones Board: Making Foreign Trade Zone Decisions Reflect the Legislative
193

Intent of the Foreign Trade Zones Act of 1934, Nw J of Intl L & Bus, n. 15, p. 606,
62935 (1995).
Ver, por exemplo, Robert H. Bork, Legislative Intent and the Policy of the
Sherman Act, J L & Econ, n. 9, p. 7, 4748 (1966).
194
Especialmente a Constituio dos Estados Unidos, Art I, 3, cl 6 (O

Senado tem competncia privativa para julgar todos os impeachments.);
195
Constituio dos Estados Unidos, Art I, 2, cl 5 (A Cmara de Deputados (...)

detm o nico Poder de Impeachment.). Ver, por exemplo, Jonathan Turley, Senate
Trials and Factional Disputes: Impeachment as a Madisonian Device, Duke L J, n.
49, p. 1, 14346 (1999); Lori Fishler Damrosch, Impeachment as a Technique of
Parliamentary Control over Foreign Affairs in a Presidential System?, U Colo L
Rev, n. 70, p. 1525, 153438 (1999).
Ver, por exemplo, Kristin J. Graham, Comment, The Supreme Court

Comes Full Circle: Coercion as the Touchstone of an Establishment Clause
196
Violation, Buff L Rev, n. 42, p. 147, 14950 (1994).
Ver, por exemplo, Akhil Reed Amar, Fourth Amendment First Principles,
Harv L Rev, n. 107, p. 757, 759 (1994); Anthony G. Amsterdam, Perspectives on
197
the Fourth Amendment, Minn L Rev, n. 58, p. 349, 352 (1974); Cloud, U Chi L
Rev, n. 63, p. 174647 (citado na nota 21).
Ver, por exemplo, Jacobus tenBroek, Thirteenth Amendment to the

Constitution of the United States: Consummation to Abolition and Key to the
198
Fourteenth Amendment, Cal L Rev, n. 39, p. 171, 173 (1951); Douglas L. Colbert,
Challenging the Challenge: Thirteenth Amendment as a Prohibition against the
Racial Use of Peremptory Challenges, Cornell L Rev, n. 76, p. 1, 6 (1990); Akhil
Reed Amar e Daniel Widawsky, Child Abuse as Slavery: A Thirteenth Amendment
Response to DeShaney, Harv L Rev, n. 105, p. 1359, 1360 (1992).
199 Daniel A. Farber e Philip P. Frickey, Foreword: Positive Political Theory

nOTAS
in the Nineties, Georgetown L J, n. 80, p. 457, 462 (1992). Mais precisamente, ao

menos como isso foi invocado pelos juristas, a PPT pertence a uma classe de
modelos de escolha racional no-paramtricos, uma vez que ela assume que
atores direcionados por um objetivo operam em um contexto de tomada de
deciso estratgico ou interdependente. Visto dessa forma, isso muito parecido
com o que vem sendo chamado de conta estratgica na literatura social-
cientfica. Para esse entendimento, (1) os atores sociais fazem escolhas a fim de
atingir determinados objetivos, (2) os atores sociais agem estrategicamente no
sentido de que suas escolhas dependem de suas expectativas sobre as escolhas
dos outros atores, e (3) essas escolhas so estruturadas pela configurao
institucional na qual elas so feitas. Ver, por exemplo, Epstein e Knight, The
Choices Justices Makes, p. 121 (citado na nota 65) (oferecendo uma
considerao estratgica das decises judiciais).
Ver, por exemplo, Caldeira, Wright, e Zorn, J L, Econ, & Org, n. 15, p.
550 (citado na nota 61) (sugerindo que os juzes exercem uma votao
200
sofisticada na definio da agenda da Suprema Corte); Boucher e Segal, J Polit,

n. 57, p. 835 (citado na nota 65) (constatando que a maioria dos juzes na Corte de
Vinson exibiu um comportamento de voto estratgico ao conceder ou negar a
reviso); Charles M. Cameron, Jeffrey A. Segal, e Donald R. Songer, Strategic
Auditing in a Political Hierarchy: An Informational Model of the Supreme Courts
Certiorari Decisions, Am Polit Sci Rev, n. 94, p. 101, 101 (2000) (sugerindo que
a a Suprema Corte examina estrategicamente decises de cortes inferiores).
Ver, por exemplo, Eskridge, Cal L Rev, n. 79, p. 64164 (citado na nota
161); Eskridge, Yale L J, n. 101, p. 35389 (citado na nota 161); Spiller e Gely,
201
RAND J Econ, n. 23, p. 464 (citado na nota 161); Segal, Am Polit Sci Rev, n. 91,
p. 42 (citado na nota 65).
Ver, por exemplo, Evan H. Caminker, Why Must Inferior Courts Obey
Superior Court Precedents?, Stan L Rev, n. 46, p. 817, 822 (1994) (defendendo a
202
doutrina atual explicando a hierarquia do precedente); Donald R. Songer, Jeffrey A.

Segal, e Charles M. Cameron, The Hierarchy of Justice: Testing a Principal-Agent

Model of Supreme CourtCircuit Court Interactions, Am J Polit Sci, n. 38, p. 673,

690 (1994) (revelando que no modelo de agncia , as cortes de apelao tendem
a ser agentes relativamente fiis do seu mandante, a Suprema Corte); Cross e
Tiller, Yale L J, n. 107, p. 216873 (citado na nota 166) (empiricamente examinando
uma teoria denunciante de obedincia jurdica).
Ver, por exemplo, Lewis A. Kornhauser, Adjudication by a Resource-

Constrained Team: Hierarchy and Precedent in a Judicial System, S Cal L Rev, n.
203
68, p. 1605, 1628 (1995) (sugerindo que as limitaes de recursos e o objetivo

organizacional de tomar as decises corretas contribui para a estrutura e a prtica
do Judicirio); Knight e Epstein, L & Soc Rev, n. 30, p. 10007 (citado na nota
161) (aplicando a anlise terica dos jogos ao conflito Jefferson-Marshall sobre
reviso judicial); Maxwell L. Stearns, Constitutional Process: A Social Choice
Analysis of Supreme Court Decision Making, p. 97211 (Michigan 1999)
(utilizando um modelo de escolha social para explicar, entre outras coisas, por que
a Corte emprega a doutrina da fundamentao mais restrita para reger as decises
no unnimes de painis, e por que a Corte utiliza mtodos de votao que
frequentemente suprimem as opes de vitria Condorcet).
William H. Manz, Cardozos Use of Authority: An Empirical Study, Cal W

L Rev, n. 32, p. 31, 57 (1995) (constatando que Cardozo utilizou muito mais
204
citaes que a mdia dos juzes).
Por que e em que medida as prticas de citao dos juzes individuais

diferem? So as diferenas idiossincrticas, o produto dos casos atribudos, ou elas
205
refletem as crenas e o contexto intelectual do juiz individual? A autoridade

utilizada por um citador moderado difere em alguma maneira da utilizada por um
grande citador? As prticas de citao de um juiz de grande reputao diferem
consideravelmente daquelas de seus colegas menos famosos, e se isso ocorre,
ocorre por qu? Um jurista liberal usar mais ou menos autoridade que um
conservador? Id., p. 32 33.
206 Id., p. 46.

nOTAS
Buckner F. Melton, Jr., Federal Impeachment and Criminal Procedure:

The Framers Intent, Md L Rev, n. 52, p. 437, 45457 (1993) (argumentando que
207
os constituintes no pretendiam que o impeachment fosse um processo criminal).
208 Id., p. 44157.
209 367 US 643 (1961) (aplicando a regra de exclusoaos Estados).
Ver, por exemplo, Oaks, U Chi L Rev, n. 37 p. 67378 (citado na nota

171); Perrin, et al, Iowa L Rev, n. 83, p. 678711 (citado na nota 140); Myron W.
210
Orfield, Jr., Comment, The Exclusionary Rule and Deterrence: An Empirical

Study of Chicago Narcotics Officers, U Chi L Rev, n. 54, p. 1016, 101922 (1987);
William C. Heffernan and Richard W. Lovely, Evaluating the Fourth Amendment
Exclusionary Rule: The Problem of Police Compliance with the Law, U Mich J L
Ref, n. 24, p. 311, 319 21 (1991); Comment, Effect of Mapp v. Ohio on Police
Search-and-Seizure Practices in Narcotics Cases, Colum J L & Soc Probs, n. 4, p.
87 (1968).
211 Anderson e Rowe, Chi Kent L Rev, n. 71, p. 522-23 (citado na nota 105).
Um exemplo dessa abordagem, atravs de uma srie de questes, Jesse

H. Choper, Consequences of Supreme Court Decisions Upholding Individual
212
Constitutional Rights, Mich L Rev, n. 83, p. 1, 45 (1984) (catalogando crticas

sobre a performance da Suprema Corte em proteger liberdades pessoais).
Ver Eskridge, Cal L Rev, n. 79, p. 64164 (citado na nota 161); Eskridge,
Yale L J, n. 101, p. 353 89 (citado na nota 161).
213
Eskridge, Cal L Rev, n. 79, p. 617 (citado na nota 161). Eskridge no est
sozinho: muitas consideraes da teoria poltica positiva (PPT) sobre as decises
214
judiciais entendem que o objetivo de muitos juzes ver a lei refletir as suas
posies polticas preferidas. Ver, por exemplo, Epstein and Knight, The Choices
Justices Make, p. 23 (citado na nota 65) (A maioria dos juzes, na maioria dos

casos, perseguem polticas; ou seja, eles querem mover o contedo substantivo da

lei para deix-lo o mais prximo possvel das suas posies preferidas.); Spiller
and Gely, RAND J Econ, n. 23, p. 466 (citado na nota 161) (construindo um jogo
supondo que as preferncias da Corte so de base essencialmente ideolgica).
Entretanto, esse no necessariamente o caso. Sob a PPT, atores estratgicos
inclusive os juzes podem ser, em princpio, motivados por muitas coisas.
Enquanto a habilidade de um juiz de alcanar seu objetivo, seja este o que for,
contingente em relao s aes de outros (como PPT sugere), sua deciso
interdependente e estratgica. Para um exemplo de um relato PPT de decises
judiciais nas quais os juzes so motivados por princpios jurisprudenciais, ver
Ferejohn e Weingast, Intl Rev L & Econ, n. 12, p. 265 (citado na nota 161)
(Podemos considerar a preferncia judicial como a expresso da jurisprudncia,
um conjunto de regras prescrevendo como interpretar leis.).
Eskridge, Cal L ver, n. 79, p. 646, 650, 653 (citado na nota 161). O
jargo para essas figuras, da maneira como Eskridge (e ns) as usamos,
215
modelos espaciais. Esses modelos auxiliam pesquisadores a investigar como as

decises de um ator podem influenciar a de outro (ou de outros). Para uma boa
introduo a modelos espaciais, ver Peter C. Ordeshook, Game Theory and
Political Theory: An Introduction 2326 (Cambridge 1986).
Ao denotar esses pontos preferidos, ns (e Eskridge) assumimos que os

atores preferem um resultado que seja mais prximo desse ponto a outro que seja
216
mais afastado. Ou, mais tecnicamente, comeando no ponto ideal [do ator], a
utilidade sempre declina monotonicamente em qualquer direo. Essa
caracterstica conhecida como preferncia unidirecional. Keith Krehbiel,
Spatial Models of Legislative Choice, Legis Stud Q, n. 13, p. 259, 263 (1988). Para
desenvolver as implicaes observveis detalhadas no texto e na Figura 3, ns (em
conjunto com Eskridge) tambm assumimos que os atores possuem informaes
completas e perfeitas sobre as preferncias de todos os outros atores e que a
sequncia de elaborao de polticas desenvolve-se como segue: a Suprema Corte
interpreta a lei, os comits relevantes do Congresso propem (ou no propem)
leis para substituir a interpretao da Suprema Corte, o Congresso (se os Comits

nOTAS
propem a lei) permite (ou no permite) a substituio da lei, o Presidente (se o

Congresso aprovar) assina (ou no assina) a lei, e o Congresso (se o Presidente
vetar) substitui (ou no substitui) o veto.
217 Eskridge, Yale L J, n. 101, p. 378 (citado na nota 161).
Ns adaptamos essa figura de id. Ver tambm Eskridge, Cal L Rev, n. 79,
p. 645 (citado na nota 161).
218
220 Hillman, Colum L Ver, n. 98, p. 58183 (citado na nota 93).
221 Amar e Widawsky, Harv L Rev, n. 105, p. 1359 (citado na nota 198).
222 Id., p. 1360.
Ns escrevemos isso entendendo completamente que o estudo de Amar

e Widawsky e muitos outros estudos desse tipo, bem como anlises doutrinrias,
223
podem estar mais preocupados em introduzir um nova perspectiva ou uma

nova maneira de contemplar problemas conhecidos do que em sustentar suas
alegaes. No temos problemas com esses objetivos; na verdade, ns os
aplaudimos. Mas, na medida em que os autores desses estudos Amar e
Widawsky includos traam alegaes empricas ou inferncias, eles no
esto mais isentos de seguir as regras que oferecemos, quanto, digamos, um
pesquisador realizando um estudo inteiramente quantitativo, cujo nico
objetivo oferecer alegaes empricas ou inferncias. De fato, seria
inapropriado, seno desonesto, que digamos para juristas que nossas regras
aplicam-se se seus artigos forem quase que completamente empricos, mas no
se forem s um pouco. Empiricismo empiricismo, no importa quando, onde
ou quanto dele for utilizado.
224 Ns fornecemos algumas respostas nos textos das notas 235238.

Para exemplos de investigaes empricas avaliando o impacto do caso

Miranda sobre a prtica de interrogao policial e seus resultados, ver James W.
225
Witt, Non-Coercive Interrogation and the Administration of Criminal Justice:

The Impact of Miranda on Police Effectuality, J Crim L & Criminol, n. 64, p. 320,
332 (1973) (constatando que o impacto do caso Miranda na eficcia policial em
parte de Los Angeles foi leve); Michael Wald, et al, Interrogations in New
Haven: The Impact of Miranda, Yale L J, n. 76, p. 1519, 1613 (1967) (constatando
pequenas mudanas na aplicao da lei em New Haven, Connecticut); Richard J.
Medalie, Leonard Zeitz, and Paul Alexander, Custodial Police Interrogation in
Our Nations Capital: The Attempt to Implement Miranda, Mich L Rev, n. 66, p.
1347, 1394 (1968) (revelando que a polcia em Washington, D.C.,
frequentemente falhava em condeder os avisos Miranda); Evelle J. Younger,
Interrogation of Criminal DefendantsSome Views on Miranda v. Arizona,
Fordham L Rev, n. 35, p. 255, 262 (1966) (No parece que as exigncias do caso
Miranda criaro qualquer dificuldade significativa no processo acusatrio em
casos futuros.).
Ns percebemos que esse exemplo abre a possibilidade de um vis de

seleo; por exemplo, a adeso pode ser menor em reas onde as taxas de
226
confisso j so muito altas. Ns discutimos esse problema no Captulo VIII.
Veja, por exemplo, Richard H. Seeburger e R. Stanton Wettick, Jr.,

Miranda in Pittsburgh A Statistical Study, U Pitt L Rev, n. 29, p. 1 (1967) (Pode
227
haver uma apreenso e condenao efetiva e razoavelmente eficiente de

criminosos sem interrogatrio de custdia?); Special Committee on Criminal
Justice in a Free Society, ABA Criminal Justice Section, Criminal Justice in Crisis
2829 (1988) (fazendo um levantamente entre promotores, juzes e oficiais de
polcia sobre o impacto geral de Miranda no cumprimento da lei); Miranda v
Arizona, 384 US 436, 542 (1966) (White dissidindo) (No tenho qualquer desejo
de compartilhar a responsabilidade para qualquer impacto tal no processo penal
atual.); Office of Legal Policy, US Department of Justice, Report to the Attorney
General on the Law of Pretrial Interrogation (1986) (executive summary),
reimpresso em U Mich J L Ref, n. 22, 437, 51012 (1989) (examinando os efeitos

nOTAS
prticos da deciso Miranda e os efeitos adversos no caso sobre a habilidade

governamental para proteger o pblico do crime).
Ver Peter F. Nardulli, The Societal Costs of the Exclusionary Rule

Revisited, U Ill L Rev, n. 1987, p. 223, 23839 (1987) (concluindo que a regra de
228
excluso equivale a somente uma pequena poro da perda de casos em grandes

jurisdies); Gerald M. Caplan, Questioning Miranda, Vand L Rev, n. 38, p. 1417,
147475 (1985) (discutindo regimes alternativos sob os quais os tribunais
poderiam avaliar quais confisses eram obtidas por meio de coero).
Ver Thomas Y. Davies, Affirmed: A Study of Criminal Appeals and

Decision-Making Norms in a California Court of Appeal, Am Bar Found Rsrch
229
J, n. 1982, p. 543, 61319 (1982) (examinando o terreno legal para reverter

decises em uma Corte de Apelao da Califrnia); Karen L. Guy and Robert
G. Huckabee, Going Free on a Technicality: Another Look at the Effect of the
Miranda Decision on the Criminal Justice Process, Crim Just Rsrch Bull, n. 4,
p. 1, 2 (1988) (revelando uma taxa de sucesso baixa para apelaes baseadas
em Miranda).
Ver Fred E. Inbau and James P. Manak, Miranda v. Arizona: Is It Worth

the Cost?: A Sample Survey, with Commentary, of the Expenditure of Court Time
230
and Effort, Cal W L Rev, n. 24, p. 185, 199 (1988).
Ver Seeburger e Wettick, U Pitt L Rev, n. 29, p. 2324 (citado na nota 227)
(mostrando queda nas taxas de convico e esclarecimento em Pittsburgh); Witt, J
231
Crim L & Criminol, n. 64, p. 32829 (citado na nota 225) (o mesmo em Los
Angeles). Ver tambm Cyril D. Robinson, Police and Prosecutor Practices and
Attitudes Relating to Interrogation as Revealed by Pre- and Post-Miranda
Questionnaires: A Construct of Police Capacity to Comply, Duke L J, n. 1968, p.
425, 44781 (analisando levantamentos com a polcia e promotores a respeito da
relao entre interrogatrio e esclarecimento).
232 Medalie, Zeitz, e Alexander, Mich L Rev, n. 66, p. 139495 (citado na

nota 225) (revelando que uma porcentagem significativa de rus que receberam
avisos Miranda no renunciou a seus direitos).
Algumas dessas poderiam at vir de teorias que, primeira vista, tm

pouca relao com as questes sobre o impacto do caso Miranda. Uma que vem
233
rapidamente mente a teoria de agncia (agency theory), a qual entende que

conflitos de valor so difundidos em organizaes, que os resultados desses
conflitos refletem o poder dos concorrentes, e que os detalhes do projeto
organizacional e dos procedimentos de operao (as regras do jogo) determinam
poder. Ver, por exemplo, Songer, Segal, e Cameron, Am J Polit Sci, n. 38, p. 673
(citado na nota 202) (discutindo as interaes de agents principais no contexto da
Suprema Corte); Terry M. Moe, The New Economics of Organization, Am J Polit
Sci, n. 28, p. 739 (1984) (explorando os modelos de agentes-principais e suas
implicaes no estudo da burocracia pblica). A partir dessa teoria, ns
poderamos desenvolver inmeras implicaes observveis relacionadas ao efeito
do caso Miranda, uma vez que essa teoria nos d suporte para entender sob quais
circunstncias, digamos, uma corte em um circuitofederal desviar dos
precedentes estabelecidos pela Suprema Corte, ou quando os policiais desafiaro
seus superiores, e assim por diante.
Para um resumo do conceito, ver King, Keohane, e Verba, Designing

Social Inquiry, p. 2931 (citado na nota 1).
234
Richard S. Kay, Adherence to the Original Intentions in Constitutional

Adjudication: Three Objections and Responses, Nw U L Rev, n. 82, p. 226, 228
236
29 (1988).
237 Amar e Widawsky, Harv L Rev, n. 105, p. 1359 (citado na nota 198).
Ver King, Keohane, e Verba, Designing Social Inquiry, p. 30 (citado na

nota 1).
238

nOTAS
239 Eskridge, Cal L Rev, n. 79, p. 61617 (citado na nota 161).
240 Id.
Richard L. Revesz, Environmental Regulation, Ideology, and the D.C.

Circuit, Va L Rev, n. 83, p. 1717 (1997).
241
242 Id., p. 1717-18
Ver id. p. 171819 nota 6 (Dado o alto perfil poltico do circuito de D.

C., (...) este indicador tende a ser razoavelmente bom.). Ver tambm nota 276.
243
Cynthia A. Williams, The Securities and Exchange Commission and

Corporate Social Transparency, Harv L Rev, n. 112, p. 1197, 120304, 123846
244
(1999).
William N. Eskridge, Jr. e Philip P. Frickey, Cases and Materials on

Legislation: Statutes and the Creation of Public Policy, p. 733 (West 2d ed 1995).
245
Um leitor, ou futuro pesquisador, poderia, claro, especificar ainda mais a

teoria, e ento derivar implicaes observveis, mas o trabalho emprico
246
subsequente pode ento estar testando uma teoria completamente diferente.
Otto J. Hetzel, Michael E. Libonati, e Robert F. Williams, Legislative Law

and Process, p. 438 (Michie 2d ed 1993).
247
Eskridge e Frickey, Cases and Materials on Legislation, p. 733 (citado na

nota 245).
248
Samuel L. Bufford, Chapter 11 Case Management and Delay Reduction:

An Empirical Study, Am Bankr Inst L Rev, n. 4, p. 85, 85 (1996).
249
250 Id, p. 86

251 Id, p. 97.
252 Id, p. 85.
LexisNexis, OCLC, JSTOR, e outros fornecem peridicos em formato

eletrnico passvel de procura, ver nota 167, tornando vasculhar a literatura uma
253
tarefa bem mais fcil do que ocorria h somente uma dcada.
Frederick Ramos, Affirmative Action on Law Reviews: An Empirical

Study of its Status and Effect, U Mich J L Ref, n.22, p.179 (1988), e Bufford, Am
254
Bankr Inst L Rev, n. 4, p. 85 (citado na nota 249), so apenas dois de muitos

exemplos ilustrando o vis da varivel omitida. De fato, os juristas, eles mesmos,
apontaram o problema uma vez que se manifestou em vrios artigos de direito.
Ver, por exemplo, Schulhofer, Nw U L ver, n. 90, p. 50607 (citado na nota 42),
nos estudos dos efeitos de Miranda nas taxas de confisso; Warren, Yale L J, n.
102. p. 437 (citado na nota 82), em Bradley e Rosenzweig, ver texto
acompanhando notas 8184; e Theodore Eisenberg, Measuring the Deterrent
Effect of Punitive Damages, Georgetown L J, n. 87, p. 347 (1998), em W. Kip
Viscusi, The Social Costs of Punitive Damages against Corporations in
Environmental and Safety Torts, Georgetown L J, n. 87, p. 285 (1998).
255 Ramos, U Mich J L Ref , n. 22, p.198, (citado na nota 254).
Este projeto alternativo particular pode no ser necessariamente o melhor,

dadas as preocupaes de Ramos, mas ele fornece um exemplo de uma maneira
256
para controle dessa varivel omitida.
Isso ocorre com assiduidade em peridicos jurdicos, com os autores

incorporando listas enormes de variveis em suas anlises, sem, no entanto,
257
explicar, teoricamente ou de outra maneira, a sua importncia. Lederman, Case W

Res L Rev, n. 49, p. 328 (citado na nota 28), fornece um exemplo possvel.
Tentando explicar a razo de alguns casos tributrios irem ao tribunal, ela inclui
as seguintes variveis: QUANTIA ENVOLVIDA, APELAES, TIPO DE

nOTAS
JUIZ, DCADA, ANTECEDENTES, PARTIDO, CONTRIBUINTE,

REGIO e ADVOGADO. somente mais adiante no artigo que
depreendemos o significado de algumas das variveis. Por exemplo, descobre-se
que partido o partido poltico do presidente que indicou o juiz. Id, p. 331.
Ver Gary King, Truth is Stranger than Prediction, More Questionable

than Causal Inference, Am J Polit Sci, n. 35, p. 1047, 104950 (1991) (ressaltando
258
a importncia do controle de variveis anterior e correlacionado varivel causal

principal).
259 Lawless e Murray, Mo L Rev,n. 62, p. 101, 117 (citado na nota 60)
260 Id.
261 Ver nota 213.
Jeffrey A. Segal and Albert D., Cover, Ideological Values and the Votes
of U.S. Supreme Court Justices, Am Polit Sci Rev, n. 83, p. 557, 560 (1989)
262
(apresentando medidas dos valores ideolgicos dos juzes oscilando de extremamente

conservador a extremamente liberal).
263 Ver nota 63.
264 Ver o texto que acompanha as notas 244-48.
265 Williams, Harv L Rev, n. 112, p. 120304 (citado na nota 244).
266 Ver texto que acompanha as notas 241-43.
267 Revesz, Va L Rev, n. 83, p. 1727 nota29 (citado na nota 241).
Esse um banco pblico de dados que contm vrias informaes sobre

as peculiaridades dos casos decididos nas cortes de apelao entre 1925 e 1996.
268

Disponvel em: <http://www.ssc.msu.edu/~pls/pljp/ctadata.html>. Acesso em: 11

de janeiro de 2002.
Id. Harry T. Edwards, Collegiality and Decisiona Making on the D.C.

Circuit, Va L Ver, n. 84, p. 1335 (1998), em uma crtica ao artigo de Revesz,
269
levanta objeo similar:

H a questo da metodologia utilizada por Revesz para codificar e
classificar os casos que forneceram os dados brutos para o estudo. Na
terminologia tcnica dos exames de decises de agncias, o painel da
corte pode admitir ou rejeitar uma petio para reviso da ao da
agncia. Quando admite a petio para reviso, o painel pode anular a
ao sob reviso. Tal anulao pode ou no ser acompanhada por uma
devoluo expressa para a agncia para maiores aes ou explicaes.
Enquanto a devoluo frequentemente envolve a anulao de uma
ordem, isto no acontece necessariamente. A corte pode devolver sem
anular a ordem, assim mantendo a ordem enquanto pendentes maiores
explicaes. A corte pode inclusive recusar a petio para reviso e,
ainda assim, devolver.
Em outras palavras, h uma nuance considervel nas opes disponveis
para a corte de reviso. Revesz ignora essa variedade de nuances,
possivelmente porque levar em conta a sua sutileza teria tornado mais
difcil para ele extrair concluses abrangentes.
Revesz tambm comete um erro tcnico que pode distorcer os seus
dados: ele simplesmente trata todas as devolues como reverses da
ao das agncias, ignorando a possibilidade de devoluo sem anulao
da ordem, em que a devoluo explicitamente desprovida de reverso.
Tais devolues sem anulao ocorrem; e elas no se encaixam na
mtrica de Revesz. A existncia de tais devolues sem anulao
sublinha a complexidade do processo de reviso, que , de certa forma,
um dilogo entre a corte e a agncia. precisamente esta complexidade
e carter dialgico que Revesz deixa escapar ao referir os desfechos de
casos como afirmaes ou reverses.
Id., p. 1345-46. Revesz responde a esta crtica (1) reiterando por que ele

nOTAS
tratou devolues como reverses e (2) afirmando que a distino do juiz Edwards
entre devolues que anulam a deciso da agncia e aquelas que no o fazem pode
ser de importncia atual, mas no o era durante o perodo do estudo. Richards L.
Revesz, Ideology, Collegiality, and the D.C. Circuit: A Reply to Chief Judge Harry
T. Edwards, Va L Rev, n. 85, p. 805 - 819 (1999). Para ns, essa resposta foge
questo. Em suma, como explicamos no texto, Revesz teria feito muito melhor caso
tivesse codificado as suas disposies to precisamente quando o fez a equipe de
pesquisa do Banco de Dados das Cortes de Apelao dos Estados Unidos.
Donald R. Songer, The United States Court of Appeals Database:

Documentation for Phase 1 (em ingls) disponvel em <http://www.ssc.msu.edu/
270
~pls/pljp/ctacode.PDF> (acesso em 11 de janeiro de 2002).
271 Id., p.*10.
Id., p.*101. Embora uma concordncia entre codificadores de 95,2 por

cento parea alta, definir se ela alta o bastante depende na utilizao que ter esta
272
medida. Por exemplo, este nvel de confiabilidade tornar os pesquisadores

incapazes de detectar diferenas nessa varivel menores que cerca de 5 por cento.
Se uma maior sensibilidade necessria aos resultados, ento um melhor
procedimento de medida deve ser procurado.
Isto traz tona a questo de se uma medida pode ser vlida, mas no
confivel. A resposta simples que para tal medida ns no levantaramos a
273
questo da validade; ns desenvolveramos uma medida diferente. Para ver o

porqu, retorne ao exemplo da balana de banheiro. Se algum subisse nela uma
vez e obtivesse uma leitura precisa, mas em seguida subisse novamente e
obtivesse uma leitura imprecisa, este concluiria que a balana estava quebrada e
a substituiria por um novo modelo. A ideia por trs desta questo mais bem
abordada no contexto de imparcialidade e eficincia (em que um pesquisador
geralmente preferiria uma medida que fosse levemente tendenciosa, mas muito
menos varivel, a outra que fosse imparcial, mas muito varivel), conceitos que a
seguir apresentaremos.

274 Cross e Tiller, Yale L J, n. 107, p. 2155 (citado na nota 166).
275 Id, p. 2168.
Resvez Va L Rev, n. 86, p. 1718-19 nota 6 (citado na nota 241). Em

resposta crtica do juiz Edwards acerca de sua medida, Edwards, Va L Rev, n. 84,
276
p. 1347 (citado na nota 269) (O problema inicial que Revesz no fornece uma
explicao da utilidade do indicador do partido do presidente nomeador como uma
base para a ideologia judicial.), Revesz traz justificativa adicional para isto: j
que no est disponvel para pesquisadores a informao que lhes permitiria
construir uma medida direta de ideologia, no h qualquer alternativa que no
fiar-se em algum proxy para ideologia. O indicador que usei foi empregado em um
grande nmero de estudos antes do meu, muitos dos quais so citados no meu
artigo. Revesz, Va L Rev, n. 85, p. 824 (citado na nota 269). Mas ver texto que
acompanha as notas 299-304.
S podemos concluir que Cross e Tiller, Yale L J, n. 107, p. 2155 (citado

na nota 166), concordam com Revesz, visto que no fornecem nenhuma
277
justificativapara a escolha de sua medida.
A pontuao de Carter 60,3; a de Nixon 47,7, e a de Johnson 78,2.

Jeffrey A. Segal, Richard J. Timpone, e Robert M. Howard, Buyer Beware?:
278
Presidential Success through Supreme Court Appointments, Polit Rsrch Q, n. 53,

p. 557-562 (2000). Para informaes sobre como Segal construiu suas pontuaes,
ver id., p. 560-61.
Michael W. Giles, Virginia A. Hettinger, e Todd Peppers, Picking Federal

Judges: A Note on Policy and Partisan Selection Agendas, Polit Rsrch Q, n. 54, p.
279
623, 626 (2001). Ver tambm Donald R. Songer e Susan Haire, Integrating
Alternative Approaches to the Study of Judicial Voting: Obscenity Cases in the
U.S. Courts of Appeals, Am J Polit Sci, n. 36, p. 963, 965 (1992) (observando que
alguns estudiosos consideram que os presidentes do mesmo partido variam em
termos de suas posies em um espectro contnuo liberal-conservador). Para

nOTAS
fornecer seno um exemplo, Susan B. Haire, Martha Anne-Humphries, e Donald

R. Songer, The Voting Behavior of Clintons Courts of Appeals Appointees,
Judicature, n. 84, p. 274, 278 (2001), relata:
Em contraste com aos nomeados por Reagan-Bush, os nomeados por
Clinton ofereceram substancialmente mais suporte posio liberal em
litgios de direitos civis. Quando votaram para casos penais e
econmicos, [no entanto,] os juzes de Clinton geralmente adotaram
posies marcadamente similares quelas tomadas pelos juzes indicados
pelos [presidentes] republicanos moderados.
Ver, por exemplo, Sheldon Goldman, Picking Federal Judges: Lower Court
Selection from Roosevelt through Reagan, p. 3-4 (Yale 1997), argumentando,
280
baseado em detalhado trabalho arquivstico, que os presidentes buscam fazer

avanar uma ou alguma combinao de trs agendas pessoal, partidria ou
poltica ao realizarem as nomeaes judiciais. Agenda pessoal refere-se a
utilizar o poder de nomeao para agradar um amigo ou associado. A partidria
significa utilizar nomeaes como veculos para o aumento do suporte eleitoral do
partido deles ou deles prprios dentro do partido. Agenda poltica trata de
utilizar nomeaes para realar os objetivos polticos essenciais de uma
administrao. Id., p. 3.
Giles, Hettinger, e Peppers, Polit Rsrch Q, n. 54, p. 628-29 (citado na nota

279).
281
282 Ver Captulo II.B.3.
Ns temos conscincia de que Segal e Cover projetaram esta medida

para pinar as preferncias de juzes da Suprema Corte, e no de juzes de
283
cortes de apelao. Discutimos uma abordagem alternativa para mensurar as

preferncias dos juzes federais de apelao inferiores no texto que acompanhas
as notas 299-304.
284 Segal e Cover, Am Polit Sci Rev, n. 83, p. 559 (citado na nota 262).

285 Id.
Fontes de dados para as pontuaes de Segal/Cover: Segal e Cover, Am

Polit Sci Rev, n. 83, p. 560 (citado na nota 262); Segal, et al ,The Supreme Court
286
Compendium, p.452-55 (citado na nota 64).
As Pontuaes de Segal/Cover variam de 1.00 (mais liberal) a -1.00

(mais conservador); elas provm de anlises de contedo de editoriais de jornais
287
anteriores confirmao. Voto Real a porcentagem de votos liberais lanados

pelos magistrados no curso de sua carreira (no perodo de 1998) em casos de
liberdades civis.
Rehnquist recebeu a mesma pontuao tanto como juiz associado quanto

comoPresidente da Corte.
288
Brett Christopher Gerry, Parity Revisited: An Empirical Comparison of

State and Lower Federal Interpretations of Nollan v. California Coastal
289
Commission, Harv J L & Pub Pol, n. 23, p. 233 (1999).
290 483 US 825 (1987).
Gerry, Harv J L & Pub Pol, p. 273-76 (citado na nota 289) (encontra
suporte emprico para paridade entre cortes estaduais e federais na intepretao de
291
questes federais).
292 Id, p. 273.
293 531 US 98 (2000).
No precisamos adivinhar aqui. O juiz Thomas, quando questionadob, no

dia seguinte publicao da deciso da Suprema Corte no caso Bush v. Gore,
294
sobre o papel que as afiliaes partidrias dos magistrados tinha na deciso,

respondeu: Zero. Neil A. Lewis, Justice Thomas Speaks Out on a Timely Topic,

nOTAS
Several of Them, in Fact, NY Times 17A (14 Dez, 2000). Ele continuou, dizendo
que eu peo a voc que, o que quer que voc faa, no tente aplicar as regras do
mundo poltico esta instituio. Id.
Nesta mesma linha so as respostas dos juzes a estudos sugerindo que
eles decidem com base diversa de princpios neutros. Ver, por exemplo, Patricia M.
Wald, A Response to Tiller and Cross, Colum L Rev, n. 99, p. 235, 237 (1999)
(afirmando que mesmo nos relativamente raros casos em que as convices
pessoais de um juiz tm espao para emergir, elas no automaticamente sobrepem-
se aos fatos do caso, legislao relevante e aos limites constitucionais
capacidade decisria do juiz); Edwards, Va L Rev, n. 84, p. 1359 (citado na
nota 269):
A principal razo pela qual me surpreendi face s hipteses
apresentadas pelos estudiosos [de que os votos refletem consideraes
polticas e partidrias](...) que meus colegas e eu to raramente
discordamos da opinio dos colegiados de que participamos (...)
Mesmo onde houve discrdia, esta somente ocorreu em matria de
linhas presumidas partidrias em cerca de metade das vezes. Isto ,
na minha opinio, evidncia prima facie extremamente forte de um
consenso entre os juzes sobre o correto julgamento em um
determinado caso.
Ver, por exemplo, Richard Nisbett e Tim Wilson, Telling More than We
Know: Verbal Reports of Mental Processes, Psych Rev, n. 84, p. 231, 233 (1977)
295
(A preciso de relatos subjetivos to ruim que sugere que qualquer caminho

instrospectivo que exista no suficiente para produzir relatosgeralmente
corretos ou confiveis.); Wendy M. Rahn, Jon A. Krosnick, e Marijke Breuning,
Rationalization and Derivation Processes in Survey Studies of Political Candidate
Evaluation, Am J Polit Sci, n. 38, p. 582 (1994) (coletando relatos dos eleitores e
conclui que relatos sobre as intenes de voto feitos pela prpria pessoa e sem uma
estrutura fixa oferecem mais racionalizaes do que razes).
Isto no quer dizer que os juristas deixam de perceber o problema; alguns,

na verdade, o fazem, como sugere o seguinte: Eu (...) reconheo que qualquer
296

tentativa de usar entrevistas para avaliar ambientes complexos sujeita ao

problema de que os entrevistados talvez no consigam explicar a motivao de
suas aes para o entrevistador. Mann, Harv L Rev, n. 110, p. 632 nota33 (citado
na nota 112). Ns argumentamos que mero reconhecimento insuficiente que
estudiosos, como sugerido abaixo, devem tomar medidas corretivas.
Neal Miller, An Empirical Study of Forum Choices in Removal Cases

under Diversity and Federal Question Jurisdiction, Am U L Rev,n. 41, p. 369
297
(1992).
Na verdade, os estudiosos tomaram para si esta tarefa e descobriram

correlaes grandes entre as pontuaes e os votos dos magistrados. Ver Segal e
298
Cover, Am Polit Sci Rev, n. 83, p. 557 (citado na nota 262); Segal, et al, J Polit, n.
57, p. 812 (citado na nota 64) pelo menos em algumas reas do direito. Mas ver
Lee Epstein e Carol Mershon, Measuring Political Preferences, Am J Polit Sci, n.
40, p. 261 (1996) (constatando que as pontuaes de Segal e Cover so efetivas
nas circunstncias indicadas por seus criadores, mas outros inquritos podem
requerer novos substitutos para preferncias judiciais).
299 Ver texto que acompanha as notas 274-81.
Lembrar que Revesz, Va L Rev, n. 83, p. 1717 (citado na nota 241), invoca
a mesma medida. Consequentemente, as preocupaes que expressamos nesse
300
pargrafo aplicam-se igualmente pesquisa dele.
Giles, Hettinger e Peppers, Polit Rsrch Q, n. 54, p. 636 (citado na nota

279).
301
Keith T. Poole, Recovering a Basic Space from a Set of Issue Scales, Am

J Polit Sci, n. 42, p. 954 (1998). Essas pontuaes so baseadas nos Votos
302
Trimestrais do Congresso por Chamada de Apoio ao Presidente. Tais pontuaes,

junto a uma descrio detalhada delas, esto disponveis online em
<http://voteview.uh.edu> (acesso em 18 de janeiro de 2002).

nOTAS
Keith T. Poole and Howard Rosenthal, Congress: A Political-Economic

History of Roll Call Voting (Oxford 1997). Essas pontuaes so baseadas em
303
todas as votaes no unnimes realizadas a cada ano.
Ver, por exemplo, Giles, Hettinger, e Peppers, Polit Rsrch Q, n. 54, p. 636
(citado na nota 279).
304
305 Ver texto que acompanha notas 244-48.
Larry D. Kramer, Putting the Politics Back into the Political Safeguards
of Federalism, Colum L Rev, n. 100, p. 215 (2000).
306
Herbert Wechsler, The Political Safeguards of Federalism: The Role of

the States in the Composition and Selection of the National Government, Colum L
307
Rev, n. 54, p. 543, 546 (1954).
308 Id, p.559.
309 Kramer, Colum L Rev, n. 100, p. 227 (citado na nota 306).
310 Id, p. 228 (o grifo foi adicionado).
Percebemos que alguns tipos de consenso acadmico podem existir sobre

tais estimativas, entretanto esse no o problema aqui. O problema se as
311
estimativas esto muito longe do correto uma questo que no podemos

responder, uma vez que ns no sabemos precisamente como o pesquisador
chegou a elas.
Timothy E. Lin, Note, Social Norms and Judicial Decisionmaking:

Examining the Role of Narratives in Same-Sex Adoption Cases, Colum L Rev, n.
312
99, p. 739, 79294 (1999).
313 Id, p. 775 (o grifo foi adicionado).

Barry Friedman, The history of the Countermajoritarian Difficulty, Part

Four: Laws Politics, , U Pa L Rev, n. 148, p. 971 (2000).
314
Alexandre M. Bickel, The Least Dangerous Branch: The Supreme Court

at the Bar of Politics 16-17 (Bobbs-Merril, 1962) (Quando a Suprema Corte
315
declara inconstitucional um ato legislativo ou a ao do executivo eleito, ela

frustra a vontade dos representantes das verdadeiras pessoas do aqui e agora; ela
exerce controle, no em nome da maioria prevalente, mas contra ela).
316 Friedman , U Pa L Rev, n.148, p. 985 (citado na nota 314).
317 Id p. 986.
Nicole Veilleux, Note, Staying Death Penalty Executions: An Empirical

Analysis of Changing Judicial Attitudes, Georgetown L J, n. 84, p. 2543, 2554
318
(1996). Este tanto um estudo quantitativo como qualitativo. O autor coleta dados
numricos de suspenso de execuo concedidas e negadas, e qualitativamente
explora explicaes para os aumentos na frao negada.
319 Id, p. 2551.
320 Ver o texto acompanhando a nota 142.
321 Fischer, Yale L J , n.109, p.861-63 (citado na nota 142).
322 Veilleux, Note, Georgetown L J, n. 84, p. 2568-71 (citado na nota 318).
Ver King, Keohane e Verba, Designing Social Inquiry, p.23 (citado na

nota 1) (percebendo que sem um registro do processo de gerao de dados,
323
analistas no podem determinar se procedimentos pado criaro inferncias

enviesadas).
324 Ver texto acompanhando as notas 112-14.

nOTAS
325 Ver texto acompanhando as notas 114-17, 122-24.
326 Anderson e Rowe, Chi Kent L. Rev., n. 71, p. 519 (citado na nota 105).
327 Id, p. 526.
328 Id.
Linda G. Mills, Killing Her Softly: Intimate abuse and the Violence of
State Intervention, Harvard L. Rev, n. 113, p. 550, 554-55 (1999). (As mesmas
329
intervenes estatais planejadas para erradicar o abuso nas mulheres que sofreram
violncia muito frequentemente reproduzem o abuso emocional da relao em que
elas eram agredidas).
330 Id, p. 556.
Um procedimento de seleo relacionado um que leva o pesquisador a

enviesar a amostra contra a hiptese (ou afirmao) de interesse tambm pode
331
produzir vieses. Um exemplo nesses parmetros Lisa Bernstein, The

Questionable Empirical Basis of Articles 2s Incorporation Strategy: A
Preliminary Study, U of Chi L Revi, n. 66, p. 710 (1999). Para investigar em que
medida costumes comerciais realmente existem quanto maioria dos aspectos
das relaes contratuaiso em comunidades mercantis, Bernstein examina quatro
indstrias de feno, de gros, txtil e de seda. Id, p. 713-15. Parece que ela
seleciona essas indstrias porque so aquelas que em um primitivo estgio de seu
desenvolvimento, eram a grosso modo caracterizadas por condies favorveis
emergncia de costumes, assim como muito coesas. Id, p.715. Em outras
palavras, ela parece estar enviesando sua amostra contra sua hiptese de interesse
(ou, ao menos, contra a afirmao que ela efetua depois), que os negociantes
mercantis no (...) possuem vises similares sobre o significado de termos
contratuais comuns. Id, p.719. Assim, ela procede partindo da crena de que, se
ela no encontrar a existncia de costumes entre os negociantes mercantis em
indstrias nas quais as condies so favorveis para o desenvolvimento desses

costumes, ento ela no a encontrar em indstrias nas quais as condies para seu
aparecimento so desfavorveis. O problema aqui que se, por qualquer razo,
costumes sejam mais difceis de serem detectados em comunidades muito
coesas que em quaisquer outros tipos, ela pode ter inadvertidamente senviesado
a sua amostra em prol da hiptese de interesse, e no contra ela.
332 Ver texto acompanhando as notas 189-90.
333 Kerr, Yale J Reg, n. 15, p. 6-10 (citado na nota 28).
334 Id, p. 18.
Kirt Schuldberg, Comentrio, Digital Influence: Technology and

Unpublished Opinions in the Federal Courts of Appeals, Cal L Rev, n. 85, p. 541,
335
546 (1997), citando o Diretor do Gabinete Administrativo das cortes norte-

americanas, ed, Report of the Proceedings of the Judicial Conference of the United
States 11 (GPO 1994). Devemos ser claros: como o juiz Richard S. Arnold,
Unpublished Opinions: A Comment, J. App. Prac. And Process, n. 1, p. 219, 219
20 (1999), escreve:
No-publicado (...) no quer dizer secreto (...) Todas as opinies so
pblicas, no sentido de que elas esto disponveis ao pblico. Qualquer
um pode entrar da rua, pagar a taxa apropriada e pegar a cpia de
qualquer opinio ou ordem de uma corte de apelaes (...) [O que no-
publicado significa na verdade ] que a opinio no para ser publicada
em um livro, um meio impresso. Significa que a opinio no postada
(ou, de outra maneira, transmitida) para a West Publishing Company ou
qualquer outra editora jurdica com a inteno de que ela seja impressa
em um livro comercialmente disponvel.
Id p. 220. Em 1999, 78,1% de todas as decises das cortes de apelaes
no foram publicadas. Somente no Primeiro Circuito houve mais opinies
publicadas (54,6%) que no-publicadas (45,4%). Diretor do Gabinete
Administrativo das cortes norte-americanas, Judicial Business of the United
States Courts: 1999 Annual Report of the Director, 49 quadro S-3 (GPO 1999),

nOTAS
disponvel em http://www.uscourts.gov/judbus1999/supps.html (visitado em 16

de janeiro de 2002).
O movimento em direo s opinies no-publicadas comeou em
1964, quando a Conferncia Judicial dos Estados Unidos recomendou que as
Cortes de Apelao dos Estados Unidos autorizassem a publicao somente
daquelas opinies que so de valor jurisprudencial geral. Diretor do Gabinete
Administrativo das cortes norte-americanas, ed, Report of the Proceedings of
the Judicial Conference of the United States 11 (GPO 1964). Oito anos depois,
em 1972, a Conferncia endossou uma recomendao do Centro Federal
Judicial e dirigiu os circuitos de cortes de apelao que fizessem planos para
limitar a publicao. Diretor do Gabinete Administrativo das cortes norte-
americanas, ed, Report of the Proceedings of the Judicial Conference of the
United States 22 (GPO 1972). Em torno da metade dos anos 70, todos os
circuitos assim tinham procedido. Para ser preciso, as especificidades das
regras adotadas diferem, mas todas tem como premissa a ideia de que os juzes
deveriam no geral, procurar publicar apenas casos de valor jurisprudencial
geral. Shuldberg, Comentrio, Cal. L. Rev., n. 85, p. 551. Ver tambm Donald
R. Songer, Criteria for Publication of Opinions in the U.S. Courts of Appeals:
Formal Rules versus Empirical Reality, Judicature, n. 73, p. 307, 307-08
(1990) (recitando a histria do debate da no-publicao); William L.
Reynolds e William M. Richman, An Evaluation of Limited Publication in the
United States Courts of Appeals: The Price of Reform, U of Chi L Rev, n. 48,
p. 573, 574 (1981) (apresentando uma exame emprico do funcionamento dos
planos de publicao das onze Cortes de Apelao dos Estados Unidos durante
o ano reportado de 1978-79).
Ver, por exemplo, Richard A. Posner, The Federal Courts: Crisis and
Reform, n. 122 (Harvard 1985) (Os critrios para quando uma opinio deve ser
336
publicada so (...) imprecisos e no-diretivos; so pouco melhores do que dizer

que uma opinio no deve ser publicada a menos que seja provvel que tenha valor
como precedente. Mas os juzes geralmente no sabero se uma opinio passvel
de possuir tal valor).; Schuldberg, Cal. L. Rev., n. 85, p. 551 (citado na nota
335) (Muitas opinies no-publicadas contm anlises que so importantes para

futuros litigantes e para o pblico em geral); Songer, Judicature, n. 73, p. 313

(citado na nota 335) (As regras governando a publicao nos circuitos esto
estabelecidas em uma linguagem ampla e geral (...) [ento] no deve ser muito
surpreendente que se ache que as regras no foram aplicadas de uma maneira
consistente por diferentes juzes); Lauren K. Robel, The Myth of the Disposable
Opinion: Unpublished Opinions and Government Litigants in the United States
Courts of Appeals, Mich L Rev, n. 87, p. 940, 948 nota 38 (1989) (H uma boa
possibilidade de que juzes faam, por vezes, uso dos planos de publicao por
razes que no foram contempladas pelas regras). Ver tambm Anastoff vs.
United States, 223 F3d 898, 905 (oitavo circuito 2000) (sustentando que as regras
de cortes dos circuitos proibindo a citao de opinies no-publicadas so
inconstitucionais, porque elas tm valor jurisprudencial), vacd as moot, 235 F3d
1054 (oitavo circuito 2000) (en banc).
Ver, por exemplo, Robel, Mich L Rev, n. 87, p. 940 (citado na nota 336);
Songer, Judicature, n. 73, p.307 (citado na nota 335); Donald R. Songer,
337
Nonpublication in the United States District Courts: Official Criteria versus

Inferences from Appellate Review, J. Polit., n. 50, p. 206 (1988) (sugerindo a
possibilidade de que juzes possam deliberadamente recusar-se a redigir opinies
em alguns casos que eles percebam no ser triviais).
338 Kerr, Yale J. Reg., n. 15, p. 60 (citado na nota 28).
Coletar todas as observaes , com certeza, um caso especial de seleo

aleatria com uma probabilidade seletiva de 1,0 para cada elemento da populao.
339
Uma alternativa seria designar a cada um dos mil casos uma

probabilidade de seleo de 0,1; extrair mil nmeros do que conhecido como
340
uma distribuio uniforme no intervalo de unidade , cada um dos quais um

nmero entre 0 e 1, e selecionar cada caso em que o nmero desenhado menor
que 0,1 e rejeita-lo se no o for. Estabelecer nmeros aleatrios envolve olhar para
uma tabela de nmeros aleatrios uniformes ou usar um programa de computador
especialmente desenhado.

nOTAS
341 Ver o texto acompanhando as notas 329 31.
342 Ver o texto acompanhando as notas 297 98.
343 Miller, Am U. L Rev. n. 41, p. 375-79 & nota 46 (citado na nota 297).
344 Ver id, p. 385-98.
345 Id, p. 448.
King, Keohane e Verba, Designing Social Inquiry, p. 124 28 (citado na

nota 1), fornece um exemplo no qual a seleo aleatria com um nmero pequeno
346
de observaes produz vieses com uma probabilidade de dois teros.
Apesar de que vrios estudos tenham usado esse tipo de medida para
estimar o impacto de Miranda (por exemplo, o nmero de confisses
347
suprimidas devidas a Miranda, ver Floyd Feeney, Forrest Dill, e Adriane Weir,
Arrests without Conviction: How Often They Occur and Why, p. 144 146 (US
Dept of Justice 1983) (estudando confisses acabando em no-condenao em
Jacksonville, Flrida e San Diego, Califrnia); Nardulli, U Ill L Rev, n. 1987,
p. 227 (citado na nota 228) (estudo do papel e do impacto da regra de excluso
em casos em Chicago), juristas apontaram problemas com isso. Ver, por
exemplo, Paul G. Cassell, Mirandas Social Cost: An Empirical Assessment,
Nw L Rev, n. 90, p. 387, 393 95 (1996) (Anlise do nmero de confisses
suprimidas apenas nos fala dos casos em que a polcia obtm confisses. No
nos diz nada sobre os casos em que a polcia falha em obter confisses em razo
das regras de Miranda (...) Pessoa alguma pode simplesmente saber o nmero
de confisses perdidas por meio da observao do boletim de cumprimento
da lei ou pelo arquivo da corte.).
Para alguns desses benefcios, ver Saunders, Duke L J, p .49, p. 167073

(citado na nota 139) (habilidades de escrita, citao e edio, assim como de
348
interao com professores e exposio a empregadores); Wendy J. Gordon,

Counter-Manifesto: Student-Edited Reviews and the Intellectual Properties of

Scholarship, U Chi L Rev, n. 61, p. 541, 54344 (1994) (contato prximo com
profissionais especializados); Leo P. Martinez, Babies, Bathwater, and Law
Reviews, Stan L Rev, n. 47, p. 1139, 1140 (1995) (treino em uma leitura atenciosa
embora anal-retentiva, de mincia,); Martin, Iowa L Rev, n. 71, p. 1099 1101
(citado na nota 20) (desenvolvimento das habilidades de pesquisa e escrita do
estudante, provendo um destino para a iniciativa do estudante, e criando um frum
para o acadmico desconhecido); John T. Noonan, Jr., Law Reviews, Stan L Rev,
n. 47, p. 1117, 111718 (1995) (notando que peridicos jurdicos oferecem aos
estudantes a oportunidade de contribuir para a profisso e de engajar-se em
combates intelectuais). Mesmo crticos do sistema atual reconhecem seu valor
para os estudantes. Ver, por exemplo, Roger C. Cramton, The Most Remarkable
Institution: The American Law Review, J. Legal Educ, n. 36, p. 1, 8 (1986)
(reconhecendo que peridicos jurdicos provm uma experincia educacional, mas
afirmando que a experincia est diminuindo).
Se as faculdades de direito devem fazer disso uma parte do seu currculo

do primeiro ano ou reserv-lo para os segundos e terceiros anos do estudante
349
depende de seus objetivos e necessidades individuais. Uma comparao relevante

entre os programas de graduao nas cincias sociais, os quais tipicamente
encorajam os estudantes a fazer cursos instrumentais (por exemplo, pesquisa,
projeto, mtodos, lnguas, teoria dos jogos) o mais cedo possvel em suas carreiras
acadmicas. Tambm vale perceber que a estratgia de tentar cobrir as regras de
inferncia em cursos substanciais existentes til, mas no suficiente: o estudo
da inferncia, pesquisa, projeto e mtodos empricos constitui um campo distinto
e claramente delineado de investigao acadmica, e melhor ensinada em curso
separado.
Informao sobre a ICPSR, incluindo seu programa de vero, est

disponvel on-line em: <http://www.icpsr.umich.edu> (visitado em 17 de janeiro
350
de 2002).
351 Schuck, J Legal Educ, n. 39, p. 333 (citado na nota 2).

nOTAS
Gerald V. Post, How Often Should a Firm Buy New PCs?, Comm ACM,
n. 42, p. 17, 21 (1999) (sugerindo a companhias que mudem seus computadores a
352
cada trinta e seis meses).
Micah Altman e Michael McDonald, The Robustness of Statistical

Abstractions: A Look under the Hood, trabalho apresentado no encontro anual da
353
Society for Political Methodology (1999) (em arquivo com os autores).
Saunders, Note, Duke L J, n. 49, p.1683 (citado na nota 139); John G.

Kester, Faculty Participation in the Student-Edited Law Review, J Legal Educ, n.
354
36, p. 1415 (1986).
Ver, por exemplo, Michael I. Swygert e Jon W. Bruce, The Historical

Origins, Founding, and Early Development of Student-Edited Law Reviews,
355
Hastings L J, n. 36, p.739, 77887 (1985); John J. McKelvey, The Law School
Review, Harv L Rev, n. 50, p.868, 88286 (1937); Bernard J. Hibbitts, Last
Writes?: Reassessing the Law Review in the Age of Cyberspace, NYU L Rev, n.
71, p. 615, 61728, 63031 (1996); William P. LaPiana, Logic and Experience:
The Origin of Modern American Legal Education100 (Oxford 1994); James W.
Harper, Why Student-Run Law Reviews?, Minn L Rev., n. 82, p. 1261, 126365
(1998).
Essa preocupao implica no jeito como os estudantes escolhem artigos

e uma que muitos juristas levantaram. Ver nota 139.
356
357 Ver nota 21.
358 Friedman, Denver U L Rev, n. 75, p. 661(citado na nota 26).
Ver, por exemplo, Arthur D. Austin, The Custom of Vetting as a

Substitute for Peer Review, Ariz L Rev, n. 32, p. 1, 4 (1989) (O uso publicaes
359
editadas por estudantes como o principal canal para a escrita jurdica uma situao
embaraosa, merecendo os sorrisos de desdm que recebe de colegas das cincias

naturais e sociais); Lindgren, U Chi L Rev, n. 61, p. 535 (citado na nota 46) (Em
outras partes da academia, peridicos jurdicos so consideradas uma piada.
Docentes de todos os outras reas frequentemente no conseguem acreditar que,
para a maioria de nossas publicaes acadmicas, permitimos que estudantes sem
diplomas avanados selecionem manuscritos); Rosenberg, Green Bag 2d, n. 3, p.
270 (citado na nota 22) (A cincia social e, nesse mbito, o direito, um mundo
repleto de histrias aterrorizantes de editores de peridicos jurdicos ignorantes).
Muitos juristas levantaram objees aplicao de variveis de um

modelo de reviso cega e paritria para o seu trabalho. Ver, por exemplo,
360
Hibbitts, Akron L Rev, n. 30, p. 292 (citado na nota 139) (Se o controle de
qualidade por estudantes problemtico, no entanto, o controle de qualidade
tradicional por pares no deve ser muito melhor.); Friedman, Denver U L Rev, n.
75, p. 665 (citado na nota 26) (Reviso paritria, de qualquer maneira, no
perfeita. Professores no so anjos, e no so imparciais. Muitos deles so antigos
editores de peridicos jurdicos, afinal. Eles podem ser to tendenciosos quanto
seus estudantes.); Posner, Stan L Rev., n. 47, p.1134 (citado na nota 139)
(afirmando que o movendo de submisso cega no revelou vantagens lquidas);
Saunders, Duke L J, n. 49, p. 1677 (citado na nota 139) (percebendo o problema
de ao coletivo envolvido com peridicos jurdicos adotando polticas de
submisso cega).
Austin, Ariz L Rev, n. 32, p.3 (citado na nota 359), argumenta o tanto
quanto, mas o uso de notas de rodap elaboradas, como ele argumenta em
361
Footnotes as Product Differentiation, Vand L Rev, n.40, p.1131, 1154 (1987),

reflete outros fatores (embora relacionados).
Ver Austin, Ariz L Rev, n. 32, p.5 (citado na nota 359). Tal testemunho
pode ser direcionado tanto para editores de peridicos jurdicos como para
362
pesquisadores em outras partes da universidade. Ver Hibbitts, NYU L Rev, n. 71,

p. 641 (citado na nota 355) (percebendo que o nmero de nomes proeminentes
que o autor coloca na nota de rodap de aradecimentos pode afetar a deciso
dos editores); Austin, Vand L Rev, n. 40, p. 1131 (citado na nota 361) (Dar crdito

nOTAS
a lderes estabelecidos no campo por ter lido o manuscrito fornece ao instrutor sem
vnculo estvel o carimbo da credibilidade instantnea).
363 Austin, Ariz L Rev, n. 32, p. 3 (citado na nota 359).
De fato, estamos conscientes das propostas numerosas que os acadmicos

e outros ofereceram (algumas das quais foram adotadas pelas faculdades de
364
direito). Muitos pedem por vrios nveis de remendos ao modelo existente. Ver,
por exemplo, Posner, Stan L Rev., n. 47, p. 113638 (citado na nota 139),
(sugerindo que os peridicos jurdicos obtenham revises cegas em cada
manuscrito no-doutrinrio plausvel e renncia edio linha a linha);
Saunders, Note, Duke L J, n. 49, p. 168283 (citado na nota 139) (sugerindo que
os peridicos jurdicos diversifiquem seus membros e encorajem envolvimento
informal dos docentes). Outros pedem por mudanas drsticas, sugerindo a
alterao para um modelo de simpsio docente (ver Lindgren, U Chi L Rev, n. 61,
p. 35 (citado na nota 46)), publicaes editadas por docentes (ver Richard A.
Epstein, Faculty-Edited Law Journals, Chi-Kent L Rev, n. 70, p. 87, 8893
(1994), e David M. Richardson, Improving the Law Review Model: A Case in
Point, J Legal Educ, n. 44, p. 6, 711 (1994)), e mesmo auto-publicao na
internet(ver Hibbitts, NYU L Rev, n. 71, p. 667 (citado na nota 355)). Nossa
proposta enquadra-se entre esses dois extremos e, dessa maneira, tem a virtude de
preservar algumas das melhores caractersticas do modelo existente e ao mesmo
tempo oferecer um corretivo para seus dficits mais srios.
Fornecer uma voz a estudantes editores na seleo dos membros conselho

editorial pode aumentar mais sua autonomia e garantir uma relao suave de
365
trabalho entre esse quadro e os editores.
366 Ver notas 43 54.
Ver, por exemplo, Abner Mikva, Goodbye to Footnotes, U Colo L Rev, n.

56, p. 647, 647 (1985) (Considero notas de rodap em opinies judiciais uma
367
abominao.); Arthur J. Goldberg, The Rise and Fall (We Hope) of Footnotes,

ABA J, n. 69, p. 255, 255 (1983) (Acho que notas de rodap causam mais
problemas que os resolvem.); Rodell, Va L Rev., n. 23, p. 41 (citado na nota 43)
(O defeito da nota de rodap no cultiva seno o pensamento desleixado, escrita
sem-graa, e maus olhos.); David Mellinkoff, Legal Writing: Sense and
Nonsense, n. 94 (West 1982) (Geralmente o autor da nota de rodap mais
desonesto que preguioso.) Cramton, J Legal Educ, n. 36, p. 5 (citado na nota
348) (A tendncia a fornecer uma citao para cada proposio distrai o leitor e
pode contribuir mais para a forma que para o contedo.); Lasson, Harv L Rev,
n.103, p. 939 (citado na nota 44) (descrevendo a colocao de notas de rodap
como um vrus).
Um desenvolvimento relacionado (e complicado) que nem os editores

de vrios peridicos jurdicos nem os produtores dos estudos que eles publicam
368
tomaram, aparentemente, algum passo para forar as vrias companhias (por

exemplo, Lexis ou Westlaw) que produzem verses eletrnicas de suas
publicaes para incluir quadros e figuras. Onde esses elementos deveriam
aparecer no texto, o leitor direcionado a ver a verso impressa. Certamente
editores e docentes poderiam (e deveriam) espernear se o Lexis tratasse notas de
rodap da mesma maneira. Felizmente, ao menos os quadros esto disponveis em
algum lugar; no isso que ocorre com a maioria dos dados quantitativos ou
qualitativos originais.
O que essa experincia mostra que os autores se professores de direito

ou cientistas sociais ou fsicos so geralmente de pouco valor no auxlio para que
369
outros repliquem pesquisas que no atingiram originalmente o padro da

replicao. De fato, muitos esforos para replicar trabalhos que no atingem esse
padro falham mesmo com a ajuda do autor. Ver William G. Dewald, Jerry G.
Thursby, e Richard G. Anderson, Replication in Empirical Economics: The Journal
of Money, Credit and Banking Project, Am Econ Rev, n. 76, p.587 (1986)
(levantando erros que ocorrem comumente em uma pesquisa econmica emprica
frustrando replicao). Isso no surpreendente, uma vez que pesquisadores no
so arquivistas profissionais e frequentemente no retm toda a informao
necessria para replicao. Claro, mesmo se os autores fossem rotineiramente aptos

nOTAS
a ajudar, nunca perdessem coisa alguma, e vivessem eternamente, depender deles

em vez de no material publicado em registros pblicos significa que o
conhecimento, a interpretao e todos os fatos no so compartilhados. Dessa
maneira, os benefcios de uma comunidade cientfica so perdidos.
Disponvel em http://www.icpsr.umich.edu/index.html (visitado em 18 de

janeiro de 2002).
370
Disponvel em http://csf.colorado.edu/isa/data/data-archive.html (visitado

em 18 de janeiro de 2002).
371
Disponvel em http://www.essex.ac.uk/qualidata/ (visitado em 18 de

janeiro de 2002).
372
Disponvel em http://eh.net/ehresources/ (visitado em 18 de janeiro de

2002).
373
Disponvel em http://lib.stat.cmu.edu/ (visitado em 18 de janeiro de

2002).
374
Disponvel em http://qed.econ.queensu.ca/jae/ (visitado em 18 de janeiro

de 2002).
375
Disponvel em http://web.polmeth.ufl.edu/ (visitado em 18 de janeiro de

2002).
376
377 Disponvel em http://TheData.org// (visitado em 18 de janeiro de 2002).
iii NT: certiorari petition

SOBRE OS AuTORES
LEE EPSTEIn
PROFESSORA EMRITA EDWARD MALLINCKRODT DE CINCIA POLTICA E DE DIREITO DA
WASHINGTON UNIVERSITy EM ST. LOUIS; <HTTP://ARTSCI.WUSTL.EDU/~POLISCI/EPSTEIN/>;
[email protected].
GARy KInG
PROFESSOR DE CINCIA POLTICA, HARVARD UNIVERSITy E CONSELHEIRO CIENTFICO
SNIOR, EVIDENCE AND INFORMATION FOR POLICy CLUSTER, ORGANIzAO MUNDIAL DA
SADE; <HTTP://GKING.HARVARD.EDU>; [email protected].
SOBRE O TRADuTOR
fBIO COSTA mOROSInI

PROFESSOR DO PROGRAMA DE PS-GRADUAO EM DIREITO E PROFESSOR ADJUNTO DA
FACULDADE DE DIREITO DA UFRGS. PROFESSOR DO PROGRAMA DE PS-GRADUAO EM
ESTUDOS ESTRATGICOS INTERNACIONAIS DA FACULDADE DE CINCIAS ECONMICAS DA
UFRGS. PS-DOUTOR PELA ORGANIzAO MUNDIAL DO COMRCIO (OMC). PH.D. EM
DIREITO INTERNACIONAL PELA UNIVERSITy OF TExAS AT AUSTIN (2007).

Pesquisa - Empirica - em - Direito As REGRAS de INFERENCIA

Enviado por

Direitos autorais:

Formatos disponíveis

Pesquisa - Empirica - em - Direito As REGRAS de INFERENCIA

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Pesquisa - Empirica - em - Direito As REGRAS de INFERENCIA

Enviado por

Direitos autorais:

Formatos disponíveis

PESQUISA EMPRICA

Fbio Morosini (coordenador)

Capa, projeto grfico e editorao

Dados Internacionais de Catalogao na Publicao (CIP)

1. Direito - Metodologia 2. Direito - Pesquisa 3. Pesquisa - Metodologia I. King, Gary.

ndices para catlogo sistemtico:

i. A extenso dos problemAs

ii. cArActersticAs comuns dA pesquisA empricA 23

iii. elAborAo de umA pesquisA empricA:

iv. A perguntA de pesquisA 71

A. contribuir pArA A literAturA AcAdmicA 72

b. reAlizAr pesquisAs importAntes pArA o mundo 76

v. teoriAs e suAs implicAes observveis 79

A. invoque teoriAs que produzAm implicAes observveis 82

b. extrAiA tAntAs implicAes observveis quAnto possvel 86

c. delineie como As implicAes podem ser observAdAs 90

vi. controle de hipteses rivAis 95

VIII. seleo de oBserVaes 127

a. IdentIfIcar a populao-alVo 127

B. coletar tantos dados quanto possVel 131

c. regIstrar o processo pelo qual os dados VM a ser oBserVados 133

d. VerIfIcar o processo pelo qual as oBserVaes potencIaIs so geradas 136

e. eM estudos aMplos, estaBelecer uMa aMostra de proBaBIlIdade aleatrIa 138

f. eM estudos de aMostrageM pequena, eVItar VIs

IX. sugestes conclusIVas: DesenvolvenDo

a. oferecer cursos eM pesquIsa eMprIca para estudantes de faculdades de dIreIto 149

B. auMentar oportunIdades para a realIzao de pesquIsa eMprIca

c. IncentIVar eMpregadores a contratar estudantes coM prtIca eMprIca 163

d. Mudar para uM Modelo alternatIVo de adMInIstrao de perIdIcos acadMIcos 164

e. desenVolVer padres para o arquIVaMento de dados 172

soBre os autores 253

soBre o tradutor 253

Lee Epstein, professora de cincia poltica e direito na University

original forem claramente identificados. Neste sentido, a metodo-

uma pergunta de pesquisa, a formulao de teorias/hipteses de pes-

A traduo desta obra para o portugus s foi possvel graas ao

Assim como a pesquisa em cincias sociais e naturais comporta uma

pesquisas auxiliares arquivsticas ou de coletas de dados primrios.

decises de tribunais ou a lgica usada nelas. Assim a investigao

altamente restritivas acerca das definies do que constitui pesquisa

principalmente para outros acadmicos, nossas preocupaes sobre o

Tentamos realizar isso adaptando as regras de inferncia existentes nas

Tambm esperamos que as regras que oferecemos provem-se teis

analisar, usar e, onde necessrio, aprender a estender as diretrizes que

Se todos os pesquisadores que realizam pesquisa emprica na rea

inferncia. Assim, os leitores devem entender que a maioria dos tra-

Legal Scholarship Network) que foram escritos por juristas e foram

do conhecimento) que j devem ter resultado deles ou que disso

Praticamente todas as pesquisas empricas de qualidade compar-

Independentemente do tipo de dado empregado, toda a pesquisa

emprica procura atingir um dentre trs fins, ou mais tipicamente

O mundo jurdico produz uma enorme quantidade de informaes

todos os dias. Centenas de aes judiciais so pleiteadas ou decidi-

e por outros rgos formuladores de polticas. E os membros da

pesquisadores no coleta dados apenas por coletar, mas possui

A Suprema Corte concedeu a reviso?

O governo o peticionrio? SIm 26 0 26

TOTAL 111 1078 1189

O relevante que dois fatores, o agir da Suprema Corte e o