XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

A avaliao da confiabilidade de questionrios:

uma anlise utilizando o coeficiente alfa de Cronbach
Andr Lus Policani Freitas (UENF) [email protected]

Sidilene Gonalves Rodrigues (UENF) [email protected]

Resumo
Em pesquisas de opinio, o questionrio um dos instrumentos de captao de informaes
mais utilizados por sua praticidade e pelo baixo custo de aplicao. Entretanto, para
assegurar que um determinado questionrio eficaz e preciso, duas caractersticas de
medio devem ser consideradas no seu desenvolvimento: a validade e a confiabilidade. Com
o intuito de contribuir para o tratamento deste problema, este artigo concentra-se na
investigao da confiabilidade de questionrios atravs do emprego de um dos
procedimentos estatsticos mais utilizados para este fim o coeficiente alfa de Cronbach.
Atravs da realizao de um experimento, busca-se avaliar a confiabilidade de um
questionrio destinado ao processo de auto-avaliao de Instituies de Ensino Superior.
Palavras-chave: Confiabilidade; Cronbach; Questionrios.

1. Introduo
Em toda pesquisa de opinio, a captao de informaes dos avaliadores consiste em uma das
etapas de maior importncia no processo de avaliao. Esta etapa deve ser realizada atravs
do emprego de um instrumento de medio eficaz e preciso, pois caso contrrio, as
informaes obtidas podem no ser representativas da percepo dos avaliadores. Dentre os
instrumentos de pesquisa tradicionalmente utilizados, destaca-se o formulrio de pesquisa
(tradicionalmente denominado questionrio) por sua praticidade de aplicao (pode ser
entregue pessoalmente ao avaliador, deixado ao alcance dos mesmos, enviados pelo correioe
por e-mail, etc.) e pelo baixo custo. Entretanto, eventualmente pode ocorrer um baixo ndice
de retorno de questionrios respondidos e um alto ndice de itens no repsondidos.
Existem duas caractersticas de medio que devem ser consideradas no desenvolvimento de
questionrios: a validade e a confiabilidade. De acordo com Hayes (1995), a validade referese ao grau com que a escala utilizada no questionrio (e conseqentemente este prprio)
realmente mede o objeto para o qual ela foi criada para medir, e a confiabilidade definida
como o grau com que as medies esto isentas de erros aleatrios.
Segundo Trochim (2003), a consistncia interna refere-se ao grau com que os itens do
questionrio esto correlacionados entre si e com o resultado geral da pesquisa, o que
representa uma mensurao da confiabilidade do mesmo. Particularmente, este artigo
concentra-se na investigao da confiabilidade de questionrios atravs do emprego de um
dos procedimentos estatsticos mais utilizados para mensurao da consistncia interna o
coeficiente alfa de Cronbach.
Sucintamente, este artigo est estruturado da seguinte forma: a seo 2 apresenta uma breve
descrio da Teoria Clssica da Medio e a sua relao com a mensurao da confiabilidade;
a seo 3 descreve o procedimento para o clculo do coeficiente alfa de Cronbach; a seo 4
apresenta um experimento destinado a avaliar a confiabilidade de um questionrio utilizado
no processo de auto-avaliao institucional; e finalmente a seo 5 apresenta as concluses.

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

2. A Teoria Clssica da Medio

Esta teoria considera que em toda medio o valor observado X composto aditivamente por
duas variveis: o valor verdadeiro (T) e erro aleatrio de medio (E). Segundo Hayes (1995),
a varincia de cada conjunto de variveis est associada de forma semelhante s prprias
variveis, ou seja:
Var(X) = Var(T) + Var(E)

(1)

Assim, medida que a varincia associada a erros aleatrios diminui, a varincia dos valores
observados se aproxima da varincia dos valores verdadeiros, o que representa maior
confiabilidade nas medies (e conseqentemente maior confiabilidade atribuda ao
instrumento de coleta de dados utilizado). Conceitualmente, a confiabilidade reflete o quanto
os valores observados esto correlacionados aos valores verdadeiros.
Entretanto, como em muitos problemas reais os valores verdadeiros das variveis no so
conhecidos, impossvel determinar a confiabilidade diretamente, atravs do clculo da
correlao entre os valores observados e verdadeiros. Segundo Trochim (2003) existem
quatro procedimentos para estimar a confiabilidade de medies:
a) confiabilidade entre avaliadores, que utilizada para obter o grau com que diferentes
avaliadores fornecem estimativas consistentes sobre o mesmo fenmeno;
b) confiabilidade de teste/reteste, utilizada para estimar a consistncia de uma medida em
dois momentos distintos;
c) confiabilidade paralela, utilizada para determinar a consistncia dos resultados de duas
pesquisas distintas construdos com o mesmo objetivo; e
d) confiabilidade de consistncia interna, utilizada para determinar a consistncia dos
resultados da avaliao de itens de uma pesquisa.
Neste artigo, dedica-se estimativa da confiabilidade de consistncia interna de questionrios
e tambm estimativa da confiabilidade entre avaliadores, a partir da anlise do coeficiente
Alfa de Cronbach, que ser brevemente descrito a seguir.
3. O coeficiente Alfa de Cronbach
Apresentado por Lee J. Cronbach em 1951, o coeficiente de Cronbach (assim como
cientificamente conhecido) uma das estimativas da confiabilidade de um questionrio que
tenha sido aplicado em uma pesquisa. Dado que todos os itens de um questionrio utilizam a
mesma escala de medio, o coeficiente , com [0,1], calculado a partir da varincia
dos itens individuais e das covarincias entre os itens atravs da seguinte equao:
k

S i2
k
=
1 i =1 2
St
k 1

(2)

onde: k o nmero de itens do questionrio, S i2 a varincia do item i e S t2 a varincia

total do questionrio.

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

Assim, o coeficiente pode ser calculado em duas etapas: primeiramente necessrio

calcular a varincia de cada coluna i, denotada por S i2 e, em seguida somar todas estas
varincias. Na segunda etapa deve-se obter a soma total dos julgamentos de cada avaliador
(elementos da ltima coluna da tabela 1) e, em seguida calcular a varincia destas somas.
Itens
Avaliadores
1
2

1
X11
X21

2
X12
X22

Xp1

Xp2

Xn2
Xn1
n
Fonte: Cronbach, L J. (2004).

K
K
K
M
K
M
K

i
X1i
X2i

Xpi

Xni

K
K
K
M
K
M
K

k
X1k
X2k

Xpk

Xnk

Soma ou Total
X1
X2

Xp

Xn

Tabela 1 - Matriz de julgamentos dos n avaliadores luz dos k itens do questionrio

Considerando que a varincia total pode ser reestruturada como sendo a soma da varincia
dos itens adicionada a duas vezes a covarincia destes itens, a equao 2 pode ser reescrita em
uma forma alternativa que, segundo Peter (1979), facilita os clculos computacionais:

k
2

i
,
k
i =1
=
1 k
k
k

k 1
i2 + 2 ij

> j
1
i =1
23 1i42
43

A
B

(3)

Na equao 3, o termo A representa a soma das varincias dos itens (a soma dos elementos da
diagonal principal da matriz de covarincia). O termo B representa duas vezes a soma da
covarincia dos elementos, ou seja, duas vezes a soma dos elementos no pertencentes
diagonal principal da matriz de covarincia. Para uma melhor compreenso, a tabela 2 ilustra
os elementos da matriz de covarincia.
Matriz de Covarincia
Itens
Itens
1
2
3
4
5
6
Cov12
Cov13
Cov14
Cov15
Cov16
1
Cov11
Cov23
Cov24
Cov25
Cov26
2
Cov22
Cov34
Cov35
Cov36
3
Cov33
Cov45
Cov46
4
Cov44
Cov56
5
Cov55
6
Cov66
Tabela 2 - Matriz de Covarincia para um questionrio hipottico de seis itens

O coeficiente obtido atravs da anlise da covarincia dos itens denominado alfa

padronizado (P). Entretanto, caso todos os avaliadores avaliem determinado item com o
mesmo valor, a varincia ser nula e este coeficiente no poder ser obtido. Alternativamente,
o alfa pode ser obtido atravs da anlise da correlao () dos itens, sendo denominado alfa
bruto (B). Este ltimo coeficiente pode ser calculado atravs da utilizao dos elementos da
Matriz de Correlao (tabela 3), similarmente ao uso da Matriz de Covarincia.

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

Itens
Matriz de Correlao ()
Itens
1
2
3
4
5
1
12
13
14
15
11
2
23
24
25
22
3
34
35
33
4
45
44
5
55
6
Tabela 3 - Matriz de Correlao para um questionrio hipottico de seis itens

16
26
36
46
56
66

importante ressaltar que em pesquisas muitas vezes os avaliadores no desejam, no sabem

ou simplesmente esquecem de responder a alguns itens do questionrio. Nestas ocasies
alguns procedimentos so usualmente utilizados:
a) substituir os julgamentos em branco pelo valor zero: particularmente, em julgamentos
subjetivos, o valor zero no aparenta expressar o real significado do valor de um item no
avaliado;
b) ignorar todos os demais julgamentos do avaliador, eliminando-os da anlise: neste
caso possvel que se esteja eliminando julgamentos importantes e conscientes de tal
avaliador em relao aos demais itens. Adicionalmente importante ressaltar que o
nmero de avaliadores ser reduzido, o que pode comprometer ainda mais os resultados
da anlise;
c) substituir os julgamentos em branco por um valor aleatrio da escala de julgamento:
este um dos procedimentos mais utilizados, sendo incluisive incorporado em pacotes
estatticos profissionais, tais como SAS, Statistica e Minitab.
d) substituir os julgamentos em branco pela mdia dos valores dos julgamentos do
item: este possivelmente seja o procedimento mais utilizado, sendo tambm incorporado
pelos pacotes estatticos profissionais. Particularmente, consideramos que este seja o
procedimento mais adequado para o tratamento de situaes em que existe a ausncia de
valores sendo, portanto, utilizado no experimento descrito neste artigo.
Finalmente relevante ressaltar que, apesar da literatura cientfica a respeito das aplicaes
do coeficente nas diversas reas do conhecimento ser ampla e abrangente, ainda no existe
um consenso entre os pesquisadores acerca da interpretao da confiabilidade de um
questionrio obtida a partir do valor deste coeficente (Em geral, considera-se satisfatrio um
instrumento de pesquisa que obtenha 0,70).
Com o intuito de contribuir para o tratamento desta questo, sugere-se a classificao da
confiabilidade a partir do clculo do coeficiente de Cronbach de acordo com os limites
apresentados na tabela 4:
Confiabilidade
Muito Baixa
Baixa
Moderada
Alta
0,30
0,30 < 0,60
0,60 < 0,75
0,75 < 0,90
Valor de
Tabela 4 - Classificao da confiabilidade a partir do coeficiente de Cronbach

Muito Alta
> 0,90

De acordo com a tabela acima, possvel considerar como satisfatrios os questionrios que
apresentem valor de > 0,60. Entretanto, valores superiores de alfa podero indicar Graus de
Confiabilidade ainda melhores e a deciso a respeito do valor mnimo de confiabilidade de
um questionrio fica a critrio do pesquisador.

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

4. Fatores que podem influenciar a confiabilidade de questionrios

Segundo a literatura cientfica existente, diversos fatores que podem influenciar na
confiabilidade de questionrios(tanto positivamente quanto negativamente), dentre os quais
citam-se:
a) o nmero de itens: a confiabilidade do questionrio pode ser aumentada quando mais
itens so includos, o que seria equivalente ao conceito de diminuir o erro de amostragem
atravs do aumento do tamanho da amostra (Hayes,1995). Entretanto, os itens adicionais
devem ser representativos do mesmo conceito que est sendo medido e o resultado da
avaliao de um item deve no interferir na avaliao do item subsequente. Alm disso, o
nmero de itens no deve ser excessivo, pois este fato pode ocasionar respostas
impulsivas e relapsas, alm de poder aumentar a incidncia de itens sem resposta, devido
fadiga/desinteresse do avaliador.
b) o tempo de aplicao do questionrio: a aplicao do questionrio segundo um perodo
pr-determinado tambm pode contribuir para a ocorrncia de respostas impulsivas e
relapsas, alm de aumentar a incidncia de itens sem avaliao. Segundo Cronbach
(2004), quando o questionrio muito grande, o coeficiente alfa no deve ser utilizado.
Por exemplo, em um teste aplicado por um tempo limitado, um aprecivel nmero de
estudantes parou de responder antes de chegar aos ltimos itens.
c) a amostra de avaliadores: uma amostra de pessoas semelhantes pode resultar em um
questionrio de baixa confiabilidade. Por exemplo, se na avaliao de um item todas as
pessoas da amostra assinalam um valor verdadeiro 5 (considerando uma escala de valores
absolutos que varia de 1 a 5), no h varincia neste item e, por conseguinte, a
confiabilidade calculada ter valor zero. Assim, segundo Hayes (1995), se desejamos
obter medidas com alta confiabilidade, precisamos basear essas medidas em uma amostra
de pessoas que sejam heterogneas no que diz respeito ao conceito que est sendo
medido.
Entretanto, importante destacar que as pessoas geralmente possuem percepes e
interpretaes distintas sobre os itens em avaliao. Desta forma, considerando uma amostra
significativa de avaliadores, muito improvvel que haja uma concordncia absoluta a
respeito do valor de determinado item. Porm, quando os avaliadores so semelhantes em sua
natureza e formao profissional (experts), possivelmente haver menor variabilidade nos
julgamentos, o que pode conduzir a menores valores de confiabilidade do questionrio.
5 Experimento: anlise da confiabilidade do questionrio usado na auto-avaliao de IES
Desde o incio dos anos 90 o sistema brasileiro de educao superior encontra-se em um
processo de expanso acelerada, caracterizado pelo crescimento do nmero de Instituies de
Ensino Superior (IES) e de cursos e, consequentemente, na ampliao do nmero de vagas
oferecidas e do nmero de professores e funcionrios destas instituies. Neste cenrio,
fundamental que exista um sistema de avaliao das Instituies de Ensino Superior (IES),
capaz de monitorar as informaes relativas a estas instituies e assegurar que a qualidade do
ensino fornecido por estas instituies atenda aos padres recomendados.
No Brasil, o Instituto Nacional de Pesquisas Educacionais (INEP) gerencia o Sistema
Integrado de Informaes da Educao Superior (SIEdSup), que responsvel pela
disseminao dos resultados do censo escolar, censo do ensino superior, censo do professor,
avaliao da educao bsica, exame nacional de cursos, alm de informaes sobre o gasto e
financiamento da educao, perfil dos egressos do ensino mdio e caractersticas
socioeconmicas e culturais dos graduandos de nvel superior (CASTRO, 1998).

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

No mbito da avaliao educao superior, o sistema de informaes educacionais gerenciado

pelo INEP atualmente possui dois componentes: a Avaliao Institucional (INEP, 2002) e o
SINAES (Sistema Nacional de Avaliao da Educao Superior, criado pela Lei n 10.861,
de 14 de abril de 2004). Vale destacar que tais componentes possuem uma proposta em
comum: a formalizao do processo de auto-avaliao institucional.
Neste contexto, Freitas e Rodrigues (2003) e Freitas (2004) propuseram um procedimento
para estruturao do processo de auto-avaliao institucional (sob o ponto de vista do corpo
docente e do corpo discente) com o intuito de contribuir para a realizao de um processo de
avaliao mais preciso, confivel e que permita, dentre outros aspectos: a identificao de
itens luz dos quais a IES apresenta desempenho no satisfatrio (e que se caracterizam como
oportunidades de melhorias para a qualidade do ensino), assim como a interpretao e
intercomparao dos desempenhos obtidos pelos diversos cursos de Graduao da IES.
Fundamentado no procedimento supracitado e considerando as Dimenses e Aspectos
sugeridos pelo modelo de Avaliao Institucional elaborado pelo INEP (2002), foi
desenvolvido um modelo de questionrio composto de 53 itens a serem avaliados pelo corpo
docente das Instituies de Ensino Superior. O anexo A.1 deste artigo sumariza os itens que
compem o questionrio.
5.1 Objetivo e amostra
Em termos gerais, o experimento realizado neste trabalho objetiva empregar o coeficiente alfa
de Cronbach para analisar a confiabilidade do questionrio enviado a uma amostra do corpo
docente da Universidade Estadual do Norte Fluminense (UENF), amostra esta composta por
docentes atuantes nas seguintes reas do conhecimento: Engenharia de Produo (P1 a P10),
Engenharia Civil (P11 a P22), Engenharia de Materiais (P23 a P28) e Matemtica (P29 a P36).
Neste questionrio, cada docente deveria avaliar ao Grau de Importncia (GI) de cada item,
assim como avaliar o Grau de Desempenho (GD) da Universidade luz dos itens. Dos 50
formulrios enviados, 36 foram espontaneamente respondidos e devolvidos. Os anexos A.2 e
A.3 deste trabalho apresentam, respectivamente, os valores de GI e GD emitidos pelos
professores. Ainda nestes anexos, o smbolo * significa que determinado item no foi
avaliado pelo docente. Conforme reportado anteriormente, em tais casos, a estes itens foram
atribudos os valores mdios dos julgamentos obtidos nos referidos itens.
5.2 Escalas de avaliao
Na etapa de avaliao do Grau de Importncia dos itens do questionrio e tambm na
avaliao do Grau de Desempenho da IES luz destes itens, foi empregada uma escala tipo
Likert. Segundo Mattar (1996) este tipo de escala se destaca por sua simplicidade de emprego
em medies ordinais e tambm por associar valores nominais (conceitos) a valores
numricos. Neste experimento, apesar do questionrio utilizado no disponibilizar os valores
numricos, os conceitos relativos aos Graus de Importncia e aos Graus de Desempenho
foram associados decrescentemente a valores inteiros de 5 a 1 (as tabelas 5 e 6 ilustram as
escalas empregadas).
Muito Importante Importante Mais ou menos Importante Pouco Importante Nada Importante
MI
I
M
PI
NI
Tabela 5 - Escala para avaliao do Grau de Importncia dos itens do questionrio
Muito Bom
Bom
Regular
Fraco
Muito Fraco
MB
B
R
F
MF
Tabela 6 - Escala para avaliao do Grau de Desempenho da Instituio de Ensino Superior luz de cada item

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

5.3 Anlise da confiabilidade do questionrio utilizado no experimento

Os valores dos Graus de Importncia de cada item do questionrio e tambm dos Graus de
Desempenho da instituio luz de cada um dos referidos itens, atribudos por cada docente,
foram utilizados para calcular os coeficientes B e P. Estes coeficientes foram empregados
para analisar a confiabilidade de consistncia interna e a confiabilidade entre avaliadores,
anlises estas que sero pormenorizadas nas subsees seguintes.
5.3.1 Anlise da confiabilidade de consistncia interna
Nesta seo apresentam-se os resultados da anlise da consistncia interna dos itens
pertencentes a cada uma das dimenses empregadas no processo de auto-avaliao
institucional, conforme apresentado na tabela 7. Como o questionrio completo composto
por 53 itens, cada dimenso foi analisada em particular.
Considerando os julgamentos dos Graus de Desempenho da IES, os valores de alfa revelam
que a confiabilidade do questionrio foi Alta, Moderada e Muito Alta, respectivamente em
termos das dimenses Organizao Institucional, Corpo Discente e Instalaes. Por
outro lado, segundo os julgamentos dos Graus de Importncia dos itens, o questionrio
apresentou confiabilidade Moderada, Alta e Muito Alta luz das respectivas dimenses.
Nesta anlise importante ressaltar que no possvel afirmar que a dimenso Instalaes
tem maior confiabilidade do que a dimenso Organizao Institucional. Ou seja: no
possvel comparar o valor de alfa entre as dimenses analisadas, visto que cada dimenso
possui uma quantidade de itens distinta (conforme reportado anteriormente, este um dos
fatores que influenciam a confiabilidade do questionrio).
Coef. Alfa de Cronbach
(Importncia dos itens)

Coef. Alfa de Cronbach

(Desempenho da IES)

Dimenses
B
P
B
P
Organizao Institucional (I1 a I14)
0,6315
0,6705
0,8516
0,8556
Corpo Discente (I15 a I 23)
0,7936
0,7983
0,7433
0,7495
Instalaes (I24 a I53)
0,9543
0,9543
0,9232
0,9242
Tabela 7 - Anlise da confiabilidade de consistncia interna dos itens do questionrio

Ainda segundo a tabela 7, os valores de alfa para a dimenso Organizao Institucional

motivaram a realizao de uma anlise pormenorizada, considerando os julgamentos dos
docentes de cada rea do conhecimento luz de cada dimenso.
5.3.2 Anlise da confiabilidade entre avaliadores
Nesta seo os resultados da avaliao de todos os itens do questionrio foram agrupados
segundo a rea de atuao dos docentes. Sucintamente, esta anlise se prope a verificar a
confiabilidade de cada dimenso do questionrio a partir dos julgamentos de cada grupo de
docentes. Nas tabelas 8 e 9 as lacunas com o smbolo (xxx) denotam que no foi possvel
calcular a confiabilidade a partir dos julgamentos de certos grupos de professores (Este fato
ocorre quando um ou mais itens apresentam varincia nula e/ou pode ter sido influenciado
pela pequeno nmero de avaliadores nas respectivas reas do conhecimento).
Os resultados apresentados na tabela 8 mostram que os julgamentos dos docentes de
Engenharia de Produo e de Engenharia de Materiais so os que influenciam no valor de alfa
segundo os Graus de Importncia dos itens, respectivamente, nas dimenses Organizao
Institucional e Corpo Discente. Tal resultado revela que, apesar da confiabilidade ser
Moderada/Alta ao considerar o julgamento dos avaliadores em conjunto, podem existir
comportamentos distintos entre os subgrupos que compem a amostra de avaliadores.

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

Alm disso, os resultados da tabela 8 reforam a afirmativa de que um maior nmero de itens
de uma dimenso contribui para valores de alfa maiores. Observando os resultados dos
subgrupos de docentes e considerando que estes so relativamente pequenos, neste
experimento constata-se que o valor de alfa mais influenciado pelo nmero de itens de cada
dimenso do que pelo tamanho de cada subgrupo de docentes.
Dimenso Org. Institucional
(GI)
(GD)
reas
Eng. de Produo
Eng. Civil
Eng. de Materiais
Matemtica
Todos

0,5279
0,7702
0,0684
0,8559
0,6315

Dimenso Corpo Discente

(GI)
(GD)

Dimenso Instalaes
(GI)
(GD)

0,5534 0,6719 0,7344 0,5409 0,5699 0,6514 0,6015 0,9711

0,8284 0,8492 0,8279 0,9045 0,9105 0,6492 0,6673 0,9414
0,4068 0,8679 0,8776 0,5498 0,6173 0,8392 0,8107 0,9532
xxxx 0,8633 0,8447 0,7666 0,7742 0,8743 0,9004 0,9218
0,6705 0,8516 0,8556 0,7936 0,7983 0,7596 0,7763 0,9543
Tabela 8 - Anlise de confiabilidade entre os avaliadores

0,9706
0,9481
xxxx
0,9369
0,9543

0,9496
0,8996
0,9066
0,8754
0,9056

0,9557
0,9024
0,9110
0,8635
0,9052

Todas as Dimenses
(GI)

(GD)
reas do conhecimento
B
P
B
P
Eng. de Produo (P1 a P10)
0,9452
0,9386
0,9293
0,9209
Eng. Civil (P11 a P22)
0,9330
0,9449
0,8753
0,8662
Eng. de Materiais (P23 a P28)
0,9013
xxxx
0,9090
0,9029
Matemtica (P29 a P36)
0,9449
xxxx
0,8851
0,8627
Tabela 9 - Anlise de confiabilidade entre os avaliadores (Todas as Dimenses)

Finalmente, a tabela 9 ilustra como os valores de alfa podem ser influenciados quando todos
os itens do questionrio so considerados em conjunto. Devido ao elevado nmero de itens
(53 no total), a confiabilidade do questionrio foi considerada Alta/Muito Alta segundo os
subgrupos de docentes. Mais precisamente, esta anlise revela que a maior quantidade de itens
da dimenso Instalaes influenciou muito no valor de alfa, aumentando-o
consideravelmente.
6. Consideraes finais
As pesquisas de opinio desempenham um importante papel no gerenciamento de diversas
reas do conhecimento. A captao de informaes de clientes, funcionrios, consumidores de
empresas concorrentes, etc. pode contribuir significativamente para o planejamento de aes e
estratgias que visam a vantagem competitiva.
Dentre os instrumentos de pesquisa mais utilizados, o questionrio merece inegvel destaque
por diversos motivos, dentre os quais citam-se: a praticidade de aplicao, influncia restrita
da opinio da pessoa que o aplica, baixo custo, etc. Entretanto, ateno especial deve ser
tomada com a quantidade de itens que so introduzidos e tambm em relao ao tamanho e a
composio dos elementos da amostra. A incidncia de itens no respondidos, quando seno o
baixo retorno de questionrios preenchidos (principalmente quando o preenchimento
voluntrio e a entrega opcional), so aspectos que tambm devem ser observados.
Entretanto, este artigo buscou enfocar outro importante aspecto relacionado ao
desenvolvimento e ao uso de questionrios: a confiabilidade que estes oferecem na avaliao
do objeto para o qual este foi elaborado. Com intuito de inserir um carter cientfico ao
tratamento deste problema, este artigo props a utilizao do coeficiente de Cronbach um
dos procedimentos estatsticos mais utilizados cientificamente para este fim.

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

Atravs de um experimento, este artigo buscou avaliar a confiabilidade de um questionrio

empregado no processo de auto-avaliao de Instituies de Ensino Superior. Fundamentado
em uma amostra de avaliadores constituda por docentes de uma Universidade pblica, foi
possvel verificar que:
a) considerando a amostra completa de avaliadores, o questionrio apresenta confiabilidade
distinta, segundo cada uma das trs dimenses. Neste caso, o clculo de uma
confiabilidade global do questionrio (envolvendo todos os itens) no se justifica, visto
que o valor de tal confiabilidade seria maior do que a confiabilidade de uma ou mais
dimenses. Alm disso, vale ressaltar que no possvel afirmar que uma dimenso tem
maior/menor confiabilidade que outra, pois estas possuem nmero de itens diferentes;
b) a dimenso Organizao Institucional apresentou uma confiabilidade Moderada em
relao importncia dos itens. Este fato motivou a anlise da confiabilidade entre os
subgrupos de avaliadores, a partir da qual constatou-se que existem subgrupos com
comportamentos diferenciados;
c) a dimenso Instalaes, possivelmente por ser constituda por muitos itens, teve
confiabilidade Muito Alta, influenciando inclusive o valor de alfa calculado a partir de dos
julgamentos de todos os itens;
Finalmente, vale a pena ressaltar que o procedimento estatstico utilizado apenas um dentre
os procedimentos existentes para anlise de confiabilidade de questionrios. Neste contexto,
espera-se que este artigo contribua para a continuidade das pesquisas, realizao de novos
experimentos, assim como fomentar questionamentos e discusses no mbito da verificao
da confiabilidade de questionrios.
7. Referncias
CASTRO, M. H. G., Avaliao do sistema educacional brasileiro: tendncias e perspectivas. Braslia: Instituto
Nacional de Estudos e Pesquisas Educacionais. 61p. 1998.
CRONBACH, L J., My current thoughts on coefficient alpha and sucessors procedures, Educational and
Psychologycal Measurement, vol. 64, n.o 3, 391-418. 2004.
FREITAS, A. L. P., A auto-avaliao de instituies de ensino superior: uma importante contribuio para a
gesto educacional,Revista Ibero-americana de Educacin, 15p. 2004.
FREITAS, A. L. P., RODRIGUES, S. G. A Estruturao do Processo de Auto-avaliao de IES: Uma
Contribuio Para a Gesto Educacional, Anais do XXIII ENEGEP Encontro Nacional de Engenharia de
Produo, Ouro Preto/MG/Brasil. 2003.
HAYES, B. E., Medindo a satisfao do cliente, Rio de Janeiro: Editora Qualitymark, 228p. 1995.
INEP, Manual de Avaliao Institucional Centros Universitrios. Verso preliminar. 2002.
MATTAR, F. N. Pesquisa de Marketing. So Paulo: Editora Atlas. 1996.
PETER, J. P., Reliability: a review of psychometric basics and recent marketing practices, Journal of
Marketing Research, vol. 16, 6-17. 1999.
TROCHIM, W. M. The Research Methods Knowledge Base, 2nd Edition. Internet WWW page, at URL:
<http://trochim.human.cornell.edu/kb/index.htm> (version current as of August, 2003).

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

Anexo A.1: Descrio dos itens que compem o questionrio

Itens

Existncia de boa integrao entre a gesto administrativa, rgos colegiados e comunidade acadmica nos processos
decisrios ou outras atividades.
Existncia de estrutura organizada que atenda ao interesse de alunos e docentes
Participao das coordenaes na elaborao/implementao/reviso e atualizao dos projetos pedaggicos dos
cursos.
Participao dos docentes na elaborao, implementao, reviso e atualizao dos projetos pedaggicos dos cursos.
Existncia de acompanhamento pedaggico para os alunos.
Existncia de avaliao do desempenho dos professores
Realizao de atividades de pesquisa articuladas com o ensino.
Realizao de atividades de extenso (projetos) articuladas com o ensino.

Existncia de parcerias com instituies, empresas ou outras universidades.

1
2
3
4
5
6
7

10 Existncia de atividades de ensino de ps-graduao.

11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

Participao da comunidade acadmica no processo de auto-avaliao atravs de elaborao, implementao e

discusso dos resultados.
Realizao de aes acadmico-administrativas em funo da auto-avaliao.
Divulgao dos resultados da auto-avaliao universitria.
Existncia de rgo ou comisso permanente de auto-avaliao institucional
Participao dos alunos nas aulas
Assimilao total do contedo das disciplinas
Desempenho dos alunos nas avaliaes e trabalhos em grupos
Resultados de trabalhos e conceitos
Relacionamento do entre alunos
Relacionamento entre aluno professor
Freqncia dos alunos nas aulas
Freqncia dos alunos em palestras, seminrios e congressos.
Freqncia em aulas prticas e estgios
Existncia de salas de aulas adequadas ao n.o de usurios, acstica, iluminao, ventilao, mobilirio e limpeza.
Existncia de auditrio / sala de conferncia adequados ao uso.
Existncia de instalaes sanitrias adequadas ao uso e limpas.
Existncia de condies de acesso para portadores de necessidades especiais
Existncia de infra-estrutura de segurana pessoal, patrimonial e de acidentes
Existncia de acesso a equipamentos de informtica pelos docentes.
Existncia de acesso de equipamentos de informtica pelos alunos.
Existncia de recurso audiovisual e multimdia.
Existncia de plano de expanso e de atualizao de equipamentos.
Existncia de rede de comunicao (Internet).
Existncia de manuteno permanente (preventiva e corretiva) das instalaes fsicas e equipamentos.
Existncia de instalaes, espao e moblia adequados ao estudo em grupo.
Existncia de instalaes, espao e moblia adequados ao estudo individual.
Existncia de livros suficientes e adequados proposta dos cursos.
Existncia de peridicos variados e adequados proposta dos cursos.
Existncia de informatizao (do acervo, consulta, e controle dos servios).
Existncia de base de dados atualizados, informaes digitalizadas e teses catalogadas.
Existncia de jornais e revistas e adequados a proposta pedaggica do curso
Horrio de funcionamento condizente com os turnos do curso.
Existncia de qualidade no servio de consulta e emprstimo do acervo.
Existncia de tcnicos-administrativos qualificados e na quantidade certa.
Existncia de apoio na elaborao de trabalhos acadmicos (ficha catalogrfica e normalizao bibliogrfica)
Existncia de salas de laboratrios e instalaes especiais.
Existncia de iluminao, ventilao e limpeza adequadas.
Realizao de poltica de aquisio e atualizao dos equipamentos
Existncia de equipamentos e mobilirio adequados atendem aos cursos
Existncia de laboratrios e instalaes que atendam s necessidades de atividades prticas de ensino e pesquisa.
Existncia de normas e equipamentos de segurana.
Existncia de pessoal tcnico qualificado no laboratrio.
Existncia de servio de xerox com qualidade em servio e atendimento.

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

Anexo 2: Graus de Importncia dos itens do questionrio.

P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20 P21 P22 P23 P24 P25 P26 P27 P28 P29 P30 P31 P32 P33 P34 P35 P36
I1 4 4 4 5 4 4 4 5 4 5 5 5 5 4 4 5 5 5 5 5 4 4 4 4 4 5 5 5 4 5 2 5 5 5 5 4
I2 5 5 4 4 4 4 4 4 4 5 5 5 4 4 4 5 5 4 4 5 5 3 4 3 4 4 5 5 5 5 5 5 5 5 5 4
I3 5 4 4 5 5 5 5 5 5 5 5 5 5 4 5 5 5 5 5 5 4 4 5 4 5 5 5 5 5 4 5 4 4 5 4 3
I4 4 5 4 5 5 5 4 5 5 5 5 5 5 4 5 5 5 5 5 5 4 4 5 4 5 5 5 5 4 4 4 4 4 5 4 3
I5 5 4 3 5 5 5 5 5 4 3 4 5 4 3 3 5 4 4 5 5 4 4 4 4 4 4 5 4 4 4 1 2 5 4 4 4
I6 5 4 4 4 5 3 3 4 4 4 4 5 4 4 5 5 4 5 4 5 4 4 3 4 3 4 5 4 4 4 4 5 4 4 5 4
I7 4 4 5 5 5 5 4 4 4 5 4 5 4 4 4 5 5 5 4 5 5 4 4 4 4 3 5 4 5 5 5 5 5 4 4 4
I8 4 5 4 4 5 5 4 4 4 3 4 1 4 4 4 5 4 5 5 5 4 4 2 3 4 3 4 4 4 3 4 5 * 4 4 4
I9 4 5 5 5 5 5 3 5 5 5 4 4 5 4 3 5 4 5 5 4 5 5 5 4 5 5 5 5 5 3 5 5 4 5 5 5
I10 4 4 5 5 5 5 3 5 3 4 4 5 5 4 4 4 4 5 4 5 * 5 5 4 * 4 5 5 5 4 5 5 5 4 4 4
I11 4 4 4 4 5 4 4 4 4 5 4 5 5 4 4 5 5 4 4 5 * 4 4 4 4 4 5 4 4 4 4 5 4 4 4 5
I12 5 4 4 4 5 4 4 5 2 5 4 5 4 4 4 * 5 4 4 5 * 3 4 4 4 4 4 4 4 5 4 5 3 4 4 5
I13 5 4 4 4 5 4 5 4 4 5 4 5 5 4 4 * 4 4 4 3 * 3 4 4 4 4 4 4 4 4 3 5 4 4 4 5
I14 5 4 5 4 3 5 3 4 5 4 4 5 4 4 2 * 4 4 3 4 * 1 4 4 4 3 4 4 4 4 5 5 * 4 4 *
I15 5 5 4 5 5 5 5 5 5 5 4 5 5 5 5 5 5 5 5 4 4 5 3 4 4 5 5 5 4 5 4 4 5 4 4 5
I16 5 4 4 4 5 5 3 5 4 5 4 5 5 4 4 5 5 5 4 3 4 5 4 4 4 4 5 5 4 5 5 5 4 4 4 5
I17 5 4 4 5 4 4 4 4 4 5 4 5 5 4 5 5 4 4 4 4 4 5 3 4 5 3 4 5 4 4 4 4 5 3 4 4
I18 5 5 3 5 4 4 3 4 4 5 4 5 4 4 5 * 4 5 4 3 4 4 4 4 4 3 4 4 4 4 4 4 4 3 4 4
I19 5 4 4 4 4 4 5 4 3 4 4 5 5 4 3 5 4 4 5 4 4 5 4 4 4 4 4 5 3 4 3 4 4 4 3 4
I20 5 4 5 4 4 5 5 5 4 4 4 5 5 4 4 5 4 5 5 4 4 5 4 4 4 4 4 5 4 4 2 4 4 4 3 4
I21 5 4 4 4 4 5 3 5 5 5 4 5 5 4 5 5 5 5 5 4 5 5 3 4 5 5 4 4 4 5 5 4 3 4 5 5
I22 4 4 4 4 4 5 4 4 4 5 4 5 5 4 4 4 4 4 5 3 4 5 3 4 4 4 5 4 4 4 4 4 4 4 5 5
I23 4 4 5 4 4 5 4 4 5 5 4 5 5 4 5 * 4 5 5 4 4 5 4 4 4 4 5 4 4 5 5 4 4 4 5 5
I24 5 5 4 5 3 5 4 5 5 5 4 5 5 4 4 5 5 5 4 2 5 5 5 4 4 5 5 5 5 5 4 5 4 4 5 4
I25 4 4 4 5 3 4 3 4 4 5 4 4 5 4 4 4 4 5 5 3 4 5 5 4 4 4 5 4 5 4 4 5 5 4 4 4
I26 5 5 4 5 3 3 4 4 4 5 5 5 5 4 4 4 5 4 4 4 4 5 5 4 4 4 5 5 5 4 4 5 3 3 4 4
I27 5 5 5 4 3 5 4 4 4 5 5 5 5 4 4 1 5 5 5 4 5 5 4 4 * 4 5 5 5 4 3 5 4 3 4 4
I28 5 4 4 5 3 5 4 4 4 5 5 5 5 4 4 4 5 5 5 4 5 5 5 4 4 3 5 5 5 4 4 5 4 4 5 5
I29 5 5 5 5 3 5 5 4 4 5 5 5 5 4 5 3 4 5 4 5 4 5 5 4 5 4 5 5 4 4 4 5 5 4 5 4
I30 5 5 5 5 2 5 5 4 4 4 5 5 5 4 4 3 5 5 5 4 4 5 2 4 4 4 5 5 5 5 4 5 4 4 5 4
I31 5 5 4 5 2 5 3 4 4 5 5 5 4 4 4 3 4 5 5 4 4 5 5 4 2 4 5 5 5 4 3 5 4 4 5 4
I32 5 5 4 5 2 5 3 5 4 5 4 5 5 4 4 3 4 5 5 4 * 5 5 4 4 4 5 5 4 4 4 5 4 4 5 *
I33 5 5 5 5 2 5 5 5 5 5 5 5 5 5 4 4 5 5 5 5 4 5 4 4 5 4 5 5 5 5 5 5 5 5 5 5
I34 5 5 4 5 4 5 4 5 4 5 5 5 5 5 4 4 4 5 4 4 5 5 * 4 4 4 4 5 4 4 5 5 5 * 5 4
I35 5 4 4 5 4 4 4 5 4 5 4 5 5 4 4 * 5 5 5 4 4 5 4 4 4 3 5 5 5 4 4 5 5 4 5 4
I36 5 5 4 5 3 4 4 5 4 5 4 5 5 4 4 * 5 5 4 4 4 4 4 4 5 3 5 5 5 4 5 5 4 4 5 4
I37 5 5 5 5 2 5 5 5 5 4 4 5 5 5 4 * 5 5 5 5 5 5 5 4 5 5 5 5 5 5 5 5 5 4 5 4
I38 5 5 4 5 2 5 4 5 5 5 5 5 5 4 3 * 4 5 5 4 5 5 4 4 4 5 5 5 5 4 5 5 5 4 5 4
I39 4 5 4 5 2 5 4 4 4 5 4 5 4 4 4 * 5 5 5 4 4 * 5 4 4 5 5 5 5 5 4 5 * 4 5 4
I40 5 5 4 5 2 4 3 4 4 4 4 5 5 3 4 * 5 * 5 4 4 5 4 4 4 4 5 5 5 5 3 5 5 4 5 4
I41 4 5 4 5 4 5 3 4 4 5 4 5 5 4 3 * 5 5 4 3 4 5 * 4 * 5 5 5 5 4 3 5 4 4 5 4
I42 5 * 4 5 2 5 5 4 3 5 4 5 4 4 4 * 5 4 3 4 4 4 5 4 5 4 4 5 4 4 4 5 4 4 5 *
I43 5 * 4 5 3 4 4 4 4 5 4 5 4 4 4 * 5 5 5 4 4 4 4 4 5 4 4 5 4 4 4 5 * 4 5 *
I44 4 * 4 5 1 5 4 4 4 4 4 5 * 4 4 * 5 4 4 4 * 4 5 4 4 4 4 5 4 4 4 5 4 4 4 *
I45 4 * 5 4 2 3 3 5 2 5 4 5 4 4 3 * 5 4 5 3 * 5 5 4 4 4 4 4 4 4 3 5 5 4 5 *
I46 4 4 5 5 2 5 5 5 4 5 5 5 5 4 4 5 5 5 5 4 4 5 5 4 5 5 5 5 4 5 5 5 4 4 5 4
I47 5 5 4 5 3 4 4 5 4 5 5 5 5 4 4 5 5 5 5 4 4 5 5 4 5 5 4 5 4 4 5 5 4 4 4 4
I48 4 4 4 5 3 5 4 4 4 5 5 5 5 3 4 5 5 5 5 3 * 5 5 4 5 4 4 5 4 4 4 5 5 * 5 4
I49 4 5 4 5 3 4 4 5 4 5 4 5 5 4 4 5 5 5 5 3 4 4 4 4 5 4 4 5 4 5 4 5 4 4 5 4
I50 5 5 5 5 5 5 4 5 5 5 5 5 5 * 4 5 5 5 5 5 5 5 5 4 5 5 4 5 5 5 5 5 5 5 5 4
I51 5 5 4 5 5 4 3 4 4 5 5 5 5 4 4 5 5 5 5 5 5 4 4 4 5 4 4 5 5 5 5 5 5 4 5 5

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

Anexo 3: Graus de Desempenho da IES luz de cada item do questionrio.

I1
I2
I3
I4
I5
I6
I7
I8
I9
I10
I11
I12
I13
I14
I15
I16
I17
I18
I19
I20
I21
I22
I23
I24
I25
I26
I27
I28
I29
I30
I31
I32
I33
I34
I35
I36
I37
I38
I39
I40
I41
I42
I43
I44
I45
I46
I47
I48
I49
I50
I51

P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20 P21 P22 P23 P24 P25 P26 P27 P28 P29 P30 P31 P32 P33 P34 P35 P36
3 3 4 2 3 3 2 2 2 3 3 3 1 4 3 5 3 4 3 3 3 4 3 4 3 4 3 1 4 4 3 2 3 2 4 4
4 3 3 2 2 2 3 2 3 3 3 3 2 4 3 4 3 3 4 3 3 4 2 4 4 3 3 1 4 4 3 2 3 3 3 4
3 3 3 4 0 3 2 4 2 4 3 4 2 4 5 4 4 5 1 3 4 4 3 4 4 4 2 2 4 4 4 3 2 4 2 4
2 3 3 3 0 3 2 4 1 3 3 3 1 3 3 4 4 5 2 3 2 3 3 4 3 2 4 2 3 3 4 3 2 4 2 4
2 3 2 3 0 4 1 3 5 3 3 2 2 2 3 4 3 3 1 2 3 3 1 4 4 3 2 2 3 4 3 4 3 4 3 4
3 2 2 1 3 2 2 1 2 2 3 1 2 4 4 4 4 5 1 2 4 5 2 3 4 1 1 2 2 4 2 1 2 2 3 3
4 4 3 4 4 4 4 1 5 0 4 3 5 4 4 2 3 1 3 4 3 3 3 3 4 3 3 1 4 4 5 1 3 4 2 3
2 3 2 2 3 2 2 1 4 0 3 1 3 4 3 2 3 5 2 3 3 5 2 3 5 3 2 2 3 3 4 1 0 2 3 3
2 3 3 1 3 1 2 1 1 0 2 2 3 3 2 3 3 3 1 4 2 2 4 3 2 4 2 1 3 3 4 1 2 2 4 1
4 4 4 1 4 2 4 4 3 4 4 4 5 4 4 4 4 4 3 4 0 4 3 3 0 2 1 1 4 4 5 3 4 4 4 4
2 4 2 2 0 3 3 1 2 3 2 1 2 4 1 4 4 4 1 2 0 4 1 2 0 2 1 2 3 4 3 2 2 2 3 3
2 3 2 1 0 4 2 1 2 3 2 1 3 4 2 0 4 4 3 2 0 3 1 2 0 2 2 2 3 3 3 2 3 2 3 4
2 2 2 1 0 2 2 1 1 3 2 1 1 5 1 0 4 4 2 3 0 3 2 2 0 2 1 2 3 3 0 2 4 3 3 4
2 2 2 1 0 2 1 1 1 2 1 1 2 2 1 0 4 4 1 2 0 1 1 2 0 2 1 2 3 3 3 2 0 2 2 0
3 3 4 4 3 4 3 4 3 2 3 1 3 3 3 2 3 5 1 3 3 3 3 2 4 3 4 3 4 3 3 4 2 4 3 3
4 2 3 4 4 3 4 3 2 3 3 3 3 4 3 2 2 4 3 3 4 4 3 2 0 3 4 3 3 3 3 3 3 4 4 3
4 3 4 4 3 4 3 3 4 4 3 3 3 3 3 0 2 4 4 3 4 4 3 2 4 4 4 3 4 3 3 4 2 3 3 4
4 4 4 4 3 3 3 2 4 4 3 3 3 3 3 0 3 4 2 3 4 4 4 2 3 3 4 3 4 4 4 4 3 4 4 4
4 3 4 4 4 3 4 5 5 4 4 4 5 4 3 0 4 3 4 4 5 4 4 3 4 4 4 1 4 3 4 4 4 4 4 4
4 4 3 4 4 4 4 5 5 4 4 3 5 4 4 4 4 5 4 4 5 4 4 3 4 4 4 2 4 4 4 5 4 4 4 4
4 2 3 5 4 3 2 4 4 4 3 4 3 4 3 4 1 4 4 3 3 4 4 2 4 3 4 4 4 4 3 4 2 4 3 3
4 3 3 5 0 3 2 4 3 4 3 1 2 3 3 2 2 4 1 4 2 1 2 2 0 2 4 4 4 3 3 4 3 4 2 3
4 3 4 4 4 1 3 4 4 0 3 4 3 4 4 5 3 4 2 4 3 4 4 2 0 4 4 4 4 4 2 4 2 4 2 3
4 2 3 2 4 3 2 2 2 0 3 3 4 4 4 4 3 3 3 3 2 2 1 3 3 2 3 3 2 3 2 2 1 4 3 3
4 3 3 3 4 4 3 2 2 0 3 3 3 3 4 5 2 3 2 4 4 2 1 3 3 3 2 2 2 3 2 4 1 5 3 2
4 3 2 3 4 4 3 1 3 0 3 5 3 3 4 5 4 3 4 4 3 3 2 3 3 4 2 3 5 2 1 2 3 3 2 4
4 1 4 2 4 1 3 1 2 0 2 4 1 2 3 5 3 1 4 4 1 1 2 4 0 2 1 1 3 3 2 2 4 4 4 3
4 1 4 1 4 2 3 1 5 5 2 2 3 3 3 5 3 2 3 3 1 1 1 4 2 1 1 1 4 2 1 2 3 3 3 4
4 4 4 5 5 3 4 1 5 3 3 5 5 4 5 5 4 4 5 4 3 4 3 3 3 4 3 2 2 3 1 4 2 4 3 4
4 3 3 3 5 2 2 3 5 3 3 2 3 2 4 5 4 3 1 3 3 2 3 3 3 3 3 1 2 3 1 2 2 4 3 3
4 4 3 3 5 2 4 2 3 3 4 2 3 3 4 5 4 4 1 3 1 2 2 3 3 3 3 1 2 2 2 1 2 4 4 2
3 1 4 1 5 1 4 1 2 5 2 3 2 3 2 5 2 4 1 3 0 2 1 2 2 2 2 1 2 3 3 1 2 4 3 0
4 4 4 5 5 4 3 1 5 2 4 3 5 4 4 5 5 4 2 5 4 4 4 3 2 3 3 1 4 3 2 4 3 5 4 5
1 1 3 1 5 2 3 1 1 3 3 2 1 4 2 0 3 3 1 2 3 2 0 2 1 3 3 1 4 2 3 3 1 0 1 2
4 2 3 2 5 4 2 1 4 3 3 2 2 2 3 0 4 4 2 2 4 1 3 3 3 3 2 3 3 3 2 3 2 4 2 4
4 2 3 2 4 3 3 1 1 2 3 4 4 2 2 0 4 3 1 2 4 2 4 3 3 2 2 3 3 3 1 3 3 4 2 4
3 2 2 2 5 3 1 1 1 2 3 4 3 2 3 0 3 2 1 2 3 1 3 3 3 3 2 1 2 3 3 2 1 4 2 4
3 3 2 5 5 3 1 1 1 2 1 2 3 2 2 0 4 2 1 2 4 1 1 3 2 2 1 1 2 3 4 2 1 4 3 3
3 3 4 5 4 2 1 3 3 2 3 3 2 2 2 0 3 5 2 2 3 0 1 2 2 2 2 2 2 3 3 3 0 4 4 4
2 2 3 3 5 1 1 2 1 2 3 4 4 2 2 0 3 0 1 2 3 1 2 2 2 2 1 1 3 3 3 4 2 4 2 3
2 2 3 5 5 3 2 2 1 4 3 3 2 2 1 0 3 2 3 3 2 1 0 2 0 2 1 1 2 2 3 2 2 4 2 3
4 0 4 5 5 4 5 1 4 2 4 4 4 3 3 0 4 4 4 3 4 2 4 2 2 3 3 4 4 3 4 5 3 4 4 0
4 0 3 3 4 4 4 2 4 3 3 4 4 3 3 0 4 4 4 4 3 2 3 3 4 4 4 4 4 3 3 4 0 4 2 0
3 0 3 5 5 3 3 2 2 1 3 4 0 3 3 0 4 3 4 4 0 1 4 3 3 3 4 3 4 3 3 4 3 4 4 0
3 0 3 4 5 3 4 2 3 2 4 4 2 2 3 0 4 3 2 3 0 2 2 3 2 2 3 3 4 3 4 4 1 3 2 0
3 2 3 3 5 3 3 1 2 3 3 3 5 4 3 3 4 1 3 3 4 1 2 3 2 3 3 3 4 3 2 1 3 4 3 4
4 2 4 3 5 2 3 1 4 2 3 3 4 4 4 4 4 1 2 3 4 4 1 3 3 4 2 3 4 2 2 1 1 4 3 2
3 1 3 2 5 2 2 1 1 2 2 3 3 3 3 3 3 2 1 4 0 2 1 3 2 3 2 1 4 3 3 1 2 0 4 3
4 2 4 3 3 3 3 1 3 3 3 3 3 3 3 3 3 2 1 4 3 1 1 3 2 3 2 1 4 3 3 1 3 4 2 3
4 2 3 4 2 2 2 1 4 2 3 4 4 0 4 3 2 1 1 3 3 2 1 3 3 3 3 1 3 3 3 1 3 4 2 3
3 1 3 2 2 2 2 1 1 1 2 2 2 2 2 0 2 2 1 2 4 1 1 3 2 3 2 2 2 3 1 1 1 2 2 3