1

Actividad 5 – Análisis de una prueba

Hildys Margarita Arrieta Hernandez

ID 100049964

Enero 2021

Corporación universitaria iberoamericana

Facultad de Ciencias Humanas y sociales

Psicometría
 2

Análisis de una prueba

Situación: Un profesor del curso de "Introducción a la Metodología de la Investigación"

(asignatura que se imparte en un Programa de Psicología) diseñó un examen parcial para evaluar el

aprendizaje de sus alumnos en las primeras dos unidades del curso. El examen estuvo compuesto por 24

reactivos de opción múltiple. Después de aplicar a 66 alumnos. Realizaremos un análisis acerca de las

características psicométricas del instrumento:

Vínculo de verificación para Excel

https://laiberocol-
my.sharepoint.com/:x:/g/personal/eortizm1_ibero_edu_co/EYgpctnRPBFIp61z5YpCat0BmTAt7C
QUtLgiOG8qrnzZ-g?e=nMshS5

¿Cuál es el índice de dificultad de cada reactivo?

El índice de dificultad de un ítem es la proporción de sujetos que, habiendo intentado

resolverlo, lo resuelven correctamente. Existen parámetros para la aceptación de un ítem de

 3

acuerdo con su nivel de dificultad, el establecido por Guilford (1975).

Podemos afirmar que todos los ítem de la prueba son aceptados ya que todos tienen un valor

superior a 0.25 (Cano 2004).

Podemos observar 75% de de los ítem está en la categoría de fácil, el 12.5% En

mediana dificultad al igual que el 12.5% en muy fácil. Lo que podemos concluir es que en

general la prueba es comprensible para los alumnos que la presentaron.

¿Cuáles son los reactivos más fáciles y cuáles los más difíciles?

La Pregunta R21 que corresponde a : A continuación se presentan cinco

proposiciones que hablan acerca de los elementos y organización de un manuscrito (para

propuestas de reportes de investigación fáctica) según los lineamientos del Manual de estilo

de publicaciones de la APA. ¿Cuál dirías tú que es INCORRECTA? Obtuvo el índice

dificultad más bajo de 0.41 quedando muy cerca al límite de Mediana Dificultad. Por lo que

podemos concluir que fue la pregunta más compleja de responder por los alumnos.

Existen 3 reactivos en la categoría de muy fácil sin embargo la R23 fue la pregunta

que más alumnos respondieron asertivamente.

 4

Muy
Fácil
R2 R12 R23
¿Qué postura ¿Para qué sirve el
epistemológica Existen diversas
establece que más que utilizar los estrategias para seleccionar
preguntarnos si un operadores artículos de calidad para
conocimiento es verdadero, booleanos “AND” un estudio de
y
debemos cuestionarnos si “OR" al buscar un investigación. ¿Cuál de las
éste es útil? documento con un siguientes es la MENOS
motor de buena o MENOS
búsqueda? apropiada?
0,91 0,91 0,94

¿Cuál es el índice de discriminación de cada reactivo?

U PP(E
INRDIO
ICRE) 15 18 18 18 18 18 18 18 17 1 12 18 13 1 18 18 18 18 16 18 11 1 18 13
SU 8 8 8
L 7 13 11 9 8 5 12 12 7 1 7 14 8 1 6 9 9 5 6 8 15 8
INPF(E
IN
RDIOICRE) 2 2

D
AICSIC
ÓRNIM IN
(ID) 0,8
3 1,00 1,0 1,0 1,0 1,00 1,0 0,94 0,94 010, 0,61 1,0 0,72 904, 1,0 1,0 0,94 1,0 0,89 1,0 0,61 010, 1,0 0,72
CALIDAD
sujetos R1 R2 R3 R4 R5 R6 R7 R8 R9 R10 R11 R12 R13 R14 R15 R16 R17 R18 R19 R20 R21 R22 R23 R24

DEL EX EX E E E EX E E E E E E E E E E E E E E E E E E
CE CE X X X CE X X X X X X X X X X X X X X X X X X
REACTIVO
C C C C C C C C C CE C CE CE CE CE CE CE CE C CE CE
E E E E E E E E E E E

En la prueba podemos observar que existen varias respuestas con índice discriminación alto lo

que significa que el índice de discriminación diferenciará mejor a los estudiantes con altas y
 5

bajas calificaciones. Como el índice es altamente positivo se considera que la mayoría de

preguntas son excelentes, ajustada al objetivo de la evaluación.

¿Cuáles son los reactivos que mejor y que peor discriminan?

En general podemos observar que todos los reactivos discriminan positivamente. Aunque todos

están en la categoría excelente los que peor discriminan fueron:

11 R21

Un investigador quiere A continuación, se presentan

revisar los artículos cinco proposiciones que hablan
publicados sobre acerca de los elementos y
investigaciones empíricas organización de un manuscrito
que se han realizado sobre (para propuestas de reportes de
un tema determinado. De las investigación fáctica) según los
siguientes, ¿cuál lineamientos del Manual de estilo
recomendación es la más de publicaciones de la APA.
adecuada para este fin? ¿Cuál dirías tú que es
INCORRECTA?
0,61 0,61

¿Cuál es el alfa de Cronbach del instrumento en lo general?

El coeficiente de Consistencia Interna que se basa en variados métodos de toma de

muestras de diferentes ítems y se revisan los efectos de estos sobre la confiabilidad (Aiken,

2003), entre los métodos más conocidos esta Alfa de Cronbach.

Sujetos R1 R2 R3 R4 R5 R 6 R7 R8 R9
R1
0
R1
1
R1
2
R1 R1 R1 R1 R1 R1 R1 R2
3 4 5 6 7 8 9 0
R2
1
R2
2
R2
3
R2 SUMA
4 ITEMS
VA 1,4 0,7 0,9 0,5 0,9 0,9 1,2 0,3 1,0 0,4 1,0 0,1 1,1 1,1 0,5 0,1 0,8 0,9 0,9 1,2 1,7 0,6 0,1 1,9 23,0
RP 0 4 4 7 1 5 2 5 3 1 8 8 2 8 3 6 1 6 5 7 1 4 8 7 7

K: El número de ítems 24
2
Si : Sumatoria de las Varianzas de los Items 21,26
 6

S2:
T La Varianza de la suma de los Items 23,07
Coeficiente de Alfa de Cronbach 0,0817

El índice de consistencia del instrumento al estar 0.0817 se aleja del valor máximo lo que

significa que el alfa es inaceptable.

¿Qué se puede decir acerca de la confiabilidad de este instrumento?

La confiabilidad hace referencia a la consistencia y precisión en las medidas arrojadas por una

prueba y los métodos más frecuentemente utilizados para estimarla son el Test–Retest, la correlación

entre formas paralelas o entre dos mitades que utiliza el algoritmo de Spearman Brown como forma de

estimación de la confiabilidad total del instrumento (Brown, 2000);

p
nrtaesgu
sujetos R1 R2 R3 R R R6 R7 R8 R9 R 1 R1 1R R R R R R R R R
2 13 14 15 R61 17 18 19 20 21 R22R32R42 correc
4 5 0 1 tas
VARIA 18,03
NZA 5
(VT)
P 0,68 0,91 0,8 0, 0, 0,6 0,8 0,8 0,7 0,8 0,5 0,9 0,5 0,8 0,7 0,8 0, 0, 0, 0, 0, 0,6 0,9 0,6
(Probabilidad 83 65 7 3 8 5 61 1 8 6 7 2 65 64 67 77 41 7 4 4
Positiva)
Q = (1-P)
Probabilidad 0,32 0,09 0,2 0, 0, 0,3 0,1 0,1 0,3 0,1 0,4 0,0 0,4 0,1 0,2 0,1 0, 0, 0, 0, 0, 0,3 0,0 0,3
17 35 3 7 2 5 39 9 2 4 3 8 35 36 33 23 59 3 6 6
Pq 0,22 0,08 0,16 0, 0, 0, 0, 0, 0, 0, 0,2 0,0 0,2 0,1 0,1 0, 0, 0, 0, 0, 0, 0, 0, 0, 4,2
14 23 22 14 11 21 13 46 8 4 2 8 15 2 2 2 1 2 22 06 23 55
3 3 2 8 4

HR(20) = 0.80

En conclusión podemos decir que la confiabilidad aplicada a la prueba realizada

a 66 alumnos es de 0,80. Por lo tanto en instrumento tiene una confiabilidad del 0,80 lo

que significa que tiene una alta confiabilidad.

 7

¿Qué se puede decir acerca de la validez de este instrumento?

Test Criterio Test Criteri Test Criteri

o o
sujetos X Y sujetos X Y sujeto X Y
s
A1 24 10 A22 15 15 A44 23 20
A2 22 12 A23 19 18 A45 10 19
A3 11 15 A24 21 20 A46 20 18
A25 16 12 A47 19 12
A4 15 10
A26 17 24 A48 16 14
A5 10 12
A27 22 15 A49 18 15
A6 19 9 A50 20 12
A28 18 16
A7 14 12 A51 23 15
A29 15 14
A8 12 12 A52 9 12
A30 21 13
A9 19 8 A53 16 20
A31 22 15
A10 13 9 A54 11 16
A32 14 14
A11 21 12 A55 19 18
A33 17 12
A12 22 9 A34 A56 12 16
19 7
A57 22 20
A13 23 5 A35 20 15
A58 18 16
A14 18 9 A36 23 15
A59 19 17
A15 18 15 A37 18 14
A60 21 15
A16 18 8 A38 9 13 A61 17 14
A17 18 10 A39 23 20 A62 22 13
A18 20 15 A40 17 16 A63 22 15
A19 4 9 A41 18 18 A64 23 16
A20 24 10 A42 16 13 A65 19 18
A21 15 12 A43 13 20 A66 15 16

Validez 0,053

La correlación entre X y Y nos comenta que la validez del constructo es de 0.053

 8

¿Qué fortalezas y debilidades tiene este examen?

Como primera medida, considero que el examen consta de unas instrucciones que son claras para

el estudiante. Segundo, los reactivos son descritos de forma clara y completa, pues como se puede

corroborar en la prueba, la información necesaria para responder se encuentra en las opciones de

respuesta. Además, las preguntas no están cargadas con información irrelevante, al contrario, es puntual y

cada reactivo cumple su función de preguntar y evaluar la temática requerida. Por otro lado, con relación

a las debilidades, me atrevo a decir que esta prueba sólo da opciones de respuesta para que el estudiante

escoja, pero no da la opción de respuestas abiertas en el que el estudiante se ve obligado a responder con

sus propias palabras y en base al conocimiento que tenga, pues cuando sólo se hacen preguntas de

selección múltiple en el que una de las respuestas es la correcta, el estudiante puede llegar a contestarla

correctamente sin saber la respuesta, pues la respuesta correcta ya está allí entre las opciones, así que

utilizando algo de sentido común y por decirlo de alguna manera suerte, tendría la probabilidad de

responder preguntas acertadamente sin saber la respuesta.

¿Hay algún reactivo que requiera ser reconsiderado?

La pregunta 13 es un poco confusa, pues emplea una terminología o vocabulario

complejo que quizás el estudiante no entienda o no conozca el significado de la palabra

“empático” así que en dicho caso se le dificultaría responder dicha pregunta. Considero que en

vez de utilizar la palabra empático se podría utilizar otro sinónimo, de esta manera la pregunta

sería más clara, posibilitando al estudiante a responderla.

¿Qué sugerencias concretas se haría para mejorarlo?

 Como se mencionó anteriormente, es recomendable cambiar la palabra “empático”

por otro sinónimo o palabra más clara y que haga referencia a lo mismo.
 9

 Es recomendable especificar el contexto que abarca cada uno de los reactivos,

especialmente la pregunta 13 para evitar caer en mal interpretaciones por parte

del estudiante, puesto que esto podría ocasionar que el estudiante la conteste

mal.

 Mejorar la construcción semántica de las preguntas, especialmente la pregunta 13 para que pueda

ser mejor interpretada, es decir, se podría mejorar esta pregunta utilizando frases más cortas, pero

específicas que transmiten el verdadero sentido de lo que se quiere preguntar, de esta manera es

que la pregunta podrá ser precisa, concreta, clara y podrá ser respondida sin generar

problemáticas de incomprensión en el estudiante. Considero que en general, la prueba es

pertinente, presenta aspectos como la validez y fiabilidad, pues cumple con el objetivo de medir

lo que tiene que medir. Además, que preserva características importantes como que los ítems

relacionados abarcan los fundamentos teóricos y prácticos, es coherente con lo que evalua, pero,

falla en un aspecto importante y es el aspecto lingüístico. Toda prueba debe tener una

construcción gramatical y semántica impecable, de otra manera es imposible para el evaluado ser

proficiente al momento de desarrollar o responder la prueba. Es fundamental, que no caiga en el

error de utilizar palabras complejas que al no ser entendidas o al ser su significado desconocido

imposibilitan al estudiante poder tener un panorama claro de la pregunta y por último, evitar la

construcción de oraciones muy largas en las preguntas, pues también dificultan su entendimiento,

se recomienda en toda prueba la utilización de palabras puntuales y oraciones o frases cortas que

contengan solamente lo que se requiere preguntar.

Conclusión

Respecto al análisis de las preguntas consideramos que en general muestras una confiabilidad

satisfactoria. Y en general existe comprensión del alumno en su momento de realización. Como se

sustenta que alrededor del 80% lograron superar la prueba.

 10

Referencias

Aiken, L. R. (2003). Tests psicológicos y evaluación. México: Pearson Educación.

Brown, F. G. (2000). Principios de la Medición en Psicología y educación. México: Manual

Moderno.

Canavos, G. (1987) “Probabilidad y Estadística”, McGraw Hill.

Cano, F. (2004). Construcción de pruebas de conocimientos. Trabajo presentado en el

Seminario Internacional: Compromiso de la evaluación objetiva con el mejoramiento
de la calidad de la educación superior. Bogotá. ACOFI- Asociación Latinoamericana
de Psicología.
Hermoso, J.A. y Hernández, A. (1997).“Curso básico de Estadística Descriptiva y Probabilidad”. Némesis

Orús, L. M. (2014). Psicometría – Esquemas de teoría (TCT y TRI) y Ejemplos de

Aplicación de cada técnica. Lulu.com.

Tornimbeni, S. (2008). Introducción a la psicometría. México: Grupo Planeta .