ISSN 0214 - 9915 CODE

Psicothema 2018, vol. 30, No. 2, 149-158

Copyright © 201

doi: 10.7334 / psicothema2018.33

www.psi

Utilización de los elementos invertidos en las escalas de Likert: Una práctica cuestionable

Javier Suárez-Álvarez 1, Ignacio Pedrosa 2, Luis M. Lozano 3, Eduardo García-Cueto 4, Marcelino Cuesta 4

y José Muñiz 4
1 Organización para la Cooperación Económica y el Desarrollo, 2 CTIC Centro Tecnológico, 3 Universidad de Granada y 4 Universidad de Oviedo

Abstracto Resumen

Antecedentes: El uso de elementos formulados en positivo y formas invertidas El USO de ítems inversos en las escalas tipo Likert: una practical
objetivos de reducir el sesgo de respuesta y es una práctica comúnmente utilizado cuestionable. Antecedentes: EL USO de ítems formulados junto con
hoy en día. El objetivo principal de esta investigación es analizar las implicaciones Positivamente Otros inversos Es Una Práctica habitual para Tratar de Evitar
psicométricas de la utilización de elementos positivos y hacia abajo en los sesgos de Respuesta. El objetivo m del Presente Trabajo es analizar v
instrumentos de medición. Las implicaciones psicométricas de Como utilizar ítems Directos e
Método: Una muestra de 374 participantes fue probado con edades comprendidas entre inversos en La Misma prueba. Método: se utilizó Una Muestra de 374
18 y 73 (M = 33,98;
Participantes con Edades comprendidas Entre 18 y 73 años (M =
SD = 14,12), 62,60% eran mujeres. Se utilizó un diseño de medidas repetidas, la
33,98; DT = 14,12), con la ONU
evaluación de los

participantes con positiva, invertida, y las formas de una prueba de fi cacia auto-ef
combinado. resultados: Cuando 62,60% de mujeres. Mediante Un diseño de Medidas repetidas se evaluó a
se utilizan combinaciones de elementos positivos y hacia abajo en la misma prueba Los Participantes En Una prueba de Autoe fi Cacia con tres Condiciones:
de la fiabilidad de la prueba es fl impresionado y la unidimensionalidad de la Todos los ítems Positivos, Negativos todos y Un Combinado de Ambos.
prueba se pone en peligro por fuentes secundarias de varianza. Además, la Resultados:
varianza de las puntuaciones se reduce, y los medios difieren fi significativamente
de los de pruebas en las que todos los artículos son ya sea positivo o invertido, pero no combinado. conclusiones: Cuando Se utilizan en La Misma prueba del tanto ítems Positivos
Negativos Como su fi abilidad
Los resultados de este estudio presente un compromiso entre un potencial de sesgo se deteriora, y la unidimensionalidad de la prueba se ve comprometida por
aquiescencia cuando fuentes secundarias
los artículos están redactados positivamente y un potencial comprensión diferente cuando de varianza. La varianza de las puntuaciones Disminuye, medios y Las di fi eren
se combinan signi fi
elementos regulares y hacia abajo en la misma prueba. La literatura especializada cativamente RESPECTO de las Pruebas en las Que todos los ítems formulados
recomienda la ESTÁN
combinación de elementos regulares e invierte para controlar el sesgo de estilo de positiva o negativamente. Conclusiones: Los Resultados de Este estudio Presentan
respuesta, pero estos Una
resultados los investigadores advierten en su uso, así después de considerar el efecto disyuntiva Entre ONU Posible sesgo de aquiescencia Cuando Los ítems Tienen Una
potencial de las redacción
positiva y Una Comprensión potencialmente diferente Cuando Se combinan ítems
habilidades lingüísticas y los hallazgos presentados en este estudio. Regulares e
invertidos en La Misma prueba. La literatura Especializada Recomienda combinar
ítems
Regulares e invertidos párrafo Poder Controlar el sesgo del Estilo de Respuesta,
Pero estos
resultados advierten un los Investigadores Que los us también Despues De Tener
en Cuenta el
potencial efecto de las Habilidades lingüísticas y de los Hallazgos presentados En
Este estudio .
palabras clave: artículos invierte, recodificada, validez, sesgo de respuestas, teoría de
respuesta al ítem.

Palabras Clave: Ítems invertidos, recodi cación fi, Validez, sesgo de respuestas, Teoría
de

Respuesta al artículo.

Las respuestas a los ítems de una prueba puede ser influenciada por se pueden distinguir, llamado conjunto de respuestas, y el estilo de respuesta
factores (Chiorri,
personales que pueden afectar tanto a los resultados y la validez de las Anselmi, y Robusto, 2009; van Sonderen, Sanderman, y Coyne, 2013). sesgo
interpretaciones Conjunto
(Cronbach, 1946, 1950; Ferrando y LorenzoSeva, 2010; Fonseca-Pedrero de respuestas se refiere al contenido de los ítems, por ejemplo, la elección de
y Debanne, una
2017; NavarroGonzález, Lorenzo-Seva, y Vigil-Colet, 2016). Esto se respuesta socialmente deseable en lugar de la verdad (deseabilidad social). Se
conoce como sesgo de han
 propuesto varias alternativas en un intento de evitar este tipo de sesgo, más
respuesta, y se refiere a cualquier tendencia individuo para responder
independientemente
notablemente cuestionarios en los que los examinados elegir entre dos
elementos con la
del contenido que el artículo está evaluando, distorsionando la
puntuación en el rasgo que
deseabilidad social similar (Brown, 2015) de elección forzada. Además, en los
se está midiendo. Dos tipos de sesgo de respuesta últimos

años se han propuesto soluciones en el marco de la Teoría de Respuesta (IRT;

Brown y

Maydeu-Olivares, 2012).

Recibido: 2 Febrero 2018 • Aceptado: March 22, 2018 sesgo de estilo de respuesta es la tendencia a responder a artículos sin
Autor correspondiente: Javier Organización Suárez
prestar suficiente atención a su contenido. Aquiescencia o la tendencia a
Álvarez de Cooperación y Desarrollo Económico
2, rue André Pascal - Paris Cedex 16 75775 estar de acuerdo con las declaraciones es un ejemplo de sesgo de estilo de
París (Francia) respuesta. Este tipo de sesgo puede producir patrones de respuesta que no
e-mail: [email protected]
reflejen la verdadera per fi l de los examinados, y constituyen una signi fi

cativa

149
 Javier Suárez-Álvarez, Ignacio Pedrosa, Luis M. Lozano, Eduardo García-Cueto, Marcelino Cuesta y José Muñiz

amenaza para la validez de las interpretaciones basadas en las fl impresionado, y los patrones de respuesta atípicos aparece (Bourque y Shen,
puntuaciones de 2005;
auto-informe (van Sonderen et al., 2013). El uso de artículos en ambas
formas regulares Carlson et al, 2011;. Hughes, 2009). Estos resultados convergen con las que se
(redactado positivamente) y inversa se introdujo hace décadas con el
objetivo de reducir el encuentran en el marco IRT (Ebesutani et al.,
sesgo de estilo de respuesta (Nunnally, 1978; Paulhus, 1991). Hay dos
estrategias 2012), en la que los elementos que no están codificados inversa demuestran una mejor
principales para la reversión de artículos con el fin de reducir el sesgo de
asentimiento. La precisión (la función de información) y el poder discriminatorio (parámetro una).
primera consiste en añadir negación de tal manera que el sentido de que
el artículo se
cambió sin cambiar sustancialmente el texto (por ejemplo, “ Me A pesar de que en los últimos años la inclusión de temas ordinarios y hacia abajo en
considero una buena la
persona ”Vs“ No me considero una persona buena “). El segundo se misma prueba ha comenzado a ser cuestionada, poco trabajo se ha abordado el tema
puede lograr mediante el de
uso de una expresión antonimia (por ejemplo “ Me considero una mala manera sistemática y, de hecho, todavía se recomienda (Weijters, Baumgartner, y
persona “). Para Schillewaert,
reducir el sesgo de estilo de respuesta, los desarrolladores de prueba 2013) . La mayoría de los instrumentos de medición utilizados tanto en la investigación,
recomiendan que así
algunos de los elementos que componen una prueba de la carrocería son como en las diferentes áreas de la psicología aplicada todavía incluye ambos tipos de
inverso (Abad, artículos
Olea, Ponsoda y 2011; Nunnally, 1978; Paulhus, 1991; Prieto y Delgado, en la misma prueba. Desde un punto de vista metodológico, una de las principales
1996). Más limitaciones
específicamente, la práctica más común es incluir elementos con encontradas en la investigación anterior es el uso de diferentes muestras para evaluar
negaciones (Swain, los
Weathers, y Niedrich, 2008). Sin embargo, hay varias razones para
criticar esta estrategia, y diferentes tipos de artículos, lo cual no garantiza la comparabilidad de los resultados,
afirman que hay más desventajas que ventajas (Weijters y Baumgartner, confundiendo artículos y efectos de los participantes. La manera más rigurosa para
2012; Weijters, evaluar el
Cabooter, y Schillewaert, 2010; Weijters, Geuens, y Schillewaert, 2009). efecto de combinar elementos regulares y invertidas son la evaluación de los mismos
La primera, y más los
obvia desventaja, es que la estrategia de incluir artículos inversa de la examinados en diferentes momentos, utilizando un diseño de medidas repetidas. Hasta
carrocería contradice la
una de las principales directrices para el desarrollo material: tratar de fecha, este diseño no se ha utilizado, y esto va a ser nuestro propósito. El objetivo
evitar formulaciones principal de
negativas (Haladyna, Downing, y Rodríguez, 2002; Haladyna y Rodríguez, esta investigación es analizar el efecto del uso de elementos invertidos en las
2013; Carril, propiedades
Raymond, y Haladyna, 2016; Moreno, Martínez, y Muñiz, 2004, 2006, psicométricas de la prueba. Todos los participantes fueron evaluados tres veces de
2015). Además, diferentes
invirtiendo artículos mediante el uso de una expresión antonimia puede
producir problemas maneras con una prueba de fi cacia auto-EF.
de interpretación debido a que el significado de que el elemento puede
cambiar
sustancialmente (por ejemplo, hace “ No soy una buena persona
”Significa lo mismo que“ yo
soy una mala persona “?). Investigaciones anteriores sugieren que el
procesamiento
cognitivo de estos dos tipos de artículos no es necesariamente lo mismo, Investigaciones anteriores sugieren que el procesamiento cognitivo no es el
más aún cuando mismo para
las habilidades de lectura son pobres (Marsh, 1986, 1996). Por otra los elementos positivos y negativos formulados (Marsh, 1986, 1996; Mestre,
parte, el uso de 1988). Para
elementos invertidos en conjunto con los objetos directos implica que las analizar si la formulación de los elementos (positivamente, negativamente,
respuestas a los combinadas)
elementos invertidos tienen que ser recodificados con el fin de obtener la influye en los resultados, una prueba general de inteligencia (razonamiento
puntuación total de abstracto) y dos
la escala. Este proceso asume que los dos extremos de un elemento de escalas de comprensión verbal se administraron, lo que permitió un análisis más
tipo Likert (por detallado de
ejemplo “ Totalmente en desacuerdo ”Y“ Completamente de acuerdo “) las respuestas de los participantes. Otro aspecto a destacar es que, además de
Dará exactamente la la perspectiva
misma puntuación y tienen el mismo significado semántico en el de la Teoría de prueba clásica, modelos de IRT se han utilizado, que permite un
constructo que se está análisis más
midiendo, y estos supuestos son cuestionables y afecta a las preciso de las propiedades psicométricas los instrumentos de medición (De
propiedades psicométricas de Ayala, 2009; van
la prueba. Essau et al. (2012) llevaron a cabo una investigación der Linden y Hambleton, 1997; Wilson , 2005). En resumen, este estudio se
transcultural en cinco países realizó para
europeos para analizar la estructura factorial de la La fuerza y la di fi cultades CuestionarioSDQ),(comparar las propiedades psicométricas de la prueba fi cacia
auto-EF a través de tres formas
concluyendo que cuando los elementos invertidos se eliminan el modelo fi cio a los datos fi (Forma A: artículos formulados en positivo; Formulario B: artículos
redactados en sentido

mejora de forma significativa, tanto para el total de la muestra y por país. van Sonderen et inverso; y la Forma C: tanto el tipo de formulación combinada) a través
de coeficientes

al. (2013) en comparación las propiedades psicométricas de un conjunto de elementos fiabilidad coe fi, índices de discriminación artículo, bondad de fi t del
modelo de un factor, las

regulares con un conjunto de elementos que contienen ambos elementos regulares y pruebas de invariancia de medición, y comparación de medias y
correlaciones.

reverso de la carrocería. Su hipótesis es que si revertir artículos reduce el sesgo de

respuesta, sería de esperar que dos artículos idénticos con respecto al contenido pero
diferente en la dirección sería más fuertemente relacionados de dos artículos formulados en
la misma dirección pero con un contenido ligeramente diferente. Los resultados mostraron Dentro de este contexto de investigación, y de acuerdo con el
razonamiento anterior,
que los elementos invertidos no redujo el sesgo de respuesta. Además, algunos patrones de seis hipótesis principales guían nuestra investigación. La
combinación de elementos
respuesta sugieren que las puntuaciones se vieron afectadas por la falta de atención y la regulares e invertidas en la misma prueba fue originalmente
introducido, entre otras
confusión de los participantes cuando se combinaron artículos. Adicionalmente, diferentes razones, con el propósito de mejorar las propiedades
psicométricas de la prueba. Sin
estudios muestran que la inclusión de este tipo de artículos afecta especialmente a los embargo, contrariamente a este motivo original, parece que la
combinación de ambos
instrumentos unidimensionales, por lo que el modelo fi cio peor, y aumentando el rechazo de elementos regulares e invertido en las mismas introduce la prueba
de ruido para la
los modelos unifactoriales a favor de los multidimensionales (Dunbar, Ford, Hunt, y Der, evaluación. Como consecuencia de ello, nuestra primera hipótesis
es que los índices de
2000; Horan, Distefano, y Motl, 2003; Woods, 2006). Además, cuando se incluyen estos discriminación de los artículos y la fiabilidad de los resultados de
las pruebas serán fl
tipos de artículos, la consistencia interna de la prueba es impresionado cuando regular y revertido elementos se combinan en la misma prueba.
Como consecuencia lógica de la disminución de la consistencia interna de la
prueba
(fiabilidad test y índices de discriminación de los artículos) cuando se combinan
los
elementos, la segunda hipótesis propuesta es que la bondad de fi t del modelo
de un factor
será peor para las pruebas compuestas de elementos regulares y invertidos. Si
la segunda
hipótesis se confirma, se propone una tercera hipótesis relacionada con la
inexistencia de
una fuerte invariancia factorial para las tres formas de la prueba utilizada:
regular, invierte, y
los artículos combinados. La combinación de elementos regulares e invertidas

150
 Utilización de los elementos invertidos en las escalas de Likert: Una práctica cuestionable

en la prueba requiere las respuestas a los ítems invertidos para ser recodificados,
suponiendo que anotar en cada medio de elementos una puntuación baja en la auto-e fi cacia (por ejemplo “ Me
los dos de una escala de tipo Likert pueden dar exactamente el mismo resultado.
extremos Sin siento incapaz de superar los obstáculos ”O“ No hago uso de los recursos a mi alrededor “). Para
embargo, las respuestas de los examinados tienden a estar en desacuerdo con los
objetos la construcción de la Forma C, sólo los elementos reversekeyed, que usa palabras de
invertidos más de lo que están de acuerdo con los artículos regulares (Solís-Salazar,
2015). Por lo significado opuesto en lugar de la negación, fueron seleccionados. Una vez que se aplicó este
tanto, la cuarta hipótesis es que hay diferencias estadísticamente significantes fi
cativas en las criterio para la selección de artículos inversa de la carrocería, los elementos regulares fueron
puntuaciones medias entre las formas regulares, invertidas, y combinadas de la misma
prueba. seleccionados al azar. Esto indica que la selección de los artículos regulares no fue
Específicamente, se espera que la Forma B para mostrar la media más alta y la Forma A
para completamente al azar, pero condicionado por los criterios de negaciones evitando, en la
mostrar la media más baja. El proceso cognitivo utilizado por los encuestados para los
artículos investigación anterior ha sugerido que esto es una estrategia mejor (Weijters y Baumgartner,
regulares y invertida no es necesariamente el mismo desde la comprensión de un
elemento inverso 2012). Finalmente, 10 unidades regulares positivamente formulan y se incluyeron 10 unidades
requiere de habilidades lingüísticas mejor. La dificultad en la comprensión se agrava
cuando la gente invertidas.
tiene que alternar entre el procesamiento de elementos regulares e invertidas. Por lo
tanto, nuestra
quinta hipótesis es que las diferencias de puntuación entre regular, invierten, y formas
combinadas
desaparecen cuando se controla por la comprensión verbal. Por último, la consecuencia
lógica prueba de razonamiento abstracto
deriva de la combinación de elementos regulares y combinados es que si la combinación
de
artículos, de hecho, reducir el sesgo de allanamiento, la variabilidad de las respuestas
debe ser los Aptitudes Mentales Primarias se utilizó; (Thurstone, 1996 PMA) Escala de
mayor en la forma combinada que en las formas en la que todos de los artículos son o
bien regular o razonamiento abstracto. Se compone de 30 artículos de la serie de letras lógicas con
invertido. Por lo tanto, la sexta hipótesis es que la combinación de temas ordinarios y
hacia abajo en opciones 6 de respuesta. El coeficiente de fiabilidad de la escala en la muestra actual es
la misma prueba aumentaría la variabilidad de las respuestas. la consecuencia lógica
derivada de la 0,95. El primer factor explica 36.23% de la varianza, y los datos muestran una escala
combinación de elementos regulares y combinados es que si la combinación de los
elementos, de unidimensional modesto (GFI [Bondad de Índice Fit] = 0,93; estandarizado Root Mean
hecho, reducir el sesgo de allanamiento, la variabilidad de las respuestas debe ser
mayor en la Square de Residuos [SRMSR] = 0,14).
forma combinada que en las formas en que la totalidad de la artículos son ya sea
normal o invertida.
Por lo tanto, la sexta hipótesis es que la combinación de temas ordinarios y hacia abajo
en la misma
prueba aumentaría la variabilidad de las respuestas. la consecuencia lógica derivada de la combinación de elementospruebasderegularescomprensiónycombinadosverbal es que si la combinación de los elementos, de hecho,
reducir el sesgo de allanamiento, la variabilidad d

Método Con el fin de probar las hipótesis propuestas, se desarrollaron tres formas diferentes de la misma
prueba. La primera, la Forma A, se compone de 20 elementos, todos formulados positivamente (por

Participantes ejemplo, “ Soy capaz de superar los obstáculos ”O“ Hago uso de los recursos a mi alrededor “). La
segunda, la Forma B, se compone de 20 elementos, todos ellos formulados negativamente. Parte de los
artículos invertidas utiliza palabras de significado opuesto, y otros utilizan negaciones directos de los
La muestra utilizada es incidental y se compone de 374
participantes de la población española en general, evaluado en artículos regulares (4 negación y 16 expresiones antonimia). Como todos los elementos se invierten, un

tres momentos diferentes. Las edades oscilaban entre 18 y 73 alto

años de edad ( M = 33.98;

SD = 14.12), 62,60% eran mujeres. En cuanto al nivel
educativo,
12,10% había completado la educación secundaria obligatoria, el 31,50%
había terminado la educación superior, 10.60% tenían formación
profesional y 45,80% había estado en la educación superior.

instrumentos

Auto-e fi cacia cuestionario

Esta prueba fue desarrollada originalmente en español (Suárez-

Álvarez, Pedrosa, García-Cueto, y Muñiz, 2014). La prueba comprende 20
elementos de tipo Likert (redactado positivamente) con una escala de 1 a
5, en la que

1 medio Totalmente en desacuerdo con la afirmación y 5 medio

completamente de acuerdo. Los espectáculos cuestionario adecuadas
propiedades psicométricas en una muestra de adolescentes españoles
( α =. 98; 30% de la varianza total explicada por el primer factor de;
Suárez-Álvarez et al., 2014). La estructura unidimensional de la auto-e
fi cacia cuestionario ha sido confirmada en diferentes muestras
(Muñiz, Suárez-Álvarez, Pedrosa, Fonseca-Pedrero, y García-Cueto,
2014; Suárez-Alvarez et al, 2014).. Las propiedades psicométricas de
los participantes evaluados en este estudio se presentan en la sección
Resultados.
 factor de explicó 22% de la varianza y los índices de fi t muestran que los datos modestamente fi
t una estructura esencialmente unidimensional (GFI = 0,90; SRMSR = 0,10). En relación con la
Para la evaluación de la comprensión
evidencia de las relaciones con otras variables, la prueba antónimo tenía una correlación de 0.37
verbal, se utilizaron dos pruebas clásicas
( p <. 001) con la escala de razonamiento abstracto PMA y 0.49 ( pag
(antónimos y refranes) (García-Cueto,
Muñiz, y Yela, 1984; Muñiz, Sánchez, y
Yela, 1986; Yela, 1987). los antónimos
<0,001) con la prueba de refranes utilizado en este estudio.
prueba se compone de 37 reactivos de opción
múltiple con cuatro opciones de respuesta en el los dichos prueba se compone de 22 reactivos de opción múltiple
que se le pide al participante para seleccionar la con cuatro opciones de respuesta (por ejemplo “ Todo lo que brilla no
palabra que significa lo opuesto a la palabra es oro “: A) oro brilla mucho, b) Hay metales que brillo que no son de
subrayada en la cuenta (por ejemplo “ El jarrón oro, c) No se deje engañar por las apariencias, d) Siempre es bueno
terminó siendo muy frágil”; una) durable, tener oro). Se realizaron varios estudios piloto cualitativos y
b) pesado, cuantitativos, ambos basados en la opinión de expertos para asegurar
c)barato, d) a la antigua usanza. Se realizaron varios estudios piloto la validez de los contenidos, y por medio de la estimación preliminar de
cualitativos y cuantitativos, a través de la opinión de expertos para las propiedades psicométricas de la prueba en diferentes muestras.
garantizar la validez de contenido y por medio de la estimación Cinco artículos fueron retirados tras los estudios piloto debido a la de fi
preliminar de las propiedades psicométricas de la prueba en ciente funcionamiento psicométrico y la prueba terminó siendo
diferentes muestras. A raíz de estos estudios piloto, un elemento fue compuesta de 17 artículos. En la muestra utilizada en este estudio,
eliminado, y la prueba fue finalmente compone de 36 artículos. En la todos los elementos tienen índices adecuados de discriminación y
muestra utilizada en esta investigación, todos los elementos tenían cargas factoriales (por encima de 0,20). La media de los índices de la
índices adecuados de discriminación y los pesos factoriales (por dificultad de los elementos era 0,82 y el ciente fiabilidad coef fi era
encima de 0,20). La media de los índices de la dificultad de los ítems aceptable ( α = . 77). El primer factor
fue de 0,76 y la fiabilidad ciente coe fi era alta ( α = . 90). El primer

151
 Javier Suárez-Álvarez, Ignacio Pedrosa, Luis M. Lozano, Eduardo García-Cueto, Marcelino Cuesta y José Muñiz

explica 28.14% de la varianza y los índices de fi t confirman que los Medición invariancia través de los formularios se analizó usando el único modelo
datos fi ts una CFA un
estructur rasgo de tres forma. El modelo de base se compone de 60 indicadores y tres
a esencialmente unidimensional (GFI = factores
.96; SRMSR = 0,10). En cuanto a evidencia de validez en relación con otras correlacionados (Forma A, Forma B y Forma C), con 20 indicadores de carga en
variables, la cada factor.
prueba refranes tiene una correlación de 0,49 ( p < . 001) con la escala de Para la prueba de invariancia factor de carga, restricciones de igualdad en los
razonamiento tres pesos de
abstracto PMA y 0.49 ( p < . 001) con los antónimos de prueba utilizados en los factores de los 20 artículos se resolvieron simultáneamente, es decir, el
este estudio. punto 1 = 21 =
elemento de objeto 41 al punto 20 del artículo = 40 = artículo 60. Además, se
estimaron los
parámetros de los ítems junto con la función de información de análisis en el
marco de la
IRT utilizando el modelo de respuesta gradual (Samejima, 1969). Los errores
Diseño residuales
estandarizadas de los artículos en las tres formas de la prueba fi cacia auto-ef
se analizaron
Un diseño de medidas repetidas se utilizó en el que se evaluaron todos los gráficamente para examinar la fi t de los datos al
participantes modelo.
en tres momentos diferentes por tres formas de una prueba selfef fi cacia
(Forma A: artículos
regulares; Forma B: artículos invertidas; Forma C: artículos combinados). Cada
forma se
administró con una diferencia de al menos una semana a efectos de memoria Además, se realizó un análisis multivariado de varianza (MANOVA) para
evitar. Al mismo examinar el
tiempo, se les administró el razonamiento abstracto se ha mencionado efecto de la orden de aplicación. Entonces, al sesgo de aquiescencia estudio, se
anteriormente y las realizó
escalas de comprensión verbal. Para controlar el efecto del orden de una prueba de Levene de homogeneidad de la varianza. Una
administración, 6 prueba de medidas
cuadernillos de la prueba con diferentes combinaciones de las formas de repetidas ANOVA se realizó para estudiar la diferencia en las medias de los
ensayo fueron participantes
asignados aleatoriamente (ABC = 59; ACB = 48; BAC = 59; BCA = 53; CAB = 78; en las tres medidas fi cacia auto-EF (factor intrasujeto). Finalmente, se
CBA = 77). añadieron las
puntuaciones en razonamiento abstracto y la comprensión verbal como
covariables para
controlar la influencia que las variables de aptitud pueden tener en las
puntuaciones de los
participantes (ANCOVA). El tamaño del efecto se estimó utilizando parcial eta
cuadrado
(Trigo y Martínez, 2016). Los datos se analizaron con el programa SPSS 20 (IBM,
Procedimiento 2011),
factor de 9,2 (Lorenzo-Seva y Ferrando, 2013; Ferrando y
Lorenzo-Seva,
Con el fin de estandarizar la administración de la prueba, un
protocolo fue creado
dando instrucciones para la aplicación de la prueba. Esto fue dado a los
administradores
de la prueba junto con el folleto de prueba. La prueba se realizó en 2017), TAP 12 (Brooks & Johanson, 2003), MPLUS 7,3 (Muthén y
formato lápiz (75,40%) Muthén,
y en línea (24,60%) de papel y aunque en este último caso se omitieron 2012), FlexMIRT 2 (Cai, 2013) y ResidPlots-2 (Liang, Han, y
las pruebas de Hambleton,
razonamiento abstracto y la comprensión verbal, debido a la dificultad
de controlar las 2009).
condiciones de prueba (es decir, tiempo, ayuda externa en el
contestador, etc). Los
participantes no reciben ningún tipo de compensación por su
participación, su

tabla 1
participación era voluntaria y la confidencialidad de sus datos fue
asegurada. La
índices de discriminación de elementos regulares,
invertidas y combinados
evaluación se llevó a cabo en cumplimiento de las normas éticas
actuales, y la
Formulario A:
Regular Formulario B: Invertida Forma C: Combinado
investigación fue aprobado por el comité de ética de la Universidad de
Oviedo. Todos los Artículos

materiales de evaluación se administraron en español.

r ix una r ix una r ix una

1 . 740 3.01 . 569 1 1.85 1 . 469 1 1.42 1

2 . 615 1.83 . 569 2 1.58 2 . 508 1.42

Los análisis de datos 3 . 733 2.78 . 653 1 1.98 1 . 430 1 1.05 1

4 . 719 2.59 . 610 1 1.66 1 . 500 1 1.46 1

En primer lugar, todos los participantes que se perdieron una de las

tres 5 . 643 2.01 . 676 1 2.01 1 . 460 1.24
administraciones se eliminaron por lista. Faltan valores fueron
imputados utilizando el 6 . 608 1.50 . 554 1 1.39 1 . 379 0.88
algoritmo EM siguiendo el procedimiento descrito en Fernández-Alonso,
Suárez-Álvarez, y 7 . 569 1.58 . 556 1 1.66 1 . 316 1 0.82 1
8 . 659 2.00 . 648 1.99 . 541 1.59
Muñiz (2012). artículos Reverseworded se codificaron inversa antes del 2 2
análisis. El
examen de los índices de discriminación de los artículos en las tres
formas de la prueba fi 9 . 492 1.13 . 258 1 0.55 1 . 420 0.98
cacia auto-EF se llevó a cabo mediante la correlación de los ensayos
elemento corregido. 10 . 662 1.89 . 658 1 1.97 1 . 574 1 1.62 1

La estimación de la fiabilidad coeficiente se realizó utilizando alfa

coeficiente de Cronbach 11 . 619 1.71 . 534 1 1.34 1 . 529 1.36
y la prueba-retest fiabilidad utilizando la fórmula de Spearman-Brown
para obtener la 12 . 455 0.99 . 674 1 2.22 1 . 607 1 1.90 1

fiabilidad de toda la prueba (es decir, utilizando los 10 elementos

comunes entre las 13 . 672 2.07 . 575 2 1.87 2 . 576 1.78
formas). Las diferencias entre los coeficientes alfa coef fi de las tres
formas de la prueba 14 . 647 2.09 . 705 1 2.33 1 . 544 1 1.56 1

se examinaron usando el w estadística (Feldt, 1969). Varios Con fi rmar

el diagnóstico 15 . 646 1.81 . 591 1 1.58 1 . 500 1 1.35 1

Factor de análisis (CFA) se llevaron a cabo para confirmar la fi t de cada

una de las formas dieciséis . 721 2.58 . 731 2 2.54 2 . 599 1.99
a una estructura unidimensional. Se utilizó el método de estimación
media y la varianza 17 . 511 1.24 . 509 1 1.16 1 . 485 1 1.18 1

ajustada máxima verosimilitud (MLMV) como el de datos se trata como

continua (artículos 18 . 515 1.21 . 526 1 1.27 1 . 556 1.45
tienen cinco categorías). La evaluación de fi t de datos al modelo que se
hizo uso de varios 19 . 547 1.26 . 545 1 1.43 1 . 431 1 1.13 1

criterios: TPI> 0,90; TLI> 0,90; RMSEA <0,08; SRMR <0,08 (Kline, 2010).
Los criterios de 20 . 644 1.95 . 606 1 1.82 1 . 358 0.97
información de Akaike (AIC) y el Criterio de Información Bayesiano (BIC)
también se

Alfa de
utilizaron para el estudio de la pérdida de información, por lo que cuanto
más bajo mejor . 932 . 921 . 879

Cronbach

(Kline, 2010).
Nota: 1 artículos Invertida - antonyms-; 2 artículos Invertida - negaciones -; r ix = correlación-test elemento
corregido; a = parámetro

de
discriminación
IRT
Función de Información de la IRT se presentan en
la Figura 1

152
 Utilización de los elementos invertidos en las escalas de Likert: Una práctica cuestionable

resultados ser la forma regular, con la forma inversa de estar muy cerca de ella.
Estos resultados explican, en gran medida, las diferencias
La fiabilidad y la discriminación de artículos encontradas entre las funciones de información de las pruebas, y
convergen con los resultados de CTT.

Tabla 1 muestra los índices de discriminación de las formas regulares,

invertido y combinadas de los artículos en la prueba de fi cacia auto-ef.
Como puede verse, los índices de discriminación son más bajos Dimensionalidad y medición invariancia
sustancialmente en la forma combinada en comparación con el regular. La
diferencia en los índices de discriminación entre las formas regulares y La Tabla 2 muestra las propiedades psicométricas de las formas
combinado varían entre 0,26 y 0,30. El error estándar de la estimación era regulares, invertido y combinadas de la prueba fi cacia auto-ef. En
0,10 (IC = ± cuanto a la CFA, un peor fi t de los datos al modelo se observó en la
0.196), CON intervalos de confianza de los artículos no se forma combinada en comparación con las formas regulares e
superponían en 14 de los 20 elementos cuando la comparación de invertidas. Además, un modelo de dos factorial anidada con todos los
formas regulares y combinados, por lo que se encontraron artículos regulares en la fi factor de primera, todos los artículos
diferencias estadísticamente significativas Fi en estos 14 artículos ( inversa en el segundo factor, y la covarianza de los espectáculos dos
α = . 05; Cumming & Finch, 2006). No patrón se observó en la factores un claramente mejorado fi t ( χ 2=

pérdida de poder discriminatorio en términos de la estrategia

utilizada para revertir los artículos (es decir, la negación vs 233.907, df = 169; CFI = 0,942; TLI = 0,935; RMSEA = 0,032; SRMR
expresión antonimia). = 0,084; AIC = 18859; BIC = 19.098) en comparación con el modelo
de un solo factor (Tabla 2).

Los coe fi cientes fiabilidad también se reducen, alcanzando Con el fin de evaluar la invariancia de medición, una trait- tres
significación forman solo modelo CFA que constreñido el factor de cargas a ser
estadística cuando se comparan las formas regulares y combinados ( p < igual a través de las formas
. 001) y cuando
A, B, y C, disminuyendo sustancialmente el modelo fi t, se llevó a
el invertido y combinado se comparan ( pag
cabo ( χ 2= 2914.259, df = 1750; CFI = 0,604; TLI = 0,599; RMSEA =
<0,001), pero no entre las formas regulares e inversa ( p = . 074). La 0,042; SRMR = 0,095; AIC = 54786; BIC = 55.335).
fórmula de Spearman-Brown se utilizó para predecir la fiabilidad
prueba-reprueba si en lugar de 10 elementos comunes no había
habido 20. El test-retest fiabilidad coeficiente para los elementos
regulares (2, 5, 6, 8, 9, 25
11, 13, 16, 18, y 20) fue 0,77, para los elementos inversa (1, 3, 4, 7, 10,

12, 14, 15, 17, y 19) era 0,80. Los datos también fueron analizados 20

mediante el modelo de respuesta gradual Samejima. En cuanto a los

errores residuales estandarizadas de los artículos en cada una de las 15

tres formas de la prueba cacia selfef fi (es decir, y regular, invertidas,

combinados) muestra que más del 90% de los residuos se encuentran 10

entre ± 2 desviaciones estándar, lo que indica una adecuada fi cio de

los datos al modelo (Liang, Han, y Hambleton, 2008). La tabla 1 da el 5

parámetro
0

-3 -2 -1 0 1 2 3
una para los elementos de las formas regulares, invertidas, y
Informaci

combinados a partir de un enfoque clásico. Parámetro una varía entre

ón

0,99 y
puntajes theta
3,01 para la forma regular ( una = media 1,86), entre 0,55 y 2,54 para
la forma inversa ( una = media 1,71), y entre 0,82 y 1,99 para la forma
combinada ( una = media 1,36). Está claro que los elementos con poder Un formulario: Regular B formulario: Invertida C formulario: Combinado

discriminatorio peor están en forma combinada. En la forma regular, 13

Figura 1. función de información Análisis de las formas regulares, invertidas, y
de los 20 elementos pueden ser considerados altamente discriminatoria (
combinadas de la prueba fi cacia auto-ef
una

>1,7; Baker, 2001), mientras que en la forma inversa hay 10 y en

las combinadas, 3. Como puede verse en la Figura 1, la forma
combinada sería el menos preciso mientras que el más preciso
haría

Tabla 2
Propiedades psicométricas de la regular, invertido, y formas combinadas de la prueba fi cacia auto-ef

RMSEA [IC

χ 2( df) TPI TLI SRMR AIC BIC

90%]

341.624 0,052

Formulario A: Regular . 903 . 892 0,049 16.125 16.360

(170) * [0,044-0,060]
298.821 . 911 . 901 0,045 0,048 18.249 18.484
 Formulario B: Invertida

(170) * [0,036-0,053]

455.306 0,067

Forma C: Combinado . 746 . 716 0,088 19.300 19.535

(170) * [0,060 - 0,074]

Nota: χ 2= Prueba de chi-cuadrado; df = grados de libertad; CFI = comparativo Índice Fit; TLI = Tucker Índice de Lewis; RMSEA = Root Mean Square Error de aproximación; SRMR =
estandarizada Root Mean Square residual; AIC = Información de Akaike Criterio; BIC = Información Bayesiano Criterios

* p < . 001
El porcentaje de varianza explicada - utilizando el enfoque CFA - era 48,19 para la forma regular, 46,89 para la forma inversa y 35,87 para la forma combinada

153
 Javier Suárez-Álvarez, Ignacio Pedrosa, Luis M. Lozano, Eduardo García-Cueto, Marcelino Cuesta y José Muñiz

Medios, varianzas y correlaciones entre las varianzas de las formas regulares, invertidas, y combinados.

Con el fin de comprobar el efecto de la orden de aplicación, un Tabla 3 muestra los resultados de los ANOVA de medidas repetidas para

MANOVA se realizó para estudiar las diferencias entre las puntuaciones examinar la diferencia en las medias entre la regular, invierte, y formas

totales en el regular, invierte, y forma combinada por el orden de seis combinadas de la prueba fi cacia

aplicación. Las pruebas multivariantes para el efecto de orden auto-ef. Mauchly es prueba de esfericidad fue estadísticamente significativo ( p = . 004) y la
Greenhouse-Geisser
utilizando el test de traza la Pillai' no fueron estadísticamente
significativos ( F = 1.165; df
la corrección se utilizó en la interpretación de los resultados. Como puede verse en la
=15; p = . 294; η 2= 0,021) usando Lambda ambos Wilks' ( F = 1.167; df
Tabla
= 15; p = . 293; η 2= 0,021) y la traza de Hotelling ( F =
3, las diferencias entre las medias fueron estadísticamente significantes
1.168; df = 15;
( p < . 001) y el tamaño efecto moderado ( η 2> 0,10). Además, el
p = . 291; η 2= 0,021). El examen de las diferencias en las tres
Bonferroni prueba fue estadísticamente significativo en todas las
formas de la prueba e fi auto-ef en términos de la orden de
comparaciones por pares ( p < . 001). Las puntuaciones más altas fi
aplicación (pruebas de efecto entre-sujetos) demostró que no hay
Cacy media auto-EF se observaron en la forma inversa, seguida por las
diferencias estadísticamente significantes fi cativas, ya sea en la
formas de la combinada y las regulares. Tres ANCOVAs medidas
forma regular ( F
repetidas se llevaron a cabo incluyendo las puntuaciones obtenidas por
(5, 276) = 0,914; p = . 472) o la forma inversa ( F ( 5, 276) = 1.536; pag
los participantes en la comprensión verbal y pruebas de razonamiento
=0,179). Aunque se encontraron estadísticamente signi fi
abstracto como covariables. Las diferencias anteriormente visto en
diferencias signifi en forma combinada ( F ( 5, 276) = 2.447; p = . 034),
medio de la normal invierten, y formas combinadas desaparecen cuando
el tamaño del efecto estimado a través parcial eta cuadrado ( η 2=
se controla por el efecto de la comprensión verbal (dichos y antónimos).
0,042) indica que las diferencias son pequeñas. El examen de las
En el caso del razonamiento abstracto, las diferencias son
diferencias en las tres formas de la prueba e fi auto-ef en términos
estadísticamente significativos, pero el tamaño del efecto indica que las
de orden de aplicación (pruebas de efecto entre-sujetos) demostró
diferencias encontradas son prácticamente cero.
que no existen

Tabla 3

Las estadísticas descriptivas y pruebas de signi fi cación: normal, invertido, y formas combinadas de la prueba fi cacia auto-ef

Orden de administración

UNA si C

Separado por orden

M (SD) M (SD) M (SD) F pag η 2

ABC 73,10 (10,25) 80,07 (11,75) 77,42 (10,15) 16.58 <.001 0,222
(12,37 (9,77
ACB 70,00 (10,41) 75,13 ) 70,54 ) 4.98 . 016 0,096

BAC 71,04 (12,30) 76,48 (11,75) 73,69 (12,87) 8.94 <.001 0,160

BCA 72,08 (13,39) 74,46 (14,18) 72,24 (10,83) . 849 . 432 0,023

TAXI 71,93 (10,21) 77,56 (12,35) 74,95 (10,63) 7.49 <.001 0,151

CBA 74,45 (11,59) 79,09 (11,82) 75,13 (11,48) 5.74 . 004 0,111

UNA si C

M (SD) M (SD) M (SD) F PAG η 2

Colapsado través fin

72.13 (11.30) * 77.33 (12.36) * 74.18 (11.12) * 35.57 <.001 0,112

medios ajustada por covariables

Diciendo 71.79 77.38 74.30 0,19 . 831 0,001

Antónimos 71.89 77.19 74.27 0.91 . 403 0,004

PMA 72.16 77.36 74.23 3.39 . 036 0,012

notas: A = Forma A (elementos regulares); B = Forma B (artículos invertidas); C = Forma C (elementos regulares y revirtió combinados). M = promedio global entre sujetos. Media, SD = Desviación Estándar

* Tenga en cuenta que la F ensayos indicados en esta tabla son las diferencias intra-sujetos, los promedios globales de A, B, y C son estadísticamente significativos en todos los casos. Post-hoc test: B> C> A, p < . 001

diferencias estadísticamente significativas, ya sea en la forma regular ( F

Tabla 4

(5, 276) = 0,914; p = . 472) o la forma inversa ( F ( 5, 276) = 1.536; pag

Las correlaciones entre la comprensión verbal y las discrepancias entre una pareja
= 0,179). Aunque en la forma combinada se encontraron estadísticamente de las puntuaciones
signi fi
diferencias signifi ( F ( 5, 276) = 2.447; p = . 034), el tamaño del efecto estimado
a través parcial
eta cuadrado ( η 2 = 0,042) indica que las diferencias son pequeñas. Estos
resultados indican Diferencia Puntuacion

dichos antónimos PMA

compuesta 1

que el orden de aplicación no tiene efecto sobre los resultados. absoluta

| AB | -. 181 ** -. 104 -. 157 ** -. 172 *

Con el fin de comprobar los posibles efectos de la polarización de
allanamiento, las

| AC | -. 187 ** -. 045 -. 153 ** -. 094

desviaciones estándar de las tres formas (regular, invertidas, y combinados)
se

| AC | . 015 -. 117 -. 025 -. 089

calcularon (Tabla 3). La varianza de las puntuaciones en forma regular era

127,69, en

1 Las puntuaciones compuestas se crean mediante la conversión de cada puntaje bruto de refranes, antónimos, y PMA

forma invertida 152.80, y en la forma combinada 123,62. No hay diferencias

en una puntuación z y el cálculo de la puntuación z promedio

estadísticamente signi fi cativas (test de Levene = 1,445; df 1= 2; df 2= 843; p
= . 236)
* * p < . 01; * p < .
05

154
 Utilización de los elementos invertidos en las escalas de Likert: Una práctica cuestionable

el tratamiento de partidas regulares y invertida, como se recomienda al sesgo de

Para poner de relieve la relación entre verbal control de
la
comprensió y la redacción del día, se llevó a cabo un análisis más conformidad. Los resultados de este estudio muestran que para ser el caso, ya que el
n detallado. Para cada efecto
caso, la diferencia media absoluta entre un par de anotaciones: | AB |, | método desaparece cuando se controla por la comprensión verbal. Por lo tanto, la
AC | y | AC | se combinación
calculó, y cada uno de los tres absolutos puntuaciones medias de de elementos regulares y hacia abajo en la misma prueba debe, al menos, estar
diferencia se correlaciona acompañada
con cada uno de los covariables. Como Tabla 4 muestra, los individuos
con alta productos de una justificación de la posible sesgo introducido por las diferencias en los procesos
comprensión verbal menos discrepancia entre cualquier par de las
puntuaciones. Aunque los cognitivos de los participantes.
resultados muestran una relación modesta, que parecen ser lo
suficientemente fuerte como
para que las diferencias estadísticamente significativas entre los La segunda razón es que, en contraste con la opinión predominante, la
promedios encontrados en combinación
el ANCOVA desaparecer de elementos regulares y invertidas en la misma prueba disminuye la
(Tabla 3). variabilidad en las
respuestas. Es notable que la varianza más baja de resultados de las pruebas se
encontró
en forma combinada, que incluye tanto elementos regulares e invertidas. Estos
resultados
La correlación entre las puntuaciones en forma regular y la son rodamiento más comprensible en cuenta que varios investigadores sugieren
forma inversa se que el
0.62 ( p < . 001), entre combinada LA regular y que era 0,62 ( p < . allanamiento es estable en el tiempo (Alessandri y otros, 2010;. Weijters,
001), y entre la Geuens, y
inversa y las formas combinadas que era 0,66 ( p < . 001). Después Schillewaert, 2010). En consecuencia, no es razonable pensar que los
de aplicar la examinados a
corrección de atenuación, las correlaciones fueron 0,67, 0,63 y cambiar su estilo de respuesta en el momento de una evaluación específica c.
0,73, Además, la
respectivamente. La correlación entre las puntuaciones empíricos presentación de pruebas a los participantes fue aleatorio. Por lo tanto, los
directos y resultados
estimaciones del modelo de IRT (θ) de cada una de las formas presentados aquí no confirman que la estrategia de utilizar temas ordinarios y
estaba por encima hacia abajo
en la misma prueba reduce el sesgo de respuesta, que está en línea con los
hallazgos
.97 en cada uno de los tres
casos. anteriores de Van Sonderen et al. (2013).

Discusión
Basándose en los resultados del presente estudio hay cuatro razones
fundamentales para desalentar la combinación de elementos regulares y invertidas en
El uso de ambos elementos regulares y hacia abajo en la misma prueba. La primera razón es que el proceso cognitivo utilizado por los
las pruebas se introdujo con el objetivo de reducir el sesgo encuestados para cada tipo de elemento no es necesaria la misma, según la
de respuesta (Nunnally, 1978; Paulhus, 1991). En la investigación anterior (Marsh, 1986, 1996; Mestre, 1988). Aunque este estudio no
actualidad, un número significativo de los instrumentos de proporciona específico evidencia empírica sobre este tema, los resultados obtenidos
medición continúan utilizando esta estrategia y hay están de acuerdo con esta hipótesis. Desde un punto de vista psicológico, la
investigadores que recomiendan su uso (Weijters et al., comprensión de un elemento inverso necesita mejores habilidades lingüísticas, por lo
2013). Los que abogan por la combinación de elementos que estos elementos favorecen a aquellos examinados con mejor capacidad verbal. El
regulares y hacia abajo en la misma prueba argumentan problema se agrava cuando los examinados tienen que alternan entre
que cuando todos los artículos están en la misma dirección,
el sesgo de allanamiento y otro sesgo de respuesta pueden
estar presentes. La razón que dan para justificar el uso de
esta estrategia es que los efectos producidos por el método
de estos mecanismos están enmascarados por completo, y
pueden ser indetectable a menos que una medida directa
de efectos de método se utiliza (Podsakoff, MacKenzie, Lee,
y Podsakoff, 2003); los cuales medios de combinación
elementos regulares e invertidas para obtener una medida
de este tipo.

2013). Varios autores han propuesto diferentes métodos para

detectar el sesgo de estilo de respuesta (Ferrando y Lorenzo-Seva,
2010; Ferrando, Lorenzo-Seva, y Chico, 2003; Savalei y Falk, 2014).
Uno se acerca lo más novedoso es la descomposición de la calificación
de los datos en varios procesos de respuesta sobre la base de un
árbol procesamiento multinomial (Böckenholt, 2012; Khorramdel y von
Davier, 2014). Las ventajas de la utilización de estos métodos son
claras; Permiten detectar el sesgo de estilo de respuesta y controlar
el efecto que tienen en las puntuaciones. A pesar de que la mayoría
de estos métodos presentan evidencia empírica para su uso, también
hay una serie de desventajas que pueden ser enumerados.
 cio peor, y aumentar el rechazo de unifactorial a favor de modelos
multidimensionales (Dunbar et al., 2000 ; Esaú et al, 2012;.. Horan et

La tercera razón es que las propiedades psicométricas de al, 2003; Woods, 2006). Estos resultados parecen estar en línea con la

la prueba son sustancialmente peor cuando los temas idea de que, cuando los elementos regulares y su reversión, se

ordinarios y su reversión, se combinan en la misma prueba. combinan en la misma prueba, se bene fi cios aquellos examinados con

Los resultados muestran que la precisión de la prueba y el mejores habilidades verbales. Como consecuencia, el constructo que

poder discriminatorio de los elementos disminuye cuando se está midiendo puede estar contaminado por otras variables que

los artículos regulares y su reversión, se incluyen en la tienen poca relación con el objetivo de la evaluación. Algunos

misma prueba. Estos resultados están en línea con los investigadores han sugerido que la personalidad también pueden

encontrados por otros autores (Bourque y Shen, 2005;. estar involucrados en la forma de responder a cuestiones regulares y

Carlson et al, 2011; Chiavaroli, 2017; Ebesutani et al, 2012;. hacia abajo en la misma prueba (DiStefano y Motl, 2009;. Horan et al,

Hughes, 2009; Józsa y Morgan, 2017; Solís-Salazar, 2015). 2003). Las investigaciones futuras arrojar más luz sobre lo que

También vale la pena señalar que la fiabilidad prueba- realmente está siendo evaluado cuando los elementos se combinan y

reprueba es de alrededor de 0,80, sin embargo, las sobre cómo el constructo supuestamente se está midiendo es

correlaciones entre los, invertido, y formas combinadas enmascarado.

regulares varían entre 0,62 y 0,66. Estos datos indican que a

pesar del hecho de que las formas evalúan el mismo
constructo, no pueden ser considerados formas paralelas de
la misma prueba (Evers et al., 2013). La evaluación de la
invariancia factorial proporciona evidencia de que los
artículos no están midiendo con la misma precisión en cada La cuarta razón es que existen diferencias estadísticamente signi fi
grupo (Dimitrov, 2010). Lo mismo sucede con la cativas en las puntuaciones medias en términos de si los artículos de la
dimensionalidad, como el fi cio de los datos al modelo prueba son regulares, invertido, o combinada. fi Específicamente, las

también se ve afectada, lo que hace más difícil para apoyar puntuaciones más altas se ven en la forma inversa, seguido por el

la idea de la unidimensionalidad. Estos resultados convergen combinado, y el regular. Estos resultados pueden estar relacionados con el

con otros resultados en la literatura científica, y apoyan la sesgo con fi rmación, la tendencia para activar las creencias que son

idea de que la inclusión de este tipo de elementos afecta consistentes con la

especialmente a la unidimensionalidad, haciendo que la fi

155
 Javier Suárez-Álvarez, Ignacio Pedrosa, Luis M. Lozano, Eduardo García-Cueto, Marcelino Cuesta y José Muñiz

sentido en el que el artículo está escrito (Davies, 2003). Estudios previos han artículos invertido para controlar el sesgo de estilo de respuesta, pero estos
sugerido que si un resultados los
elemento se presenta primero, las puntuaciones en los ítems invertidos son investigadores advierten en su uso, así después de considerar el efecto
inverso más altos potencial de las
(Weijters et al., 2013). Sin embargo, los resultados del presente estudio
muestran que las habilidades lingüísticas y los hallazgos presentados en este estudio.
puntuaciones más altas se obtienen cuando todos los elementos se invierten.
Con respecto a estos
resultados, vale la pena recordar que los examinados tienden a estar en Ciertas limitaciones deben tenerse en cuenta a la hora de interpretar los
desacuerdo con los objetos resultados.
invertidos más de lo que están de acuerdo con los artículos regulares (Solís- Lo más importante, sería conveniente mejorar tanto la representatividad de la
Salazar, 2015). Por muestra y
ejemplo, con el tema “ Soy capaz de organizar mi propio trabajo ”38% de los usar otras muestras para comprobar la validez de los resultados a nivel
participantes transcultural
respondieron,“ Totalmente de acuerdo ”. Cuando el artículo fue presentado a (Byrne y van de Vijver, 2017;. Essau et al, 2012; Muñiz, Elosua , Padilla, y
los mismos como los Hambleton,
examinados “ Soy incapaz de organizar mi propio trabajo ”, El 48,2% 2016). Esto mejoraría la robustez de los resultados relacionados con la bondad
respondió“ Totalmente en de la
desacuerdo ”. Tenga en cuenta que estos dos elementos tendrían la máxima evaluación fi cio, la precisión de las estimaciones de los parámetros, y la
puntuación en la auto-e evaluación
invariancia de medición. Los resultados de esta investigación se centran
fi cacia vez que se redirige el elemento inverso. principalmente
en la aquiescencia sesgo, en el futuro, sería útil examinar más profundamente
en el otro
sesgo de respuesta como descuidada responder (Kam y Meyer, 2015). En esos
casos,
En resumen, de acuerdo con los resultados obtenidos, la estrategia sería aconsejable el uso de escalas de infrecuencia (donde la respuesta al ítem
de utilizar se
elementos regulares y revirtió combinados en una sola prueba tiene conoce previamente), que permitiría la detección de personas que responden al
significantes azar o
consecuencias fi no puede negativas: a) la precisión de la medición del
instrumento es fl de forma deshonesta (Muñiz et al., 2014). Para una estimación del efecto de
awed; b) la interpretación de unidimensionalidad instrumento se pone en
peligro por aquiescencia en las respuestas, post-hoc se recomiendan controles a través de
fuentes secundarias de varianza; c) la varianza de la forma combinada es medidas explícitas de consentimiento (Baumgartner y Steenkamp, 2001;
reducida; d) Weijters et al,
las puntuaciones de los examinados difieren fi significativamente de los 2013).. La importancia de sesgo aquiescencia cuando se utiliza una
obtenidos en administración test
pruebas en las que todos los artículos son de forma similar; e) las
habilidades verbales adaptativo informatizado tiene que ser investigado (Pedrosa, Suárez-Álvarez,
en las respuestas de los examinados uir fl. Estas conclusiones son dignas García-Cueto, y Muñiz, 2016). Por último, una de las alternativas más
de promisorias para
consideración por varias razones. En primer lugar, se utilizó un diseño de el control de los estilos de respuesta es el uso de viñetas de anclaje (Bolt, Lu, y
medidas Kim,
repetidas, que no ha sido usado antes con estos objetivos. Esto permite 2014) a pesar de que también se han presentado limitaciones cuando los
una supuestos son
investigación mucho más exhaustiva, rigurosa, la reducción de las
fuentes de error, y la violados (von Davier, Sim, Khorramdel, y Stankov, 2017).
atribución de diferencias en las características del instrumento de
medición, evitando
efectos de confusión. En segundo lugar, la comparación de los resultados
cuando todos
los artículos son regulares, todos están invertidas, y cuando se
combinan ambos tipos
destaca que el problema no es con los objetos regulares, sino más bien
con la
combinación de elementos regulares y hacia abajo en la misma prueba.
En tercer lugar,
la evaluación de clientes potenciales habilidades verbales para una
mejor comprensión Agradecimientos
de las consecuencias de la combinación de elementos en los procesos
psicológicos de
los participantes al responder, que confirman investigaciones anteriores Las opiniones expresadas en el documento representan los puntos de
(van Sonderen, vista
2013;. Weijters et al, 2013). En conclusión, los resultados de este de los autores y no representan una posición de fi cial de la Organización
estudio presente un para la
compromiso entre un potencial de sesgo aquiescencia cuando los Cooperación y el Desarrollo. Esta investigación fue financiada por la
artículos están Asociación
redactados positivamente y un potencial comprensión diferente cuando Española de Metodología de las Ciencias del Comportamiento y de la
se combinan Salud
(AEMCCO), miembro de la Asociación Europea de Metodología (EAM), y por
elementos regulares y hacia abajo en la misma prueba. el
programa FPI del Ministerio de Economía y Competitividad del Gobierno
de
España (PSI2014- 56114-P, BES2012-053488, y PSI2017-85724-P).

referencias
Abad, FJ, Olea, J., y Ponsoda, V. (2011). Medición en Ciencias Sociales
y de la Salud [ De medición en las ciencias sociales y de salud]. Madrid: Síntesis.
Alessandri, G., Vecchione, M., Fagnani, C., Bentler, PM,
Barbaranelli, Bolt, DM, Lu, Y., y Kim, JS (2014). Medición y control de
C., Medda, E., ..., y Caprara, GV (2010). Mucho más que el estilos de respuesta utilizando viñetas de anclaje: un enfoque basado en modelos.
modelo fi tting? La evidencia de la heredabilidad del efecto Métodos psicológicos, 19 ( 4), 528-541. doi:
método asociado ítems formulados en positivo de la 10.1037 / met0000016 Bourque, LB, y Shen, H. (2005).
orientación de vida Revisado Test. Características psicométricas de español
Modelos de Ecuaciones Estructurales, 17, 642-653. DOI: 10.1080 / y versiones en inglés de la escala Mississippi Civil. Journal of
10705511.
Traumatic Stress, 18 ( 6), 719-728. doi: 10.1002 / jts.20080
2010.510064
Brooks, GP, y Johanson, GA (2003). programa de análisis de la prueba. Aplicado
Baker, F. (2001). Los fundamentos de la teoría de respuesta al ítem.
Universidad de
La medición psicológica, 27, 305-306. Brown, A. (2015). modelos de
respuesta al ítem de cuestionarios de elección forzada:
Maryland: College Park: Cámara de compensación en
Valoración y Evaluación. Un marco común. Psychometrika, 81 ( 1), 135-160. dOI: 10.1007 / s11336-
014-9434-9

Brown, A., y Maydeu-Olivares, A. (2012). ¿Cómo podemos resolver los problemas IRT
Baumgartner, H., y Steenkamp, JBEM (2001). estilos de respuesta ipsativas de los datos en el cuestionario de elección forzosa. Métodos psicológicos, 18 ( 1),
36-52.
en la comercialización de la investigación: Una investigación transnacional. Journal of Marketing
Research, 38, 143-156. doi: 10.1509 / jmkr.38.2.143.18840 Böckenholt, U. (2012). Modelado de Byrne, B., & van de Vijver, FJR (2017). La máxima verosimilitud
múltiples procesos de respuesta en el juicio enfoque de alineación para las pruebas de invariancia medida aproximada: Una
aplicación
y la elección. Psychological Methods, 17, 665-678. transcultural paradigmático. Psicothema, 29, 539-551.

156
 Utilización de los elementos invertidos en las escalas de Likert: Una práctica cuestionable

Cai, L. (2013). fl exMIRT versión 2: multinivel flexible

multidimensional García-Cueto, E., Muñiz, J., y Yela, M. (1984). Estructura factorial de
análisis ítems y la prueba de puntuación [software de ordenador]. Chapel Hill,
de Carolina del Norte: Vector La Comprensión verbal [Estructura factorial de la comprensión verbal].
psicométrica
Grupo. Investigaciones Psicológicas, 2 ( 2), 59-75.
Carlson, M., Wilcox, R., Chou, CP., Chang, M., Yang, F.,
Blanchard, J., ..., Haladyna, TM, Downing, SM, y Rodríguez, MC (2002). Una revisión
Y Clark, F. (2011). propiedades psicométricas de los ítems se calificó
inversa en la CES-D en de opción múltiple directrices-escritura de artículos para evaluación en el aula.
una muestra de diversidad étnica adultos mayores. Evaluación Psicológica,
23 ( 2), 558-562. doi: De valoración aplicados en Educación, 15 ( 3), 309-334.
10.1037 /
a0022484. Haladyna, TM, y Rodríguez, MC (2013). Desarrollo y validación de la prueba
Chiavaroli, N. (2017). Negativamente redactado preguntas de
elección múltiple: artículos. Nueva York, Nueva York: Routledge.
Una amenaza para la validez evitables. Evaluación práctica, investigación y
evaluación, 22 ( 3), Horan, PM, DiStefano, C., y Motl, RW (2003). efectos de redacción en auto
escalas de autoestima: artefacto metodológico o estilo de respuesta? Modelos de
1-14. Ecuaciones
Chiorri, C., Anselmi, P., y Robusto, E. (2009). artículos no
son inversas Estructurales, 10, 444-455.
opuestos de elementos sencillos. En U. Savardi (Ed.), La percepción y
cognición de los Hughes, D. (2009). El impacto de las respuestas incorrectas a inversa codificada
contrarios ( pp. 295-328). Milano: McGraw-Hill.
Cronbach, elementos de la encuesta. La investigación en las Escuelas, 16 ( 2), 76-88.
LJ (1946). Respuesta conjuntos y prueba validez. IBM (2011). IBM SPSS Statistics para Windows, versión 20 [ Computadora
y psicológico de 475-
Educativo medición, 6, 494. software]. Armonk, Nueva York: IBM Corp.
doi: 10.1177 /
001316444600600405 Józsa, K., & Morgan, GA (2017). artículos invertidas en las escalas de Likert: Filtrado
Cronbach, LJ (1950). Otra prueba de conjuntos de respondedores no válidos fuera. Revista de Investigación Psicológica y Educativa,
respuestas y pruebas 25 ( 1),
diseño. Educativo y psicológico de medición, 10 ( 1), 3-31. doi:
10.1177 / 7-25.
001316445001000101 Kam, CCS, y Meyer, JP (2015). Cómo responder y descuidada
Cumming, G., & Finch, S. (2006). Inferencia por ojo: intervalos de lata aquiescencia sesgo de respuesta in fl uencia dimensionalidad construcción: El caso de
confianza de Con la satisfacción
y cómo leer las imágenes de datos. American Psychologist, 60
( 2), 170- en el trabajo. Métodos de investigación de organización, 18 ( 3), 512-
180. doi: 10.1037 / 0003-066X.60.2.170 541. doi: 10.1177 / 1094428115571894
Davies, MF (2003). Con fi rmación sesgo en la evaluación de la
personalidad Khorramdel, L., y von Davier, M. (2014). La medición de los estilos de respuesta a través
las descripciones: estrategias de prueba positivos y la interferencia de salida. los cinco grandes: Una extensión de un enfoque de múltiples escalas utilizando árboles de
Journal of Personality procesamiento
and Social Psychology, 85, 736-744. doi: multinomiales. Multivariante Investigación del Comportamiento, 49 ( 29), 161-177. d oi:
10.1037 / 0022- 10.1080 /
00273171.2013.866536. Kline, RB (2010). Principios y práctica de modelado de ecuaciones
3514.85.4.736 estructurales.
De Ayala, RJ (2009). La teoría y la práctica de la teoría de
respuesta al ítem.
Nueva York: Guilford Press. Lane, S. Raymond, MR, y Haladyna, TM (2016).
Nueva York: Guilford Press. Manual
Dimitrov, DM (2010). Las pruebas para detectar la invariancia factorial
en el contexto de de prueba
construir validación. Medición y Evaluación en Orientación y desarrollo (2 Dakota del Norte edición). Nueva York, Nueva York: Routledge. Liang, T., Han,
Desarrollo, 43 ( 2), KT, y
121-149. doi: 10.1177 /
0748175610373459 Hambleton, RK (2008). Guía del usuario para
DiStefano, C., y Motl, RW (2009). correlatos de personalidad de efectos ResidPlots-2: Software para el análisis de la TRI residuales gráficas, versión 2.0 ( Centro
de método para la
debido a artículos redactados negativamente en la escala de
autoestima de Rosenberg. Evaluación de la Investigación para la Educación Informe No.
Personalidad y diferencias individuales, 46, 309-313. DOI: 10.1016 / j. 688). Amherst: Centro para la Evaluación de la Educación, Universidad de
paid.2008.10.020 Massachusetts.
Dunbar, M., Ford, G., Hunt, K., y Der, G. (2000). redacción
de la pregunta Liang, T., Han, KT, y Hambleton, RK (2009). ResidPlots-2: Computer
efectos en la evaluación de la autoestima global. European modelo de revisión de la EFPA. Psicothema, 25 ( 3), 283-291. doi: 10.7334 /
Journal of Psychological Assessment, 16 ( 1), 13-19. doi: psicothema2013.97
10.1027 // 1015-
5759.16.1.13 Feldt, LS (1969). Una prueba de la hipótesis de que el alfa de Cronbach o Kuder
Ebesutani, C., Drescher, CF, Reise, SP, Heiden, L., High, TL, Damon, Richardson fiabilidad coeficiente de veinte. Psychometrika, 30, 357-370. Ferrando,
PJ, y
JD, & Young, J. (2012). La soledad Cuestionario-Versión corta: Una evaluación de los
Lorenzo-Seva, U. (2010). Aquiescencia como una fuente de sesgo
ítems formulados inversa de la no-inverso redactado como a través de la teoría de
respuesta al ítem. Revista de Personalidad Evaluación, 94 ( 4), 427- y el modelo y la persona MIS fi t: Un análisis teórico y empírico. British Journal

437. doi: 10.1080 / 00223891.2012.662188. of Mathematical y Psicología de Estadística, 63, 427-448. Ferrando, PJ, y Lorenzo-
Seva, U.
Elosua, P., y Zumbo, BD (2008). cientes fiabilidad coe fi para
(2017). FACTOR programa a las 10:
ordinal
escalas de respuesta. Psicothema, 20 ( 4), 896-901. Orígenes, el desarrollo y las direcciones futuras. Psicothema, 29, 236-240.
Ferrando, PJ, Lorenzo-Seva, U., y Chico, E. (2003). Factor sin restricciones
Esaú, CA, Guzmán, BO, Anastassiou-Hadjicharalambous, X., Pauli,
G., Gilvarry, C, Bray, D., ..., y Ollendick, TH (2012). propiedades procedimientos analíticos para evaluar la respuesta aquiescente en escalas de personalidad, teóricamente
unidimensionales equilibrado. Multivariante Investigación del Comportamiento, de 38 años, 353-374.
psicométricas de la
fuerza y di fi cultades al cuestionario de cinco países
europeosInternational. Journal of Methods in Psychiatric Research, Fernández-Alonso, R., Suárez-Álvarez, J., y Muñiz, J. (2012). imputación
21 ( 3), 232-245. doi: 10.1002 / mpr.1364 métodos para datos faltantes en la evaluación de diagnóstico educativo.
Psicothema, 24 ( 1), 167-175.

Evers, A., Muñiz, J., Hagemeister, C., Hstmælingen, A., Lindley, P., Fonseca-Pedrero, E., y Debbané, M. (2017). y los rasgos esquizotípicos
Sjöberg, A., y Bartram, D. (2013). La evaluación de la calidad de las psicóticos similares a las experiencias durante la adolescencia: Una actualización.
Psicothema,
pruebas: Revisión del
29, 5-17. IRT software para análisis residuales gráficas. Applied Psychological
Measurement, 33 ( 5), 411-412.
Lorenzo-Seva, U., y Ferrando, PJ (2013). Manual del programa
FACTOR v. 9.20. Obtenido de: http: // factor de psico.fcep.urv.es/utilitats/ /
documentación / manual-de-la-Factor-Programa-v92.pdf Marsh, HW (1986).
Negativo tema sesgo en las calificaciones de las escalas para preadolescentes
hijos: Un fenómeno cognitivo-evolutivo. Psicología del Desarrollo, 22
( 1), 37-49.
doi: 10.1037 / 0012-1649.22.1.37
Marsh, HW (1996). Positiva y negativa autoestima mundial:
Una sustantivamente distinción significativa o artifactors?
Journal of Personality and Social Psychology, 70, 810-819. doi:
10.1037 / 0022-
3514.70.4.810
Mestre, JP (1988). El papel de la comprensión del lenguaje en matemáticas
y la resolución de problemas. En RR Cocking y JP Mestre (Eds.),
Lingüística y cultural influencias sobre el aprendizaje de las
matemáticas ( pp. 200-220). Hillsdale, NJ: Lawrence Erlbaum
Associates. Moreno, R., Martínez, R., y Muñiz, J. (2004). Directrices
para la construcción
de varios elementos de prueba elección. Psicothema, 16 ( 3), 490-497.
Moreno, R., Martínez, R., y Muñiz, J. (2006). Nuevas directrices para
el desarrollo de preguntas de elección múltiple. Metodología, 2 ( 2), 65-72.
Moreno, R., Martínez, R., y Muñiz, J. (2015). Directrices sobre la base de validez
criterios para el desarrollo de reactivos de opción múltiple. Psicothema, 27 ( 4),
388-394. doi:
10.7334 / psicothema2015.110
Muñiz, J., Elosua, P., Padilla, JL, y Hambleton, RK (2016). Prueba
normas de adaptación para la evaluación cruzada lingual. En CS Wells y
M. Faulkner-Bond (Eds.), La medición de la Educación. Desde los cimientos
para el futuro (pp. 291-304). Nueva York: Guilford Press El. Muñiz, J.,
Sánchez, P., y Yela, M. (1986). Comprensión verbal en

Y monolingües Bilingües [comprensión verbal en monolingües y

bilingües]. Informes de Psicología, 5, 139-153. Muñiz, J., Suárez-
Álvarez, J., Pedrosa, I., Fonseca-Pedrero, E., y
García-Cueto, E. (2014). Emprendedores personalidad per fi l en la juventud:
Componentes y
evaluación. Psicothema, 26 ( 4), 545-553. doi: 10.7334 / psicothema2014.182

Muthén, LK, y Muthén, BO (1998-2012). Guía del usuario

mplus. Séptimo Edición. Los Ángeles, CA: Muthén y
Muthén.

157
 Javier Suárez-Álvarez, Ignacio Pedrosa, Luis M. Lozano, Eduardo García-Cueto, Marcelino Cuesta y José Muñiz

Navarro-González, D., Lorenzo-Seva, U., y Vigil-Colet, A. (2016). Trigo, ME, y Martínez, RJ (2016). plaza de ETA generalizada
Como respuesta sesgo afecta a la estructura factorial de la personalidad autoinformes. Psicothema, comparaciones múltiples en diseños inter-grupos.
Psicothema, 28,
28, 465-470. Nunnally, JC (1978). teoría psicométrica (2ª ed.). Nueva
York, NY: 340-345.
van der Linden, WJ, y Hambleton, RK (1996). Handbook of Modern
Teoría de Respuesta. Nueva York: Springer-Verlag. van Sonderen, E.,
McGraw-Hill. Sanderman,
Paulhus, DL (1991). Medición y control del sesgo de respuesta. En
J. R., y Coyne, JC (2013). Inoperancia
P. Robinson, PR máquina de afeitar, y LS Wrightsman (Eds.), Las medidas redacción del reverso de los ítems del cuestionario: Aprendamos de vacas en la lluvia. PLoS
de la personalidad y ONE,
las actitudes sociales y psicológicos ( pp. 17-59). San Diego, CA: Academic
Press.

8 ( 7), e68967. doi: 10.1371 / journal.pone.0068967

von Davier, M., Shin, HJ., Khorramdel, L., y Stankov, L. (2017). los
Pedrosa, I., Suárez-Álvarez, J., García-Cueto, E., y Muñiz, J. (2016). UNA efectos de puntuación viñeta sobre la fiabilidad y la validez de auto-informes.
test adaptativo informatizado para la evaluación de la personalidad emprendedora Aplicada Psicología de medición. La publicación anticipada en línea. dOI:
en la juventud. Psicothema, 28, 471-478.
10.1177 / 0146621617730389
Podsakoff, PM, MacKenzie, SB, Lee, JY, y Podsakoff, NP (2003). Weijters, B., y Baumgartner, H. (2012). Misresponse a reversa y
sesgos método común en la investigación del comportamiento: Una revisión
Los productos negados en las encuestas: una revisión. Journal of Marketing Research,
crítica de la literatura y de los remedios recomendados. Journal of Applied
49, 737-747.
Psychology,
Weijters, B., Baumgartner, H., y Schillewaert, N. (2013). elemento inversa
88, 879-903. doi: 10.1037 / 0021-9010.88.5.879
sesgo: Un modelo integrador. Psychological Methods, 18, 320-334.
Prieto, G., y Delgado, AR (1996). Construcción de los elementos [artículo
Weijters, B., Cabooter, E., y Schillewaert, N. (2010). El efecto de la
desarrollo]. En J. Muñiz (Ed.), psicometría ( pp. 105-135). Madrid:
Universitas. calificación
formato de escala de estilos de respuesta: El número de categorías de

Samejima, F. (1969). Estimación de la capacidad latente usando un patrón de respuesta y la respuesta de la categoría etiquetas. Revista Internacional de
respuesta de Investigación en Marketing, 27 ( 3), 236-247. doi: 10.1016 /
las puntuaciones graduadas. Psychometrika Monografía, 17. j.ijresmar.2010.02.004
Savalei, V., y Falk, CF (2014). Recuperación de pesos de los factores fundamentales en Weijters, B., Geuens, M., y Schillewaert, N. (2009). El efecto de proximidad:
la presencia de sesgo de aquiescencia: Comparación de tres enfoques. La función de la distancia entre tema sobre el sesgo-elemento inverso. Revista
Multivariante Investigación del Comportamiento, 49 ( 5), 407-424. doi: 10.1080 / Internacional de Investigación en Marketing, 26 ( 1), 2-12. DOI: 10.1016 / j.
00273 ijresmar.2008.09.003
171.2014.931800
Solís-Salazar, M. (2015). El dilema de combinar positivo y Weijters, B., Geuens, M., y Schillewaert, N. (2010). La estabilidad de
elementos negativos en las escalas. Psicothema, 27 ( 2), 192-
estilos de respuesta individual. Psychological Methods, 15, 96-
199. doi: 10.7334 / psicothema2014.266
110. Wilson, M. (2005). La construcción de medidas: el modelado Una
Suárez-Álvarez, J., Pedrosa, I., García-Cueto, E., y Muñiz, J. (2014). respuesta al ítem
La detección de la personalidad emprendedora en la juventud: un modelo empírico.
Acercarse. Mahwah, NJ: Erlbaum.
Revista Española de Psicología, 17 ( E60). doi: 10.1017 / Woods, CM (2006). Careless responder a revertir redactadas
sjp.2014.61 Swain, SD, Weathers, D., y Niedrich, RW (2008). La
artículos: Implicaciones para el análisis con fi rmación del factor. Diario
evaluación de tres
de la psicopatología y de Comportamiento Evaluación, 28 ( 3), 189-194.
fuentes de misresponse a artículos de Likert invierte. Journal of
doi: 10.1007 / s10862-005-9004-7 Yela, M. (1987). Estudios sobre
Marketing Research, 45, 116-131. Thurstone, L. (1996). Test de
inteligencia y lenguaje [ Los estudios sobre
Aptitudes Primarias [ mental primaria

la inteligencia y el lenguaje]. Madrid: Pirámide.

Habilidades]. Madrid: TEA Ediciones (1938 Orig.).
158