VALIDACIN Y ESTANDARIZACIN DE INSTRUMENTOS1

La investigacin cientfica hace uso, entre otros, de teoras, conceptos, metodologas, tcnicas e instrumentos, con el fin de aumentar el conocimiento existente respecto a algo (Bunge, 1989). La metodologa cuantitativa, en el modelo general de ciencia, ha propuesto diferentes tipos de investigacin que buscan alguno de los siguientes tres objetivos: describir, predecir y controlar (Clark-Carter, 2002), haciendo para ello uso de instrumentos de medicin que permitan obtener la informacin ya sea con fines descriptivos, o la usada para predecir fenmenos o la que da cuenta del grado de control que se tiene sobre lo conocido. Los instrumentos son por tanto aquellas herramientas que permiten obtener evidencia, y cuando sta se provee en trminos de unidades de medida entonces tal instrumento es catalogado como cientfico. En el presente documento se har referencia de manera exclusiva a este tipo de instrumentos y el proceso que se debe seguir para asegurar su calidad y modo de uso. En este sentido, primero se expondr brevemente que implica la medicin, luego el papel que juegan los instrumentos en la misma; posteriormente, se presentarn las caractersticas tcnicas que debe tener un instrumento para que sea considerado valido y se concluir con algunos lineamientos para garantizar el adecuado uso de los instrumentos y sus resultados.

Instrumentos de Medicin En primera instancia y tal como lo indica Herrera (1998, p.16):
Un instrumento de medida es la tcnica o conjunto de tcnicas que permiten la asignacin numrica a las magnitudes de la propiedad o atributo ya sea por comparacin con las unidades de medida o para provocar y cuantificar las manifestaciones del atributo cuando ste es medible slo de manera indirecta. Un instrumento debe satisfacer tres exigencias bsicas:

Documento elaborado por Juan Carlos Espinosa Mndez miembro del Equipo Interdisciplinario de la Universidad Nacional de Colombia, coordinado por Jos Ignacio Ruz, para la Subdireccin de Evaluacin y Tratamiento del INPEC en el marco del Convenio Interadministrativo de Cooperacin Acadmico-Cientfico No. 29 de 2008

Validacin y Estandarizacin de Instrumentos

1. Detectar la seal sin interferencia y, en especial, sin intervencin del operador. La operacin de medida es la interaccin objeto de medida-instrumento, por tanto el inters no es ya el objeto de medida sino el complejo objeto-instrumento. 2. No provocar reaccin en el objeto de medida o, de ser as, tal reaccin debe ser calculable. 3. Basarse en supuestos determinados sobre la relacin entre la propiedad y el efecto observado.

Como se aprecia en el texto de Herrera (1998), los instrumentos no se reducen a cuestionarios, inventarios o test, aunque estas sean las formas ms comunes y reconocidas de los instrumentos de medida, sino que este concepto se extiende a todas aquellas herramientas que cumplan con las condiciones y exigencias mencionadas. En el texto anterior tambin se evidencian otros aspectos tales como la medicin directa e indirecta, sensibilidad para captar las seales, resultados y su interpretacin, las cuales se desarrollan brevemente a continuacin. La medicin se conceptualiza como el proceso de cuantificacin, el cual consiste en atribuir nmeros a las caractersticas observadas de acuerdo con reglas previamente definidas (Bunge, 1989, Kerlinger y Lee, 2002). En este sentido, Herrera (1998, p.11) indica que
puede entenderse la medicin como el procedimiento necesario para la adquisicin de informacin sobre un atributo de un objeto, sujeto o evento en un momento determinado; tal adquisicin de informacin obedece a un objetivo especfico e implica la estimacin, con ayuda de un instrumento de medicin, de la magnitud de dicho atributo en trminos de la unidad de medida; el resultado de dicho procedimiento es expresado mediante nmeros.

El procedimiento que seala Herrera (1998) inicia con la definicin conceptual del atributo que se desea medir, contina con la eleccin del tipo de medicin: directa o indirecta, en la que se evala el atributo o manifestaciones que se atribuyen a dicho atributo. Posteriormente, se elige o construye el instrumento de medicin, se aplica, se obtienen los resultados numricos, que son interpretados en un marco de referencia particular, para un momento y condiciones tambin particulares. La definicin conceptual del atributo que se desea medir, es un aspecto fundamental de la medicin, pues de ello depende el tipo de medicin que se realice, el instrumento que se use y la interpretacin de los resultados obtenidos (Aiken,

Validacin y Estandarizacin de Instrumentos

2003, Coolican, 2005). En este sentido la definicin de variables, dimensiones y compontes es el primer paso en el diseo e implementacin de un proceso de medicin. La medicin directa o indirecta depende en gran parte del atributo que se desee medir, en algunos casos no se tiene acceso al atributo sino de manera mediada por las manifestaciones que se consideran producto de tal atributo; como por ejemplo, cuando se determina la presencia del atributo por sus consecuencias. Por tal razn, cuando el proceso de medicin es indirecta, se requiere tener evidencia robusta de la relacin existente entre lo que realmente se est midiendo y el atributo que se supone se mide, cuanto ms fuerte la evidencia, ms precisa la medicin, pues tal como lo expresan Kerlinger y Lee (2002), cuando se realiza una medicin no se hace realmente ni sobre un objeto, sujeto o evento, ni siquiera sobre sus propiedades como lo indican Brown (1980) y Aiken (2003), sino que la medicin se realiza sobre indicadores de las propiedades, por lo que podra afirmarse que la mayora de los procesos de medicin son indirectos. Tal como se indic el proceso de medicin se realiza con apoyo en algunos instrumentos de medida, los cuales se pueden elegir dentro de la amplia gama existente en el mercado o se pueden construir de acuerdo con los requerimientos que se tengan (Hernndez, Fernndez y Baptista, 2007). La eleccin o construccin de un instrumento se basa en cuestiones tan variadas tales como las necesidades que se tengan, los objetivos que se persigan, de la accesibilidad al instrumento, la calidad psicomtrica del mismo, la poblacin a la cual va dirigida, la adaptacin para las condiciones con las que se cuentan, etc. Sin embargo, los aspectos ms importantes son el atributo que se desea medir, el objetivo de la medicin (describir, comprobar modelos o evaluar intervenciones) y las propiedades psicomtricas del instrumento (confiabilidad y validez), aspectos que se desarrollan posteriormente en el apartado de validacin. El siguiente paso en el proceso de medicin es la aplicacin y calificacin de los instrumentos, el cual es de de vital importancia en este proceso, ya que en algunos casos hay una adecuada conceptualizacin del atributo, los instrumento cumplen con los criterios de calidad necesarios, pero si el usuario incurre en errores de aplicacin

Validacin y Estandarizacin de Instrumentos

o calificacin entonces no se obtendra la informacin real y verdadera que se persigue. Por norma general, todo instrumento de medicin cuenta con un manual de uso, en el que se especifican los parmetros para su correcta aplicacin y calificacin, pues la objetividad de los instrumentos de medicin se basa fundamentalmente en que el resultado obtenido dependa del atributo medido y no del operador del instrumento, es decir, que sin importar quin aplique o califique el instrumento, el resultado debe ser el mismo para un atributo de la misma magnitud medido de la misma manera (Herrera, 1998). Por tal motivo, es fundamental que antes de usar un instrumento de medicin se reciba el adecuado entrenamiento, el cual algunas veces es tan sencillo como leer previamente el manual y seguir las instrucciones que ah se indican y algunas veces tan complejo que se requiere un aprendizaje asistido por expertos en el uso de tales instrumentos. Autores como Cohen y Swerdlik (2001), Hogan (2004), Kaplan y Saccuzzo (2006), entre otros, hacen recomendaciones generales para la adecuada aplicacin y calificacin de los instrumentos de medicin. En general, las recomendaciones son sobre el contar con una adecuada planeacin de la evaluacin, es decir, no hacer la evaluacin por solo la oportunidad de hacerla, sino que sta debe estar enmarcada en un plan general con objetivos claramente definidos y eleccin de instrumentos basados en consideraciones tales como la poblacin meta, calidad tcnica de los instrumentos y posibles usos de los resultados. Otro aspecto en el que enfocan las recomendaciones es el desarrollo de la evaluacin, desde contar con el espacio y tiempo necesario hasta la relacin entre evaluado y evaluador, la cual entre otras, debe estar mediado por normas ticas de ejercicio profesional, adecuado entrenamiento en el uso de las herramientas, etc. Finalmente, hacen recomendaciones sobre la calificacin, la cual debe seguir parmetros clara y previamente establecidos en el manual de uso, pues de otra manera no se puede garantizar aspectos tales como la objetividad, la replicabilidad y la transparencia. El paso final del proceso de medicin es la interpretacin de resultados, momento en el cual autores como Brown (1980) sealan que se pasa de la medicin a la

Validacin y Estandarizacin de Instrumentos

evaluacin, pues la primera est interesada en responder la pregunta de Cunto?, es decir, el resultado expresado en unidades de medida, mientras que la segunda pretende emitir un juicio con base en tal resultado. Sin importar si la interpretacin hace parte de la evaluacin o de la medicin, lo fundamental es que tal interpretacin solo es posible dentro del marco conceptual que se us como referencia para iniciar el proceso de medicin. En otras palabras, el resultado de la medicin slo tiene sentido e interpretacin dentro del marco conceptual del atributo que se est midiendo, por lo cual las conclusiones solo son sobre dicho atributo y no sobre otro, y solo tienen el alcance que ha sido demostrado y no el de especulaciones con pretensiones de verdad que se basan en el hecho de haber usado un instrumento de medicin, aunque ste cuente con los criterios de calidad que se examinan a continuacin.

Validacin de Instrumentos de Medicin En este apartado se presentar de forma resumida el sustento conceptual en el que se basa el diseo y construccin de los instrumentos de medicin, tambin se expondrn los principales aspectos tericos sobre la calidad tcnica o propiedades psicomtricas de tales instrumentos, as como los procedimientos genricos para su estimacin.

Teora Clsica de los Test Actualmente existen tres teoras psicomtricas denominadas Teora de Respuesta al tem (ver Hambleton, Swaminathan y Rogers, 1991; Muiz, 1997), Teora dela Generazabilidad (ver Cronbach, Gleser, Nanda y Rajaratnam, 1972; Shavelson y Webb, 1991), y Teora Clsica de los Test (Brown, 1980; Nunally, 1987; Thorndike, 1989). La ltima de estas tres teoras es la que sustenta la mayor parte de los instrumentos de medicin existentes, por tal motivo ser la expuesta en este documento. El supuesto bsico del que parte la Teora Clsica de la Medicin es que el atributo medido tiene una magnitud que puede ser expresada mediante nmeros y que los instrumentos de medida tienen la funcin de detectar dicha magnitud y

Validacin y Estandarizacin de Instrumentos

traducirla en tales nmeros denominados unidades de medida (Herrera, 1998). Por lo tanto, existen dos valores de la magnitud, la que verdaderamente tiene el atributo objeto de medicin y la observada en el instrumento de medida, lo deseable es que ambos valores sean el mismo, es decir, que lo verdadero y lo observado sean lo mismo, cualquier diferencia entre estos se denomina error de medicin (Kelinger y Lee, 2002). Sin embargo, el nico que se conoce de los tres elementos anteriores es el valor observado, lo cual lleva a que se realicen un serie de supuestos y de procedimientos para determinar hasta qu punto los valores observados se asemejan a los verdaderos. Planteando, entonces, que el valor observado es la suma del valor verdadero y el error. Se parte del hecho que el valor verdadero es desconocido, pero si el error se puede cuantificar, entonces la ecuacin de tres trminos, implcita en los prrafos anteriores, dejara de tener dos incgnitas y se planteara que el valor verdadero es el valor observado menos el componente de error que est presente en la medicin. Esto llevo a que durante mucho tiempo los especialistas en medicin dedicarn grandes esfuerzos a identificar las fuentes de error, a diferenciar tipos de errores, a cuantificarlos y a analizar el impacto que tienen en la medicin (Hogan, 2004). En trminos generales, se ha llegado a la conclusin de que existen dos tipos de errores de medicin que tienen efectos importantes en este proceso: el error aleatorio y el error sistemtico (Brown, 1980). El primero es fluctuante y afecta de manera diferente cada vez que se realice el proceso de medicin; mientras que el segundo es constante y afecta siempre de la misma manera este proceso (Kaplan y Saccuzzo, 2006). Estos errores se debe a fuentes o causeas diferentes, las del primero estn relacionadas con uso inadecuado del instrumento de medicin y con las variaciones en las condiciones de aplicacin que pueden generar inconsistencia en los resultados; mientras que el error sistemtico generalmente se debe a una deficiencia en el proceso de diseo y construccin del instrumento (Aiken, 2003). Teniendo en cuenta que lo deseable de un instrumento de medicin es que permita realizar mediciones consistentes y precisas, los errores afectan las

Validacin y Estandarizacin de Instrumentos

propiedades las propiedades psicomtricas (Confiabilidad y Validez). A continuacin se exponen los aspectos conceptuales de cada una de ellas as como los principales procedimientos para estimarlas y por ende identificar la calidad del instrumento usado en el proceso de medicin (Hogan, 2004).

Confiabilidad La confiabilidad se define como la cantidad de la varianza presente en los resultados de la medicin que se debe a diferencias reales en la magnitud de atributo medido, o en otras palabras, es la proporcin de varianza observada que es varianza verdadera. El hecho de usar el termino estadstico varianza se debe a que se tiene como supuesto que el error aleatorio presente en la medicin tiene una distribucin normal y por ende el promedio de todos valores observados en las mediciones realizadas, tericamente infinitas, sera la mejor estimacin del valor verdadero, lo cual es una aplicacin del Teorema del Lmite Central procedente de la estadstica. Una consecuencia del uso de este teorema es que se puede aplicar las teoras estadsticas de distribucin de probabilidades y con ello establecer intervalos de confianza para los resultados de las mediciones realizadas. Cuando se hace referencia a la confiabilidad, en trminos ms aplicados y menos conceptuales, se est haciendo referencia a la consistencia de la medicin obtenida, es decir, hasta qu punto se obtendra el mismo resultado (valor observado) si se hace nuevamente la medicin con ligeras variaciones en el tiempo, o en el espacio, o en el formato y extensin del instrumento, entre otros. Cuanto ms consistente el resultado (cuanto menos cambie), la medicin ser ms exacta, es decir, el resultado observado es ms similar al valor verdadero de la magnitud del atributo medido. Existen diferentes procedimientos para estimar la confiabilidad de un instrumento de medicin, los ms populares son estabilidad, equivalencia y consistencia interna. Estabilidad: Este procedimiento consiste en aplicar el instrumento a las mismas personas en distinto momento, garantizando similares condiciones de aplicacin, de ah que tambin se le denomine tests-retest (aplicacin-reaplicacin). Si el atributo no es susceptible de variaciones por desarrollo o envejecimiento de los examinados o entre aplicacin y aplicacin no se han hecho intervenciones que modifiquen el

Validacin y Estandarizacin de Instrumentos

atributo, entonces los resultados sern similares en las dos mediciones si el instrumento realmente est midiendo un nico atributo estable; en caso que los resultados no sean similares entonces el error de medicin es lo suficientemente alto como para alterar el funcionamiento del instrumento. El procedimiento tcnico para estimar la estabilidad de los resultados es la aplicacin de una medida de asociacin entre los dos conjuntos de datos (valores observados de la medicin), el procedimiento ms utilizado es el coeficiente de correlacin producto-momento de Pearson, el cual es una medida estandarizada de la covariacin de dos variables. El coeficiente de confiabilidad obtenido vara entre 0,00 y 1,00 donde el lmite inferior indica ausencia de confiabilidad y el lmite superior indica confiabilidad total, es decir, que el valor verdadero es igual al valor observado. Equivalencia: Este procedimiento se basa en el hecho que al momento de construir un instrumento realmente se est desarrollando una de sus mltiples versiones, es decir, que de la misma manera como se dise y construy un instrumento A, se pudo desarrollar la versin B que sea su equivalente en extensin, forma, contenidos y dems; por esto a este procedimiento tambin se le denomina Formas Paralelas. El procedimiento es viable cuando se cuenta con dos versiones de un mismo instrumento (Forma A y Forma B), las cuales son aplicadas a las mismas personas con mnimo intervalo de tiempo entre aplicaciones. Si el instrumento

realmente est midiendo el atributo meta, entonces sus dos versiones deberan hacerlo de manera similar. El procedimiento tcnico para estimar la equivalencia de las dos mediciones obtenidas con versiones diferentes del instrumento pero procedente de las mismas personas se realiza igual que en el caso anterior con una medida estadstica de asociacin, popularmente con el coeficiente de correlacin producto-momento de Pearson, los parmetros de interpretacin son los mismos. Consistencia Interna: Este procedimiento parte del hecho de que todos los elementos que constituyen el instrumento estn midiendo el mismo atributo y en consecuencia las respuestas de los examinados deberan ser consistentes a lo largo del instrumento y las posibles variaciones en tales patrones deberan ser menores que las diferencias presentes entre las magnitudes de atributo de los examinados, es

Validacin y Estandarizacin de Instrumentos

decir, que las respuestas particulares de las examinados crean patrones particulares. Tambin implica que diferentes subconjuntos o partes del instrumento estiman de la misma manera el atributo medido, es decir, que cada una de las mltiples partes en las que se puede dividir el instrumento constituye una forma paralela del mismo. Existen diferentes procedimientos tcnicos para la estimacin de la consistencia interna, el ms general es el Alpha de Cronbach el cual se define como la intercorrelacin promedio de un universo de reactivos o de todas las posibles partes en las que se puede dividir el instrumento. El procedimiento tcnico para la estimacin del Alpha de Cronbach se basa en una sola aplicacin del instrumento a un solo grupo de examinados, lo cual se debe a que la estimacin de la confiabilidad se hace sobre el contenido representado en el conjunto de elementos que constituyen el instrumento y no en variaciones del tiempo de aplicacin o en los conjuntos de elementos (tems) aplicados. La estimacin del Alpha de Cronbach se ve afectada tanto por las intercorrelaciones de lo elementos como por la cantidad de elementos, de tal manera que un mismo grado de intercorrelacin se ve potenciado por diferencias en la cantidad de elementos, pues a mayor cantidad de elementos mayor representacin del atributo medido en el instrumento usado, aunque existe un punto de inflexin en el que sta cantidad de elementos deja de tener efectos significativos. Teniendo en cuenta las dificultades prcticas de aplicarle el mismo instrumento a las mismas personas en diferente tiempo (estabilidad) o de construir y aplicar dos versiones del mismo instrumento a las mismas personas (Equivalencia), el procedimiento de consistencia interna es la manera ms frecuente como se estima la confiabilidad del instrumento. Los parmetros de interpretacin son los mismos, valores prximos a 1,00 indican mayor confiabilidad. Tal como se ha indicado, la confiabilidad es una cuestin de grado, lo deseable es que este cercana al limite superior (1,00). Sin embargo, en ocasiones esto no se logra, por lo que debe estimarse el Error de medicin que no es otra cosa que desviacin media de la inconsistencia expresada en trminos de unidades de medida. Con base en este error se pueden establecer intervalos de confianza para el valor observado, cuanto ms estrecho sea el intervalo ms informacin real esta

Validacin y Estandarizacin de Instrumentos

10

proporcionando el instrumento de medicin. Tambin se han desarrollado ecuaciones que permiten establecer el tamao adecuado del instrumento para aumentar determinada cantidad de confiabilidad; estos aspectos exceden los propsitos de este documento, pero pueden consultarse los trabajos especializados de Aiken (2003) y Hogan (2004) para profundizar al respecto.

Validez Hogan (2004) indica que los criterios de aplicacin y calificacin claros y exactos al igual que altos niveles confiabilidad son deseable en un instrumento, pero que lo ms importante es la validez. La razn de esto es que la validez hace referencia al grado en que realmente el instrumento est midiendo el atributo que se supone mide. En ese sentido, la validez es la proporcin de varianza observada que es producida por diferencias individuales reales en el atributo que se pretende medir. Tal como ya se ha indicado, la validez se ve afectada por el error sistemtico, el cual es un error en la construccin del instrumento que lleva a que cada vez que el instrumento se use el error este presente, debido principalmente a que no hubo una adecuada definicin del atributo meta o que la operacionalizacin del atributo no fue completa o que simplemente se cree que se est midiendo algo cuando en realidad no hay correspondencia entre lo medido y lo que se desea medir. En psicometra se han definido distintos aspectos relevantes de la validez, en este documento slo se har referencia a dos de ellos: validez de contenido y validez de constructo. El primero no cuenta con procedimientos matemticos o estadsticos que permitan establecer un ndice, por el contrario es una medida bastante simple pero til para examinar si los elementos que constituyen el instrumento realmente son una representacin adecuada de todos los posibles elementos que podran constituir el instrumento para realizar la medicin que se pretende. Como se puede inferir del texto, el anlisis consiste en la emisin de un juicio por parte de alguien que tiene profundos conocimientos del atributo que se pretende medir, es decir, se realiza a travs de una evaluacin de expertos o de jueces. El segundo aspecto de la validez, el constructo, es ms sofisticado y se enfoca en la obtencin de evidencia sobre el grado en que el instrumento realmente mide el

Validacin y Estandarizacin de Instrumentos

11

atributo (constructo) para el cual fue desarrollado. Las estrategias para la obtencin de tales evidencias se basa en la diferenciacin de grupos criterios, la convergencia con otros instrumentos que miden el mismo atributo, la congruencia con criterios externos, la correspondencia entre la estructura emprica del instrumento fruto de las intercorrelaciones de elementos con la estructura terica fruto de las

conceptualizaciones realizadas sobre el atributo medido. La estimacin de la validez de constructo por medio de grupos criterios consiste bsicamente en tener grupos previamente constituidos por examinados con diferentes niveles de la magnitud de atributo; el supuesto subyacente es que el instrumento ser valido si logra diferenciar correctamente los grupos que presentan magnitudes de atributo diferentes. Por lo regular, se usan pruebas estadsticas de inferencia sobre diferencias tales como la prueba t de Student para grupos independientes. Si grupos diferentes presentan puntuaciones medias

significativamente diferentes entonces el instrumento logra capturar adecuadamente las distintas magnitudes del atributo medido. Otro procedimiento similar consiste en tener grupos criterios (conjunto de personas que presentan determinadas caractersticas particulares) aplicarles el instrumento y analizar si el instrumento

logra detectar las personas que pertenecen a este grupo criterio de otras que no pertenecen a tal grupo. De otra parte, la estimacin de la validez de constructo por convergencia se basa en el hecho que existen diversos instrumentos que permiten hacer mediciones de un mismo atributo, en tal sentido si los instrumentos empleados que pretenden medir el mismo atributo llegan a conclusiones similares en un mismo grupo de examinados, entonces se arguye la existencia de la validez, es decir, que el instrumento que se est usando efectivamente mide el atributo para el que fue diseado. En otras palabras, este procedimiento consiste en comparar las mediciones obtenidas por instrumentos de medida. El procedimiento para realizar la estimacin de la convergencia, es la correlacin entre los conjuntos de resultados obtenidos por cada instrumento usado. Otra manera de estimar la validez de constructo es por procedimiento de anlisis factorial, el cual es una tcnica de anlisis multivariado en el que con base en las

Validacin y Estandarizacin de Instrumentos

12

intercorrelaciones entre los tems que conforman el instrumento se identifican variables latentes, es decir, configuraciones de variables que se denominan factores o componentes. Para una exposicin detallada de los diferentes tipos de validez, los procedimientos para su estimacin y la manera de mejorarla, consultar obras especializadas clsicas tales como las de Brown (1980), Thordike (1989), Nunally (1987), Anastasi y Urbina (1997) o ms contemporneas tales como las de Aiken (2003), Hogan (2004), Kaplan y Saccuzzo (2006).

Estandarizacin de Instrumentos de Medicin En este apartado se abordarn aspectos relacionados con la estandarizacin del proceso de medicin, especficamente lo concerniente con la aplicacin y calificacin de los instrumentos de medida. Tambin se revisaran recomendaciones sobre la muestra de estandarizacin y los diferentes procedimientos para la transformacin de puntajes.

Estandarizacin de la aplicacin Tal como ya se mencion la aplicacin de los instrumentos es un punto sensible dentro del proceso de medicin, pues se encuentran mltiples amenazas que de no ser prevenidas pueden quitarle muchas de las ventajas que tiene el uso de los instrumentos de medidas sobre otras estrategias de consecucin de informacin. Las amenazas ms frecuentes tienen que ver con la falta de entrenamiento para el correcto uso de los instrumentos de medicin. Este riesgo se controla de manera sencilla mediante el entrenamiento a los usuarios de los instrumentos; tal como tambin fue mencionado previamente, en algunos casos el correcto uso de los test solo requiere la lectura previa y el seguimiento de instrucciones puntuales consignados en los manuales de uso. Sin embargo, por lo regular una correcta interpretacin de tales instrucciones as como el seguimiento de las mismas implica el dominio disciplinar por parte del evaluador. Por ello, en la literatura especializada se recomienda leer el manual antes de usar el instrumento adems de entrenamiento dirigido por personas con experiencia en el uso de los instrumentos.

Validacin y Estandarizacin de Instrumentos

13

Una segunda amenaza al proceso de medicin que est presente en la aplicacin ocurre de manera previa a la misma. Este riesgo se hace evidente en la planeacin del proceso evaluativo, durante sta se deben contemplar no solo aspectos como la disponibilidad del material sino tambin sobre cuestiones logsticas de la aplicacin: que hacen referencia no solo al cmo sino al cundo y dnde se usa el instrumento. El primer aspecto involucra un tiempo calendario y un tiempo dentro del proceso de intervencin; en cuanto al tiempo calendario, se deben tener en cuenta el cronograma de actividades que realizan tanto el evaluador como el evaluado y la duracin del proceso de medicin; por su parte el momento dentro del proceso de intervencin es an ms relevante en tanto que se requiere un parmetro claro de por qu realizar el proceso de medicin en ese momento y no en otro. Un tercer aspecto que debe controlarse dentro del proceso de aplicacin del instrumento de medicin est relacionado con la interaccin entre evaluador y evaluado. Esto tiene que ver bsicamente con el dar las instrucciones claras y precisas para que el evaluado puede abordar el proceso de medicin de manera tranquila, sepa en que consiste tal proceso y que se busca con el mismo; igualmente, en las instrucciones debe estar claro cuales son los comportamientos que debe emitir el examinado respecto al instrumento. El otro aspecto se refiere al trato personal que realiza el evaluador con el fin de tranquilizar y orientar el proceso de medicin que est realizando, en general, los procesos de medicin generan tensin, en especial si de ella se desprenden consecuencias importantes para la vida del evaluado, lo cual puede llevar a que ste se bloqu y la medicin no se realice de manera adecuada, llevando a posibles resultados errneos.

Estandarizacin de calificacin Tal como se ha indicado, los instrumentos de medicin permiten obtener un resultado numrico, que en la mayora de los instrumentos consiste en una suma simple de los valores dados a las respuestas dadas por el examinado. Algunos instrumentos son un poco ms sofisticados y requieren de operaciones matemticas algo complejas, pero son la excepcin y no la regla. En la actualidad la mayora de

Validacin y Estandarizacin de Instrumentos

14

instrumentos de medicin vienen acompaados de un programa de computo que permite sistematizar este paso, es estos casos, la atencin debe dirigirse en alimentar correctamente el programa de calificacin. El proceso de calificacin comprende dos etapas, la primera es la obtencin de la puntuacin cruda o directa, mientras que el segundo es la transformacin del puntaje directo a escalas estndares de resultados. La obtencin del puntaje directo se estipula durante la construccin de los instrumentos, ah se establecen los pesos que tendrn las diferentes seales recolectadas por el instrumento, as como el parmetro mediante el cual se obtendrn el o los resultados del proceso de medicin. Por lo tanto, el usuario debe estar atento a comprender y aplicar los procedimientos que se deben realizar para pasar de la aplicacin del instrumento a la obtencin del resultado. Por su parte, el clculo del puntaje tpico presenta dos niveles, el primero que se realiza durante la construccin y evaluacin del instrumento, donde no solo se estipula el tipo de transformacin de puntajes que se realizar sino tambin se hace eleccin de la muestra de estandarizacin y la equivalencias entre puntajes directos y tpicos denominados baremos. En cuanto a las escalas utilizadas, en general lo que se hace es transformar una escala ordinal en una escala intervalar en la que existe un punto de referencia definido y se pueden establecer comparaciones entre los distintos valores de la escala a diferencia de la escala ordinal donde solo se indica que existe una mayor o menor magnitud de atributo, pero no cunta en realidad. Las transformaciones ms populares se basan en modificaciones de la puntuacin normal estndar que tiene media cero con desviacin 1, por lo que la magnitud de atributo se expresa en distancias respecto al comportamiento promedio de la muestra de estandarizacin utilizada en el proceso de medicin. La muestra de estandarizacin esta constituida por el conjunto de examinados a quienes se le aplica el instrumento y que con base en sus respuestas se determinan la los rangos de manifestacin del atributo y con ello establecer los intervalos de resultados que se considerarn bajos, medios o altos. La eleccin de sta muestra es fundamental en el proceso de medicin, pues debe ser representativa de la

Validacin y Estandarizacin de Instrumentos

15

poblacin a la cual se dirige el instrumento; de lo contrario la estimacin ser incorrecta, ya por sobreestimacin o por subestimacin de la magnitud del atributo del examinado en relacin con su grupo de referencia. Finalmente, los baremos son tablas que los constructores de instrumentos elaboran para establecer la equivalencia entre los puntajes directos y tpicos. Estas herramientas descargan al usuario de la labor de realizar clculos para la transformacin de los puntajes. As pues, la labor de ste consiste en saber a qu escala se transformaron las puntuaciones directas y como se interpretan las mismas, pues el significado de una magnitud particular solo es interpretable dentro del marco conceptual y disciplinar en el cual se circunscribe el atributo medido.

Consideraciones Finales El diseo, construccin, evaluacin de la calidad tcnica y estandarizacin de instrumentos de medicin es un rea especializada en las distintas disciplinas y dominios del conocimiento, por tanto el presente texto no pretende ser un compendio de tal especialidad, sino que pretende nicamente hacer una breve presentacin de algunos aspectos que los usuarios de instrumentos de medicin deben conocer para hacer un mejor uso de herramientas y tecnologas valiosas que implican grandes esfuerzos acadmicos y profesionales propios de las labores de investigacin y desarrollo.

Referencias Aiken, L. (2003) Test Psicolgicos y Evaluacin (11va Edicin). Mxico: Prentice Hall. Anastasi, A. y Urbina, S. (1998) Tests Psicolgicos (7ma edicin). Mxico: PrenticeHall. Brown, (1980) Principios de la Medicin en Psicologa y Educacin . Mxico: Manual Moderno. Bunge, M. (1989). La Investigacin Cientfica (2 ed. Corregida). Barcelona: Ariel. Clark-Carter, D. (2002) Investigacin Cuantitativa en Psicologa: Del diseo experimental al reporte de investigacin. Mxico: Oxford University Press.

Validacin y Estandarizacin de Instrumentos

16

Cohen, R. y Swerdlik, M. (2001) Pruebas y Evaluacin Psicolgicas: Una introduccin a las pruebas y a la medicin (4ta Edicin). Mxico: McGraw-Hill Coolican, H. (2005) Mtodos de Investigacin y Estadstica en Psicologa. Mxico: Manual Moderno. Cronbach, L.J., Gleser, G.C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: theory of generalizability for scores and profiles. New York: John Wiley and Sons. Hambleton, R., Swaminathan H. y Rogers H. (1991). Fundamentals of item response theory. Newbury Park/ London/ New Delhi: Sage publications. Hernndez, R., Fernndez, C. y Baptista, P. (2007) Metodologa de la Investigacin (4ta edicin). Mxico: McGraw-Hill. Herrera, A.N. (1998) Notas sobre psicometra. Bogot, D.C.: Universidad Nacional de Colombia. Hogan, T. (2004) Pruebas Psicolgicas: Una introduccin prctica. Mxico: Manual Moderno. Kaplan, R. y Saccuzzo, D. (2006) Pruebas Psicolgicas: Principios, aplicaciones y temas (6ta edicin). Mxico: Thompson Kerlinger, F. y Lee, H. (2002) Investigacin del Comportamiento: Mtodos de Investigacin en Ciencias Sociales. Mxico: McGraw-Hill Muiz, J. F. (1997). Introduccin a la teora de respuestas a los tems. Editorial Pirmide. Nunally, J. (1987) Teora Psicomtrica. Mxico: McGraw-Hill Thorndike, R. (1989) Psicometra Aplicada. Mxico: Limusa. Shavelson, R. J. & N.M., Webb. (1991). Generalizability Theory: A Primer. Newbury Park: SAGE Publications.