Congreso de Medicina Interna 2019
Índices de predicción, algunos aspectos
metodológicos para su construcción y validación
Dr.C Alexis Álvarez Aliaga
Profesor e Investigador Titular
¿Por qué es tan difícil investigar, crear?
Médico
Historia de los índices
• Siglo XX: se hace uno de los principales aportes a la
epidemiología de las ECV: Framingham (1948).
• APACHE: década del 80, años posteriores se desarrollan II-
IV.
• Framingham por categorías en 1997, REGICOR para España
2003 y QRISK en 2007 para Reino Unido.
¿Qué son los índices?
• Son instrumentos que nos permiten comparar
variables y formar un criterio de diagnóstico, de
conducta, de predicción o de pronóstico.
• Estas medidas o el resultado de ellas, permiten
cuantificar la probabilidad de que ocurra el criterio
de valoración (o episodio adverso).
La mortalidad dejó ser un hecho
“esperado para estudiar” para convertirse
en un hecho “estudiado para esperar”
¿Por qué es una tarea compleja?
Investigadores con formación no muy extensa en estadística
Pocos bioestadísticos disponibles
Las limitaciones en cuanto a sensibilidad y valor predictivo positivo
¿Su precisión y fiabilidad podrían mejorarse ?
¿Características de un buen marcador del riesgo?
Buena capacidad predictiva
Fáciles de medir
Económicos y asequibles
Ejemplo: el perímetro de la cintura y la función renal.
¿Qué elementos se debe tener presente en la construcción?
Capacidad predictiva multifactorial es superior a la consideración aislada
de cada factor de riesgo.
Son modelos matemáticos basados en estudios de cohorte que
modelizan el riesgo de contraer una enfermedad o morir por ella.
Necesita de estudios de validación que verifiquen su capacidad
predictiva.
NO SON PRUEBAS DIAGNÓSTICAS
Objetivo:
Familiarizar a los profesionales de Ciencias Médicas con
métodos estadísticos relacionados con la construcción y
validación de índices predictivos.
¿ CUÁLES SON LOS PASOS A TENER EN CUENTA EN LA
CONSTRUCCIÓN Y VALIDACIÓN DE UN ÍNDICE?
BÚSQUEDA Y SELECCIÓN DE LOS FACTORES DE RIESGO
CONSTRUCCIÓN
VALIDEZ
VALIDACIÓN
BÚSQUEDA Y SELECCIÓN DE LOS FACTORES DE RIESGO
Una búsqueda sistemática y exhaustiva de todos los artículos
potencialmente relevantes
Seleccionados mediante criterios explícitos y reproducibles
Valoración crítico del diseño metodológico
Síntesis de los datos e interpretación de los resultados
Método Delphy (oráculo de Delphy),
• Procedimiento prospectivo con estricta metodología.
• Su fundamento es el análisis de las ideas respecto al futuro,
de un grupo de expertos (consenso de opiniones).
• La calidad de los resultados depende de: el cuidado en la
elaboración del cuestionario y en la elección de los expertos.
• Es apropiado para el estudio de temas en los cuales la
información, no se encuentra disponible de forma clara.
MODELOS DE REGRESIÓN
Estudios bivariados
Elegir un modelo de regresión multivariado
Objetivo: los factores que influyen en la presencia
o ausencia de un episodio adverso
Suministran una explicación matemática simplificada
Núñez E, Steyerbergc WE, Núñez J. Estrategias para la elaboración de modelos estadísticos de
regresión. Rev Esp Cardiol. 2011;64(6):501–507.
MODELOS DE REGRESIÓN
• Tienen en general una estructura común: respuesta=
ponderación1Xpredictor1+ ponderación2Xpredictor2+ ………..
ponderaciónk X predictork.
• La variable dependiente (o de evaluación).
• Las variables independientes (o explicativas).
• Al resto de las variables, se nombran de manera genérica
covariables.
CONSTRUCCIÓN ÍNDICES
Factores pronóstico de muerte por neumonía adquirida en la comunidad. Modelo de regresión
logística. Se incluye la ponderación de cada variable, al amplificar el coeficiente de regresión
multiplicado por diez.
IC =95% para el OR
Ponderación
Variables *B p OR Inferior Superior
Choque 2,070 21 0,000 7,929 2,899 21,682
Neumonía multilobar 1,728 17 0,000 5,630 2,173 14,585
Hipotensión arterial 1,485 15 0,012 4,414 1,389 14,032
Neoplasias malignas 1,257 13 0,004 3,513 1,480 8,341
Hipoxemia 1,158 12 0,012 3,184 1,284 7,895
Compromiso de la conciencia 1,156 12 0,007 3,177 1,381 7,309
EPOC 1,135 11 0,004 3,110 1,430 6,763
Edad mayor o igual a 65 años 0,919 9 0,031 2,506 1,089 5,765
Hepatopatía crónica 0,858 9 0,038 2,359 1,047 5,316
Constante -18,551 0,000 0,000
Álvarez Aliaga A, et al. Diseño y validación de un índice pronóstico de muerte de la neumonía adquirida
en la comunidad. Rev Cubana de Medicina. 2016;55(2): 114-129.
CONSTRUCCIÓN DEL ÍNDICE
ÍNDICE= W1X1+W2X2+……+ WKXK
Conversión del ÍNDICE en una variable ordinal
Por ejemplo si son tres categorías, sería entre los percentiles
50 y 90, y si es cuatro sería entre los percentiles 10, 50, 90.
Álvarez Aliaga A, et al. Diseño y validación de un índice pronóstico de muerte de la neumonía adquirida en
la comunidad. Rev Cubana de Medicina. 2016;55(2): 114-129.
Dos caminos
Conducen
Validez
AL
Validación
É
X
I
T
O
Dos definiciones claves
• Validez: es el grado en que una situación o un
instrumento de medida mide lo que realmente pretende
o quiere medir. Para ello se suele comparar con un
estándar de referencia (gold standard ).
• Validación: trata de establecer hasta qué punto lo
predicho por la función o escala se corresponde con la
realidad. Se refiere sobre todo a la validez externa,
tratando de comprobar si se puede generalizar su uso.
VALIDEZ INTERNA. Aspectos más importantes
Sensibilidad: representa la probabilidad de que un individuo esté enfermo, habiendo
dado positivo en la prueba diagnóstica (riesgo alto).
Especificidad: representa la probabilidad de que un individuo esté sano, con un
resultado negativo en la prueba diagnóstica (riesgo no alto)
-Valor predictivo positivo: proporción de personas con un resultado
positivo en la prueba diagnóstica (riesgo alto) que tienen la
enfermedad.
-Valor predictivo negativo: proporción de personas con un resultado
negativo en la prueba diagnóstica (riesgo no alto) que no tienen la
enfermedad.
Validez interna
Índice de validez: 86, 50%.
Sensibilidad: 97, 20%
Especificidad: 65, 38% Álvarez-Aliaga A, Quesada-Vázquez AJ,
Suárez-Quesada A, de Llano Sosa D. Design
Valor predictivo positivo: 59, 32 and validation of an Index to predict the
development of Hypertensive Cardiopathy. J
Valor negativo: 97, 83 Cardiol Cardiovasc Med. 2018; 3:008-022
VALIDACIÓN DE LOS ÍNDICES
La validación trata de establecer hasta qué punto lo predicho por la función de riesgo
se corresponde con la realidad. EN UNA NUEVA MUESTRA
Validez de contenido y presentación. Validez de construcción, validez
criterio y la confiabilidad.
Capacidad discriminativa y calibración de los índices
VALIDEZ DE CONTENIDO Y PRESENTACIÓN
A) Razonable y comprensible: comprensión de los diferentes ítems que
se evalúan en relación con el fenómeno que se pretende medir. Nada __
moderada __ mucho__.
B) Sensible a variaciones en el fenómeno que se mide: si del
instrumento puede derivarse un índice que distinga los diferentes
grados de riesgo. Nada __ moderada__ mucho__
C) Con suposiciones básicas justificables: si se justifica la presencia de
cada uno de los ítems que se incluyen en el instrumento. Nada __
moderada __ mucho__.
D) Con componentes claramente definidos: si cada ítem se define
claramente. Nada __ moderada __ mucho__.
E) Derivable de datos factibles de obtener: si es posible obtener la
información deseada a partir de la aplicación del instrumento. Nada __
moderada __ mucho__.
VALIDACIÓN DE CONSTRUCCIÓN
Se tiene en cuenta que la mayor probabilidad de ocurrencia del evento adverso debe
corresponder con los pacientes clasificados en las categorías de más riesgo.
La asociación entre el índice ordinal y el riesgo de padecer el evento adverso se evalúa a partir
del cálculo de un coeficiente de asociación para variables ordinales y nominales, por ejemplo el
coeficiente Eta.
Cardiopatía Hipertensiva
Índice Casos % Testigos % Total %
Riesgo bajo 0 0 99 16,5 99 11,0
Riesgo moderado 8 2,7 347 57,8 355 39,5
Riesgo alto 207 69,0 153 25,5 360 40,0
Riesgo muy alto 85 28,3 1 0,17 86 9,5
Total 300 100 600 100 900 100
Eta = 0, 718
VALIDACIÓN DE CRITERIO
Se debe determinar la asociación entre el índice en su forma ordinal y otro ya existente
(para evaluar el mismo fenómeno) con igual número de categorías.
Álvarez Aliaga A, et al.
Diseño y validación de un
índice pronóstico de muerte
de la neumonía adquirida
en la comunidad. Rev
Cubana de Medicina.
2016;55(2): 114-129.
CAPACIDAD DISCRIMINATIVA
Describe con exactitud una predicción dada, es decir, se refiere a la
capacidad de la funciones de riesgo para distinguir a los pacientes que
tendrán la enfermedad o el evento de interés de los que no.
Se representa mediante el área bajo la curva Característica Operador
Receptor (ROC de sus siglas en inglés Receiver Operating
Characteristics) valores de 0,5 o menos indican que el índice no
discrimina mejor que el azar y valores cercanos a 1 revelan buena
discriminación (son deseables valores mayores o iguales a 0,75).
Álvarez Aliaga A, Maceo Gómez LR, Barzaga Morell. Revista Cubana de Medicina. 2013;52(3):
173-188.
CALIBRACIÓN
Consiste en comparar lo predicho por el índice (proporción predicha)
con lo observado en realidad (verdadera proporción de enfermos con el
evento).
Se expresa mediante un valor de p que sigue una distribución de χ2 de
bondad de ajuste, utilizándose el estadístico c de Hosmer Lemeshow o
alguna modificación. Si el valor p es mayor de 0,05 se concluye que el
índice calibra adecuadamente.
Álvarez Aliaga A, et al. Diseño y validación de un índice pronóstico de muerte de la neumonía adquirida en
la comunidad. Rev Cubana de Medicina. 2016;55(2): 114-129.
CONFIABILIDAD
Se debe calcular el coeficiente de confiabilidad general y el grado de
cumplimiento de dos de sus aspectos, la equivalencia en cuanto a
concordancia entre “jueces” y la consistencia interna.
El coeficiente de confiabilidad R brinda una estimación de la parte de la
variación total que se debe a los paciente.
La equivalencia se determina a través de “jueces,” a quienes se les
aplica por separado el instrumento. Para evaluarla se debe calcular los
coeficientes de correlación para todos los posibles pares de jueces. Se
determinará el coeficiente Kappa ponderado para más de dos jueces y
los Kappa para cada una de las categorías de riesgo.
CONSISTENCIA INTERNA
Para evaluar la consistencia interna de un instrumento o índice, se
puede empelar el coeficiente alfa de Conbrach.
Toma valores entre 0 y 1 y sirve para comprobar si el instrumento que
se está evaluando recopila información defectuosa o si se trata de un
instrumento fiable que hace mediciones estables y consistentes.
Los ítems cuyos coeficientes ítem-total arrojan valores menores a 0,35
deben ser desechados o reformulados, ya que las correlaciones a partir
de 0,35 son estadísticamente significativas más allá del nivel del 1%.
Elementos de la consistencia interna. Índice predictivo de la cardiopatía hipertensiva
Variables Correlación Ítem-Total Coeficiente de Alfa al eliminar
Corregido Determinación la variable
Tiempo de evolución mayor de 20 años de la 0,679 0,218 0,597
HTA
0,616 0,141 0,611
No control de HTA
0,610 0,115 0,611
Colesterol
0,596 0,111 0,611
Estadio 2 de la HTA
0,588 0,101 0,614
Glucemia
0,570 0,118 0,615
HDL
0,565 0,210 0,616
Proteína C reactiva
0,555 0,088 0,618
Edad mayor de 65 años
0,474 0,099 0,619
Microalbuminuria
0,463 0,145 0,625
Creatinina
0,453 0,041 0,631
Ácido úrico
0,448 0,080 0,634
Hábito de Fumar
Coeficiente 0,356 0,895
alfa de Cronbach: 0,867 Alfa de ítems estandarizados: 0,116 0,635
Exceso de sal
Características que debería cumplir un índice:
• Poder ser aplicado de forma fácil, sencilla, con
sensibilidad y especificidad aceptablemente
adecuadas.
• Tener un mínimo de variables pero lo suficiente
para cumplir con las expectativas.
• Finalmente, deberían poseer la capacidad de
recalificación.
CONSIDERACIONES FINALES
1. A pesar de lo difícil, complejo y a veces abstracto, la
construcción y validación de índices predictivos,
fueron, son y serán herramientas muy útiles en la
evaluación objetiva de los enfermos.
2. Aunque estas investigaciones tienen su origen en
países desarrollados, son indispensables en naciones de
bajos recursos, en aras de disminuir el coste de la
asistencia médica, aspecto esencialmente necesario en
países en vías de desarrollo.
3. Son aportes prácticos, que no solo mejoran la calidad
de los servicios sino que permiten además, optimizar los
recursos económicos y humanos, aspectos importantes
a tener en cuenta en países como el nuestro.
¡Espero que nadie haya caído en coma!
