Congreso de Medicina Interna 2019

Índices de predicción, algunos aspectos

metodológicos para su construcción y validación

Dr.C Alexis Álvarez Aliaga

Profesor e Investigador Titular
¿Por qué es tan difícil investigar, crear?

Médico
 Historia de los índices

• Siglo XX: se hace uno de los principales aportes a la

epidemiología de las ECV: Framingham (1948).

• APACHE: década del 80, años posteriores se desarrollan II-

IV.

• Framingham por categorías en 1997, REGICOR para España

2003 y QRISK en 2007 para Reino Unido.
 ¿Qué son los índices?

• Son instrumentos que nos permiten comparar

variables y formar un criterio de diagnóstico, de
conducta, de predicción o de pronóstico.

• Estas medidas o el resultado de ellas, permiten

cuantificar la probabilidad de que ocurra el criterio
de valoración (o episodio adverso).
La mortalidad dejó ser un hecho

“esperado para estudiar” para convertirse

en un hecho “estudiado para esperar”

 ¿Por qué es una tarea compleja?

Investigadores con formación no muy extensa en estadística

Pocos bioestadísticos disponibles

Las limitaciones en cuanto a sensibilidad y valor predictivo positivo

¿Su precisión y fiabilidad podrían mejorarse ?

¿Características de un buen marcador del riesgo?

Buena capacidad pre­dictiva

Fáciles de medir

Eco­nómicos y asequibles

Ejemplo: el perímetro de la cintura y la función renal.

 ¿Qué elementos se debe tener presente en la construcción?

Capacidad predictiva multifactorial es superior a la consideración aislada

de cada factor de riesgo.

Son modelos matemáticos basados en estu­dios de cohorte que

modelizan el riesgo de contraer una enfermedad o morir por ella.

Necesita de estudios de validación que verifiquen su capacidad

predictiva.

NO SON PRUEBAS DIAGNÓSTICAS

Objetivo:
Familiarizar a los profesionales de Ciencias Médicas con

métodos estadísticos relacionados con la construcción y

validación de índices predictivos.

¿ CUÁLES SON LOS PASOS A TENER EN CUENTA EN LA
CONSTRUCCIÓN Y VALIDACIÓN DE UN ÍNDICE?

BÚSQUEDA Y SELECCIÓN DE LOS FACTORES DE RIESGO

CONSTRUCCIÓN

VALIDEZ

VALIDACIÓN
 BÚSQUEDA Y SELECCIÓN DE LOS FACTORES DE RIESGO

Una búsqueda sistemática y exhaustiva de todos los artículos

potencialmente relevantes

Seleccionados mediante criterios explícitos y reproducibles

Valoración crítico del diseño metodológico

Síntesis de los datos e interpretación de los resultados

 Método Delphy (oráculo de Delphy),
• Procedimiento prospectivo con estricta metodología.
• Su fundamento es el análisis de las ideas respecto al futuro,
de un grupo de expertos (consenso de opiniones).
• La calidad de los resultados depende de: el cuidado en la
elaboración del cuestionario y en la elección de los expertos.
• Es apropiado para el estudio de temas en los cuales la
información, no se encuentra disponible de forma clara.
 MODELOS DE REGRESIÓN

Estudios bivariados

Elegir un modelo de regresión multivariado

Objetivo: los factores que influyen en la presencia

o ausencia de un episodio adverso

Suministran una explicación matemática simplificada

Núñez E, Steyerbergc WE, Núñez J. Estrategias para la elaboración de modelos estadísticos de
regresión. Rev Esp Cardiol. 2011;64(6):501–507.
 MODELOS DE REGRESIÓN

• Tienen en general una estructura común: respuesta=

ponderación1Xpredictor1+ ponderación2Xpredictor2+ ………..

ponderaciónk X predictork.

• La variable dependiente (o de evaluación).

• Las variables independientes (o explicativas).
• Al resto de las variables, se nombran de manera genérica
covariables.
 CONSTRUCCIÓN ÍNDICES
Factores pronóstico de muerte por neumonía adquirida en la comunidad. Modelo de regresión
logística. Se incluye la ponderación de cada variable, al amplificar el coeficiente de regresión
multiplicado por diez.
  IC =95% para el OR
 
  Ponderación    
       
Variables *B p OR Inferior Superior
 
Choque 2,070 21 0,000 7,929 2,899 21,682
 
Neumonía multilobar 1,728 17 0,000 5,630 2,173 14,585
 
Hipotensión arterial 1,485 15 0,012 4,414 1,389 14,032
 
Neoplasias malignas 1,257 13 0,004 3,513 1,480 8,341
 
Hipoxemia 1,158 12 0,012 3,184 1,284 7,895
Compromiso de la conciencia 1,156 12 0,007 3,177 1,381 7,309
 
EPOC 1,135 11 0,004 3,110 1,430 6,763
Edad mayor o igual a 65 años 0,919 9 0,031 2,506 1,089 5,765
 
Hepatopatía crónica 0,858 9 0,038 2,359 1,047 5,316
 
Constante -18,551   0,000 0,000    
Álvarez Aliaga A, et al. Diseño y validación de un índice pronóstico de muerte de la neumonía adquirida
en la comunidad. Rev Cubana de Medicina. 2016;55(2): 114-129.
 CONSTRUCCIÓN DEL ÍNDICE

ÍNDICE= W1X1+W2X2+……+ WKXK

Conversión del ÍNDICE en una variable ordinal

Por ejemplo si son tres categorías, sería entre los percentiles

50 y 90, y si es cuatro sería entre los percentiles 10, 50, 90.
Álvarez Aliaga A, et al. Diseño y validación de un índice pronóstico de muerte de la neumonía adquirida en
la comunidad. Rev Cubana de Medicina. 2016;55(2): 114-129.
 Dos caminos
Conducen
 

Validez
AL
Validación

É
X
I
T
O
 Dos definiciones claves
• Validez: es el grado en que una situación o un
instrumento de medida mide lo que realmente pretende
o quiere medir. Para ello se suele comparar con un
estándar de referencia (gold standard ).

• Validación: trata de establecer hasta qué punto lo

predicho por la función o escala se corresponde con la
realidad. Se refiere sobre todo a la validez externa,
tratando de comprobar si se puede generalizar su uso.
VALIDEZ INTERNA. Aspectos más importantes

Sensibilidad: representa la probabilidad de que un individuo esté enfermo, habiendo

dado positivo en la prueba diag­nóstica (riesgo alto).

Especificidad: representa la probabilidad de que un individuo esté sano, con un

resultado negativo en la prueba diagnóstica (riesgo no alto)

-Valor predictivo positivo: proporción de per­sonas con un resultado

positivo en la prueba diag­nóstica (riesgo alto) que tienen la
enfermedad.
-Valor predictivo negativo: proporción de per­sonas con un resultado
negativo en la prueba diag­nóstica (riesgo no alto) que no tienen la
enfermedad.
 Validez interna
Índice de validez: 86, 50%.
Sensibilidad: 97, 20%
Especificidad: 65, 38% Álvarez-Aliaga A, Quesada-Vázquez AJ,
Suárez-Quesada A, de Llano Sosa D. Design
Valor predictivo positivo: 59, 32 and validation of an Index to predict the
development of Hypertensive Cardiopathy. J
Valor negativo: 97, 83 Cardiol Cardiovasc Med. 2018; 3:008-022
 VALIDACIÓN DE LOS ÍNDICES

La validación trata de establecer hasta qué punto lo predicho por la función de riesgo
se corresponde con la realidad. EN UNA NUEVA MUESTRA

Validez de contenido y presentación. Validez de construcción, validez

criterio y la confiabilidad.

Capacidad discriminativa y calibración de los índices

 VALIDEZ DE CONTENIDO Y PRESENTACIÓN

A) Razonable y comprensible: comprensión de los diferentes ítems que

se evalúan en relación con el fenómeno que se pretende medir. Nada __
moderada __ mucho__.
B) Sensible a variaciones en el fenómeno que se mide: si del
instrumento puede derivarse un índice que distinga los diferentes
grados de riesgo. Nada __ moderada__ mucho__
C) Con suposiciones básicas justificables: si se justifica la presencia de
cada uno de los ítems que se incluyen en el instrumento. Nada __
moderada __ mucho__.
D) Con componentes claramente definidos: si cada ítem se define
claramente. Nada __ moderada __ mucho__.
E) Derivable de datos factibles de obtener: si es posible obtener la
información deseada a partir de la aplicación del instrumento. Nada __
moderada __ mucho__.
 VALIDACIÓN DE CONSTRUCCIÓN

Se tiene en cuenta que la mayor probabilidad de ocurrencia del evento adverso debe
corresponder con los pacientes clasificados en las categorías de más riesgo.

La asociación entre el índice ordinal y el riesgo de padecer el evento adverso se evalúa a partir
del cálculo de un coeficiente de asociación para variables ordinales y nominales, por ejemplo el
coeficiente Eta.

Cardiopatía Hipertensiva
Índice Casos % Testigos % Total %
             
Riesgo bajo 0 0 99 16,5 99 11,0
           
Riesgo moderado 8 2,7 347 57,8 355 39,5
             
Riesgo alto 207 69,0 153 25,5 360 40,0
           
Riesgo muy alto 85 28,3 1 0,17 86 9,5
             
Total 300 100 600 100 900 100
Eta = 0, 718
 VALIDACIÓN DE CRITERIO

Se debe determinar la asociación entre el índice en su forma ordinal y otro ya existente

(para evaluar el mismo fenómeno) con igual número de categorías.

Álvarez Aliaga A, et al.

Diseño y validación de un
índice pronóstico de muerte
de la neumonía adquirida
en la comunidad. Rev
Cubana de Medicina.
2016;55(2): 114-129.
 CAPACIDAD DISCRIMINATIVA

Describe con exactitud una predicción dada, es decir, se refiere a la

capacidad de la funciones de riesgo para distinguir a los pa­cientes que
tendrán la enfermedad o el evento de interés de los que no.

Se representa mediante el área bajo la curva Característica Operador

Receptor (ROC de sus siglas en inglés Receiver Operating
Characteristics) valores de 0,5 o menos indican que el índice no
discrimina mejor que el azar y va­lores cercanos a 1 revelan buena
discriminación (son deseables valores mayores o iguales a 0,75).
Álvarez Aliaga A, Maceo Gómez LR, Barzaga Morell. Revista Cubana de Medicina. 2013;52(3):
173-188.
 CALIBRACIÓN

Consiste en comparar lo predicho por el índice (proporción predicha)

con lo observado en realidad (verdadera pro­porción de enfermos con el
evento).

Se expresa mediante un valor de p que sigue una distribución de χ2 de

bondad de ajuste, utilizándose el estadístico c de Hosmer Lemeshow o
alguna modificación. Si el valor p es mayor de 0,05 se concluye que el
índice calibra adecuadamente.
Álvarez Aliaga A, et al. Diseño y validación de un índice pronóstico de muerte de la neumonía adquirida en
la comunidad. Rev Cubana de Medicina. 2016;55(2): 114-129.
 CONFIABILIDAD

Se debe calcular el coeficiente de confiabilidad general y el grado de

cumplimiento de dos de sus aspectos, la equivalencia en cuanto a
concordancia entre “jueces” y la consistencia interna.

El coeficiente de confiabilidad R brinda una estimación de la parte de la

variación total que se debe a los paciente.

La equivalencia se determina a través de “jueces,” a quienes se les

aplica por separado el instrumento. Para evaluarla se debe calcular los
coeficientes de correlación para todos los posibles pares de jueces. Se
determinará el coeficiente Kappa ponderado para más de dos jueces y
los Kappa para cada una de las categorías de riesgo.
 CONSISTENCIA INTERNA

Para evaluar la consistencia interna de un instrumento o índice, se

puede empelar el coeficiente alfa de Conbrach.

Toma valores entre 0 y 1 y sirve para comprobar si el instrumento que

se está evaluando recopila información defectuosa o si se trata de un
instrumento fiable que hace mediciones estables y consistentes.

Los ítems cuyos coeficientes ítem-total arrojan valores menores a 0,35

deben ser desechados o reformulados, ya que las correlaciones a partir
de 0,35 son estadísticamente significativas más allá del nivel del 1%.
Elementos de la consistencia interna. Índice predictivo de la cardiopatía hipertensiva
Variables Correlación Ítem-Total Coeficiente de Alfa al eliminar
Corregido Determinación la variable
       
 
Tiempo de evolución mayor de 20 años de la 0,679 0,218 0,597
HTA
 
0,616 0,141 0,611
No control de HTA
 
0,610 0,115 0,611
Colesterol
 
0,596 0,111 0,611
Estadio 2 de la HTA
 
0,588 0,101 0,614
Glucemia
 
0,570 0,118 0,615
HDL
 
0,565 0,210 0,616
Proteína C reactiva
 
0,555 0,088 0,618
Edad mayor de 65 años
 
0,474 0,099 0,619
Microalbuminuria
 
0,463 0,145 0,625
Creatinina
 
0,453 0,041 0,631
Ácido úrico
 
0,448 0,080 0,634
Hábito de Fumar
 
Coeficiente 0,356 0,895
alfa de Cronbach: 0,867 Alfa de ítems estandarizados: 0,116 0,635
Exceso de sal
 Características que debería cumplir un índice:

• Poder ser aplicado de forma fácil, sencilla, con

sensibilidad y especificidad aceptablemente
adecuadas.
• Tener un mínimo de variables pero lo suficiente
para cumplir con las expectativas.
• Finalmente, deberían poseer la capacidad de
recalificación.
 CONSIDERACIONES FINALES

1. A pesar de lo difícil, complejo y a veces abstracto, la

construcción y validación de índices predictivos,
fueron, son y serán herramientas muy útiles en la
evaluación objetiva de los enfermos.
2. Aunque estas investigaciones tienen su origen en
países desarrollados, son indispensables en naciones de
bajos recursos, en aras de disminuir el coste de la
asistencia médica, aspecto esencialmente necesario en
países en vías de desarrollo.
3. Son aportes prácticos, que no solo mejoran la calidad
de los servicios sino que permiten además, optimizar los
recursos económicos y humanos, aspectos importantes
a tener en cuenta en países como el nuestro.
¡Espero que nadie haya caído en coma!