Medwave 2021 21 7 E8432

Descargar como pdf o txt
Descargar como pdf o txt
Está en la página 1de 12

Revisiones

Cómo interpretar las pruebas diagnósticas


How to interpret diagnostic tests

Ignacio Péreza , Iara Yamila Taito-Vicentib , Catalina Gracia González-Xurigueraa ,


Cristhian Carvajala , Juan Víctor Ariel Francob , Cristóbal Loézarc,d,*

a Escuela de Medicina, Universidad de Valparaíso, Viña del Mar, Chile


b Instituto Universitario Hospital Italiano de Buenos Aires, Buenos Aires, Argentina
c Centro Interdisciplinario de Estudios en Salud (CIESAL), Universidad de Valparaíso, Viña del Mar, Chile
d Centro Asociado Universidad de Valparaíso, Cochrane Chile, Viña del Mar, Chile

*Autor corresponsal [email protected] Resumen


Citación Pérez I, Taito-Vicenti IY, González-Xuriguera En el ámbito de la salud, los profesionales deben tomar decisiones en un marco de
CG, Carvajal C, Franco JVA, Loézar C. How to interpret incertidumbre. Al realizar un diagnóstico, se categorizan los signos y síntomas,
sumados a los hallazgos de exámenes complementarios de una condición clínica
diagnostic tests. Medwave 2021;21(7):e8432
particular, implicando la definición de un tratamiento y pronóstico específico.
Durante el proceso diagnóstico se utilizan herramientas de la anamnesis, examen
Doi 10.5867/medwave.2021.07.8432 físico y exámenes complementarios para apoyar dicha categorización. Estas
herramientas, conocidas como pruebas diagnósticas, permiten estimar la
Fecha de envío 28/11/2020 probabilidad de la presencia o ausencia de la condición médica sospechada. La
Fecha de aceptación 26/5/2021 utilidad de las pruebas diagnósticas varía para cada condición clínica y se evalúan
mediante estudios de exactitud (sensibilidad y especificidad) e impacto diagnóstico
Fecha de publicación 4/8/2021 (repercusión sobre los desenlaces de salud). En este artículo, se abordan los
conceptos teóricos y prácticos generales sobre las pruebas diagnósticas en seres
Origen No solicitado humanos considerando sus antecedentes históricos, su relación con las teorías sobre
probabilidades y su utilidad práctica con ejemplos ilustrativos.
Tipo de revisión Con revisión por pares externa, por
dos árbitros a doble ciego
Abstract
Healthcare professionals make decisions in a context of uncertainty. When making
Palabras clave diagnostic test, accuracy, impact, a diagnosis, relevant patient characteristics are categorized to fit a particular
sensitivity, specificity condition that explains what the patient is experiencing. During the diagnostic
process, tools such as the medical interview, physical examination, and other
complementary tests support this categorization. These tools, known as diagnostic
tests, allow professionals to estimate the probability of the presence or absence of the suspected medical condition. The usefulness of diagnostic
tests varies for each clinical condition, and studies of accuracy (sensitivity and specificity) and diagnostic impact (impact on health outcomes) are
used to evaluate them. In this article, the general theoretical and practical concepts about diagnostic tests in human beings are addressed,
considering their historical background, their relationship with probability theories, and their practical utility with illustrative examples.

Ideas clave
• Al decidir en marcos de incertidumbre, la mayoría de las veces los profesionales no disponen de una certeza absoluta sobre la condi-
ción diagnosticada a un paciente.
• Las pruebas diagnósticas apoyan el proceso diagnóstico en la categorización de las vivencias de un paciente en una condición médica
particular que implica una patogénesis, tratamiento y pronóstico específicos.
• Existen distintos tipos de pruebas diagnósticas que pueden ser desde preguntas en la anamnesis, signos al examen físico hasta exá-
menes complementarios (laboratorio, imágenes u otros procedimientos). Estas son evaluadas mediante estudios de exactitud e im-
pacto.
• Este artículo ofrece un acercamiento a las revisiones disponibles en las principales bases de datos y textos de consulta especializados,
referidas a pruebas y exactitud diagnóstica en seres humanos en un lenguaje amigable, orientado a la formación de estudiantes de pre
y posgrado.

1 / 12
Introducción medicina basada en la evidencia entrega herramientas para “objeti-
var” de alguna forma la experiencia clínica, evitar sesgos y facilitar la
En el ámbito de la salud, los profesionales deben tomar decisiones interpretación de las situaciones clínicas.
en un contexto de incertidumbre. Al realizar un diagnóstico, los clí-
nicos categorizan las vivencias de un paciente en una condición par- Ejemplo 1.
ticular que implica una patogénesis, tratamiento y pronóstico espe- Un profesional de salud, tras examinar a un hombre con un cuadro de
cíficos1. Sin embargo, la mayoría del tiempo no existe una certeza dolor abdominal sin signos de alarma y exámenes generales de labora-
absoluta si es que un paciente tiene realmente la condición que se le torio en rangos normales, sospecha un cuadro de síndrome de intestino
ha diagnosticado2. irritable. Sin embargo, recuerda que hace una semana atendió un pa-
ciente con un cuadro clínico similar el cual fue finalmente diagnosticado
Hace más de un siglo, el diagnóstico se basaba principalmente en la con porfiria. Por este motivo, decide solicitar exámenes específicos para
anamnesis y el examen físico. Según Erick Cobo y colaboradores, el descartar esa enfermedad. Este pensamiento intuitivo corresponde al
monje inglés Thomas Bayes llegó a la conclusión de que la existencia heurístico de disponibilidad, el cual se basa en reconocer elementos fa-
de Dios sólo puede demostrarse si previamente se cree en Dios. Por miliares en situaciones nuevas a partir de la información recordada re-
lo tanto, lo que determina la probabilidad de que exista Dios de- cientemente (“disponible”).
pende de ser creyente o no3. Este razonamiento aplicado al diagnós-
tico médico plantea que la probabilidad de un evento posterior a la La información aportada por los métodos diagnósticos incrementan
aplicación de una prueba, depende de la probabilidad que el evento o disminuyen la probabilidad de una condición particular 8, movién-
tenía previa a la misma y las características propias de la prueba apli- dose entre el umbral diagnóstico y el umbral terapéutico (Figura 1).
cada4. La adjudicación de la probabilidad previa a la aplicación de la El umbral diagnóstico refleja la probabilidad mínima necesaria para
prueba es un proceso en el cual el profesional de salud utiliza su co- considerar plausible una condición particular, mientras que el umbral
nocimiento, experiencia y juicio clínico5. terapéutico refleja la confianza necesaria en el diagnóstico para ini-
ciar tratamiento. Por debajo del umbral diagnóstico no merece la
A su vez existen otras aproximaciones diagnósticas como la heurís-
pena realizar pruebas debido a que la probabilidad diagnóstica es
tica, definida por Pérez6 como “mecanismos psicológicos basados
baja2,9. A la inversa, superando el umbral terapéutico el diagnóstico
en la actuación humana frente a la resolución de problemas, por los
tiene una probabilidad tan elevada que justifica las decisiones tera-
cuales reducimos la incertidumbre que produce nuestra limitación
péuticas2. Entre ambos, cuando la probabilidad diagnóstica es inter-
para enfrentarnos a la complejidad de estímulos ambientales”. Por
media, se requiere realizar más pruebas para conseguir una probabi-
ende, se trata de una forma de pensamiento rápida e intuitiva que
lidad que esté bajo el umbral diagnóstico o sobre el umbral del tra-
otorga estimaciones de probabilidad para la toma de decisiones. Sin
tamiento2,9.
embargo, el uso de heurísticos conlleva potenciales errores evitables
que pueden conducir a diagnósticos incorrectos7 (Ejemplo 1). La
Figura 1. Ilustración de los umbrales diagnóstico y terapéutico.

En rojo se señala el umbral diagnóstico que indica la probabilidad máxima que se


tolera para excluir un diagnóstico por ser improbable. En verde se señala el umbral
terapéutico que indica la probabilidad mínima a partir de la cual se asume el diag-
nóstico como probable para iniciar un tratamiento, entre otras decisiones. En na-
ranja queda la probabilidad intermedia en la cual los test diagnósticos son de mayor
utilidad.
Dx: diagnóstico.
Fuente: elaboración propia.

Las pruebas diagnósticas son un grupo de acciones dentro de las


Ejemplo 2. cuales se incluyen preguntas en la anamnesis, signos al examen físico
Un niño en edad escolar con fiebre baja, de pocas horas de evolución y y exámenes complementarios (laboratorio, procedimiento o imagen)
sin síntomas orientativos a un foco infeccioso específico, tiene baja pro-
utilizados con el objetivo de determinar la presencia o ausencia de
babilidad de tener como foco una infección urinaria (debajo del umbral
diagnóstico). Sin embargo, si el mismo paciente presenta además sínto- una condición. En algunos casos también se usan para establecer su
mas urinarios, se beneficiaría de exámenes de orina (entre ambos um- severidad. Las pruebas diagnósticas son evaluadas mediante la exac-
brales). Si los exámenes de orina fueran compatibles con una infección titud y el impacto. La exactitud se define como la probabilidad de
urinaria, se iniciaría tratamiento antibiótico (sobre el umbral terapéu- que el resultado de la prueba prediga correctamente la existencia y
tico). ausencia de determinada condición. Esto puede interpretarse como

2 / 12
la frecuencia relativa de sujetos en los que la prueba acertó su condi- con el Instituto Universitario Hospital Italiano de Buenos Aires, Ar-
ción de enfermedad, representado con la fórmula: gentina, y el Centro Evidencia UC de la Pontificia Universidad Ca-
tólica de Chile. El objetivo de este manuscrito es abordar los princi-
(verdaderos positivos + verdaderos negativos)
pales conceptos teóricos y prácticos de las pruebas diagnósticas en
(total de sujetos evaluados) seres humanos.
Sin embargo, es importante considerar que una prueba diagnóstica
puede ser más exacta para detectar la enfermedad o para detectar a
Probabilidades y más probabilidades en el
los individuos sanos, volviéndose útiles en distintos escenarios9. Una razonamiento clínico
prueba diagnóstica puede ser más exacta para detectar la enferme-
dad, o serlo para detectar a los individuos sanos. Constantemente en la práctica médica se realizan aproximaciones
probabilísticas para determinar la probabilidad que tiene un indivi-
Asimismo, la exactitud de las pruebas diagnósticas puede represen- duo de padecer una condición particular. Este procedimiento es pre-
tarse con indicadores como sensibilidad, especificidad, valor predic- vio a la realización de una prueba diagnóstica. Esta aproximación
tivo positivo, valor predictivo negativo, cocientes de probabilidades diagnóstica inicial corresponde a la probabilidad pretest. Esta prueba
y curvas características operativas del receptor (ROC por sus iniciales depende de la valoración subjetiva del clínico ante la presencia o au-
en inglés Receiver Operating Characteristic). Estos indicadores suelen ser sencia de hallazgos semiológicos para el diagnóstico de una condi-
conocidos por la mayoría de los médicos generales. Sin embargo, ción particular de interés15,16. De forma simplificada, significa que
existe evidencia de que pueden llegar a ser aplicados incorrecta- ante la ausencia de información relevante adicional se ha aceptado el
mente10. uso de la prevalencia de la condición en estudio para estimar la pro-
babilidad pretest15.
La evaluación de la exactitud se realiza comparando la concordancia
de los resultados obtenidos de la prueba diagnóstica en evaluación Un resultado negativo de una prueba diagnóstica en el contexto de
con los de un estándar de referencia en un mismo grupo de pacien- una alta sospecha clínica o probabilidad pretest elevada (Ejemplo 3)
tes. El estándar de referencia, también llamado estándar de oro, co- al igual que un resultado positivo de una prueba diagnóstica en el
rresponde a un único examen o combinación de métodos (estándar contexto de una probabilidad pretest baja (Ejemplo 4), nos harán
de oro compuesto), que permite establecer de la mejor manera dis- dudar en primera instancia del resultado de la prueba. Cuando la pro-
ponible la presencia o ausencia de una determinada condición 9. A babilidad pretest es intermedia, el resultado de la prueba diagnóstica
modo de ejemplo, para el diagnóstico de un tromboembolismo pul- puede modificar el escenario probabilístico incierto para descartar o
monar agudo, el estándar de referencia es la angiografía por tomo- confirmar la sospecha diagnóstica (Ejemplo 5).
grafía axial computarizada. Si para diagnosticar la misma condición
se utilizara la prueba del dímero-D mediante aglutinación por látex, Los problemas que acarrea realizar pruebas
la estimación de la sensibilidad y la especificidad de sus resultados cuando no hay incertidumbre
serían a partir de la comparación de estos con el estándar de oro 11.
El impacto de una prueba diagnóstica hace referencia a cómo y/o
cuánto un resultado dado de una prueba diagnóstica incide en el cui- Ejemplo 3. Alta probabilidad pretest con un resultado negativo.
dado posterior del paciente12. Es decir, la evaluación del impacto de- Se presenta a urgencias un niño de siete años con odinofagia, fiebre ma-
yor a 38 grados Celsius, con adenopatías pultáceas y laterocervicales con
termina en qué modo la información entregada por el resultado de inflamación y dolor. Su mamá refiere que su hermano mayor de 10 años
la prueba, afecta las decisiones terapéuticas y desenlaces clínicos 13. tuvo una faringitis por Streptococcus pyogenes (confirmada) hace menos de
Para determinar el impacto de una prueba diagnóstica se debe reali- cinco días. Al realizarle un test rápido al niño, este resulta negativo. Al
ser la probabilidad pretest del paciente tan alta, se puede considerar la
zar un estudio prospectivo de seguimiento a corto y largo plazo. Otra
posibilidad de que se trate de un falso negativo, es decir, que la prueba
alternativa que puede sumarse a la anterior es realizar un estudio re- no haya detectado una enfermedad que sí existe. En este escenario sería
trospectivo que permita monitorear, entre otras cosas, número de apropiado solicitar el estándar de oro (cultivo faríngeo). Es importante
test diagnósticos aplicados posteriormente, tiempo de demora hasta señalar que, ante la imposibilidad de aplicar un test diagnóstico, se po-
lograr el diagnóstico definitivo o tiempo de demora hasta instaurar dría bajar el umbral terapéutico (Figura 1) e iniciar un tratamiento anti-
el tratamiento definitivo. A modo de ilustración de la aplicación clí- biótico “empírico”.
nica del impacto, tenemos que en el caso de un paciente en el que se
evidencian lesiones de mal pronóstico en una imagen cerebral en el
contexto de un accidente vascular cerebral sin alternativas terapéuti- Ejemplo 4. Baja probabilidad pretest con un resultado positivo.
cas (quirúrgicas o endovasculares), no afectaría el manejo del pa- Un joven de 18 años, sano, con un examen físico normal y sin antece-
ciente el conocer las características detalladas de las lesiones a través dentes personales o familiares de enfermedad cardiovascular, acude a
de nuevas pruebas diagnósticas14. realizarse una prueba ergométrica graduada como parte de los exámenes
de rutina previo a su ingreso al servicio militar obligatorio. Durante la
Este artículo corresponde al séptimo de una serie metodológica de realización de la prueba, el paciente presenta un descenso horizontal del
trece revisiones narrativas acerca de tópicos generales en bioestadís- segmento ST de 2 milímetros, en DIII. Como la probabilidad pretest
tica y epidemiología clínica. Esta revisión explora y resume en un del paciente es muy baja, es razonable pensar que el resultado sea un
lenguaje amigable, artículos publicados disponibles en las principales falso positivo para infarto agudo al miocardio. Esta situación nos plan-
bases de datos y textos de consulta especializados. La serie está tea que es inadecuado solicitar un test diagnóstico con baja especificidad
orientada a la formación de estudiantes de pre y posgrado. Es reali- en un primer momento cuando la probabilidad pretest es muy baja,
zada por la Cátedra de Medicina Basada en la Evidencia de la Escuela dado que ante un resultado positivo el paciente deberá ser sometido a
otras pruebas más específicas solo para confirmar que se trataba de un
de Medicina de la Universidad de Valparaíso, Chile, en colaboración
falso positivo.

3 / 12
Tests en el área de incertidumbre
Ejemplo 5. Probabilidad pretest intermedia con resultado posi-
tivo.
Consulta una paciente mujer de 31 años, sin antecedentes mórbidos,
por cuadro de tres meses de evolución de distensión abdominal y dolor
tipo cólico asociado a pujo, tenesmo y deposiciones diarreicas mucosas,
intermitentemente. En el examen físico solo impresiona distensión ab-
dominal hipogástrica. Tiene antecedentes familiares de enfermedad in-
flamatoria intestinal y es fumadora. Ante la hipótesis diagnóstica de en-
fermedad inflamatoria intestinal se solicita calprotectina fecal, cuyo re-
sultado es elevado en 150 microgramos por gramo (la sensibilidad y es-
pecificidad para discriminar la enfermedad inflamatoria intestinal del
síndrome de intestino irritable varía según el punto de corte de calpro-
tectina y ronda entre 80 y 100% y entre 74 y 100% respectivamente)17.
Dado que la probabilidad luego de aplicar el test se elevó, se solicita
ileocolonoscopia más biopsia que muestra patrón de empedrado, úlce-
ras aftosas, fisuras de la mucosa y biopsia compatible con enfermedad
de Crohn. Realizado el diagnóstico se instaura tratamiento.

Figura 2. Cambio en conducta clínica luego de implementar una prueba diagnóstica.

El paciente del Ejemplo 5 comienza en la zona de incertidumbre diagnóstica por su


sintomatología y sus antecedentes familiares. Al aplicar una prueba diagnóstica de
calprotectina fecal, su resultado elevado aumenta la probabilidad del diagnóstico de
“enfermedad inflamatoria intestinal” y sobrepasa el umbral terapéutico, donde po-
dría comenzarse un tratamiento.
Fuente: elaboración propia.

¿Cómo medimos la exactitud diagnóstica? ellas se suman dos filas que reflejan el resultado positivo (arriba) o
negativo (abajo) de la condición, según la prueba índice. Además, se
Sensibilidad y especificidad designa una letra a cada celda, siendo de esta manera9:
Al aplicar una prueba diagnóstica existe la posibilidad de clasificar A. Verdaderos positivos: aquellos individuos enfermos con resultado
incorrectamente a los individuos sometidos a la misma. Ejemplo de positivo del test.
ello son las personas enfermas que en realidad están sanas (falsos B. Falsos positivos: aquellos individuos sanos con resultado positivo
positivos) y viceversa, personas sanas cuando en realidad están en- del test.
C. Falsos negativos: aquellos individuos enfermos con resultado ne-
fermas (falsos negativos). La información de los valores obtenidos
gativo (test).
para la prueba, en contraste con los valores del test de referencia o D. Verdaderos negativos: aquellos individuos sanos con resultado
estándar de oro, se presenta en formato de tablas (Figura 3). Las lla- negativo (test).
madas “tablas de contingencia 2x2” se construyen con dos colum-
nas. Las columnas corresponden al resultado positivo (izquierda) y
negativo (derecha) de la condición según el estándar de referencia. A

4 / 12
Figura 3. Organización de una tabla de contingencia para la estimación de la precisión diagnóstica.

Fuente: elaboración propia.

Para evaluar las pruebas diagnósticas se utilizan la “sensibilidad” y la una capacidad de confirmar una enfermedad muy alta. Esto significa
“especificidad”2. Estos son valores establecidos que se obtienen a que si un resultado en una prueba muy específica da positivo, hay
partir de la aplicación de la prueba diagnóstica en una población es- gran posibilidad de que se trate de un verdadero positivo 18. En la
pecífica al momento de su validación. En este sentido, la sensibilidad práctica clínica se prefieren pruebas con alta especificidad al mo-
y la especificidad son propiedades intrínsecas del test diagnóstico. mento de confirmar un diagnóstico por su baja cantidad de falsos
Sin embargo, su rendimiento también depende de las características positivos. Esto es particularmente importante en el caso de enferme-
de la población en la cual se aplicará. Más adelante en el texto se dades graves, debido a que un tratamiento oportuno puede disminuir
profundiza sobre estos aspectos18. significativamente las consecuencias físicas, económicas y psicológi-
cas16.
La sensibilidad es la probabilidad de que la prueba clasifique correc-
tamente a los individuos enfermos, o la probabilidad de que el indi-
viduo enfermo sea positivo2. Las pruebas con alta sensibilidad son Ejemplo 8.
útiles en caso de tamizaje, porque tienen muy pocos falsos negati- Una paciente de 27 años con antecedentes familiares de enfermedad de
vos19. No obstante, en estos casos también es importante la especi- Wilson, se presenta a consulta. Su médico busca evaluar la presencia del
ficidad para evitar un exceso de falsos positivos, especialmente si es- anillo de Kayser-Fleisher (anillos dorados en la membrana descemet de
tos implican pruebas confirmatorias costosas o invasivas. Además, la región límbica de la córnea) al realizar el examen físico. Este signo es
por la misma baja cantidad de falsos negativos, son especialmente patognomónico, o sea tiene una especificidad del 100%. Si estuviese
útiles en los casos en que no diagnosticar una enfermedad o evento presente este anillo podría interpretarlo como la confirmación de la en-
específico puede resultar peligroso o fatal para los enfermos16,18. fermedad, ya que la alta especificidad sugiere que no son probables los
falsos positivos.

Ejemplo 7.
La estimación de la sensibilidad y la especificidad de una prueba diag-
Una mujer de 67 años se presenta con confusión, náuseas, vómitos y nóstica tendrán una mayor aplicabilidad entre más amplia sean las
cefalea. Un profesional la evalúa clínicamente y sospecha que puede su- características demográficas y/o clínicas de la muestra de individuos
frir un cuadro de hipertensión endocraneana. Dentro de la evaluación enfermos, como no enfermos de la población donde va a utilizarse
neurológica decide realizar un fondo de ojo, dado que la pérdida de la el test. Si la muestra es representativa de una población y las estima-
pulsación venosa retinal espontánea es un signo sin falsos negativos
ciones se utilizan en otra población con características distintas se
para los cuadros de hipertensión endocraneana. Al notar que la pulsa-
ción está presente, considera el resultado como un verdadero negativo están dando, y empleando en la práctica, valores de sensibilidad y
para hipertensión endocraneana. especificidad equivocados, o por lo menos no aplicables a la pobla-
ción donde se está utilizando.
La especificidad es la probabilidad de que la prueba clasifique co- Como se deduce de lo anteriormente explicado, al ser necesario co-
rrectamente a los individuos sanos, o la probabilidad de que los in- nocer el estado de salud/enfermedad de los pacientes para poder
dividuos sanos tengan un resultado negativo2. Una prueba muy es- calcular la sensibilidad y la especificidad, se requiere la contrastación
pecífica tiene una tasa de falsos positivos muy baja. Ello le confiere del diagnóstico a través de un método que plantea un parámetro ideal

5 / 12
o estándar de oro (patrón de referencia). Esta es la técnica diagnós- otorga mayor probabilidad para descartar la condición del paciente
tica que define la presencia de la condición con la máxima certeza que un resultado positivo para confirmarla. Por otro lado, cuando la
conocida9,19. Por otra parte, en la práctica clínica habitual los profe- probabilidad a priori es alta, los valores predictivos positivos serán
sionales de la salud se ven enfrentados a pacientes que les consultan altos y los valores predictivos negativos serán bajos. En este caso un
con el resultado de una prueba que ya se han realizado. La probabi- resultado positivo de una prueba diagnóstica con alto valor predic-
lidad de estar enfermo o no a partir de los resultados del test se co- tivo positivo otorga mayor probabilidad para confirmar la condición
noce como valor predictivo. Este es el tema que se desarrollará a que un resultado negativo para descartarla2,16 (Ejemplos 9A y 9B).
continuación.
Valores predictivos positivos y negativos Ejemplo 9-A.

El resultado de una prueba diagnóstica conlleva consigo una deter- Supongamos que se desea evaluar el abuso o dependencia de alcohol en
una población con el cuestionario CAGE (Cut-down, Annoyed, Guilty,
minada probabilidad de que dicho resultado categorice correcta-
Eye-opener, cuya sensibilidad del 51% y especificidad del 99% ha sido
mente la presencia o ausencia de la una condición, lo que corres- estimada con anterioridad en los estudios de validación). La localidad A
ponde a los valores predictivos20. El valor predictivo positivo es la es una comunidad cerrada cuyos valores comunitarios incluyen la absti-
probabilidad de que la prueba diagnóstica identifique correctamente nencia del alcohol. Si bien no se puede afirmar que nadie toma alcohol,
los individuos enfermos cuando entrega un resultado positivo. A su la prevalencia estimada de abuso es baja (23/1000) o (2,3%). Si fijamos
vez, el valor predictivo negativo es la probabilidad de que la prueba nuestra atención en el valor predictivo negativo, este es alto (99%) por
diagnóstica identifique correctamente los individuos sanos cuando la baja prevalencia de la enfermedad. El efecto de la prevalencia sobre
entrega un resultado negativo21. Para calcularlos se utilizan propor- el valor predictivo negativo en este escenario está señalado por la baja
ciones (Figura 3). cantidad de falsos negativos en relación con el total de pruebas negati-
vas. En cambio, el valor predictivo positivo es bajo (55%). Esto indica
Los valores predictivos están condicionados por la probabilidad a que es difícil confirmar un diagnóstico con un sólo test en un contexto
priori de la condición en estudio18. Cuando la probabilidad a priori de baja prevalencia. El efecto de la prevalencia sobre el valor predictivo
es baja, los valores predictivos negativos serán altos y los valores pre- positivo en este escenario está señalado por la alta cantidad de falsos
dictivos positivos serán bajos. En este escenario un resultado nega- positivos en relación con el total de pruebas positivas (Figura 4).
tivo de una prueba diagnóstica con alto valor predictivo negativo
Figura 4. Tabla de contingencia de la localidad A.

CAGE: Cut-down, Annoyed, Guilty, Eye-opener.


VP: verdaderos positivos.
FP: falos positivos.
FN: falsos negativos.
VN: verdaderos negativos.
Fuente: elaboración propia.

6 / 12
Ejemplo 9-B.
El mismo ejemplo pero en otra localidad B, la prueba CAGE tiene los
mismos valores de sensibilidad y especificidad ya que estos son propios
de la prueba utilizada. Sin embargo, la localidad B tiene mayor consumo
de alcohol dado que es una de las principales actividades económicas
(producen cerveza), con una prevalencia estimada de abuso o depen-
dencia de un 23%. En este contexto podemos ver que el valor predictivo
negativo es más bajo (87%), dado que sería más difícil descartar un diag-
nóstico en un contexto de alta prevalencia. El efecto de la prevalencia
sobre el valor predictivo negativo en este escenario está señalado por la
alta cantidad de falsos negativos en relación con el total de pruebas ne-
gativas. En cambio, el valor predictivo positivo es más alto (94%) por
la alta prevalencia de enfermedad. El efecto de la prevalencia sobre el
valor predictivo positivo en este escenario está señalado por la baja can-
tidad de falsos positivos en relación con el total de pruebas positivas.
Por esta razón, un resultado positivo en un contexto de alta prevalencia
hace más probable el diagnóstico en comparación a un resultado posi-
tivo en contexto de una baja prevalencia de enfermedad 22 (Figura 5).

Figura 5. Tabla de contingencia de la localidad B.

CAGE: Cut-down, Annoyed, Guilty, Eye-opener.


VP: verdaderos positivos.
FP: falos positivos.
FN: falsos negativos.
VN: verdaderos negativos.
Fuente: elaboración propia.

Los valores predictivos determinan la probabilidad postest según el de una prueba diagnóstica (Figura 3). Los cocientes de probabilida-
resultado de la prueba diagnóstica. Sin embargo, los valores predic- des permiten calcular la probabilidad de una enfermedad posterior a
tivos solo son comparables en poblaciones con una prevalencia o la aplicación de una prueba, adaptándose a las distintas probabilida-
probabilidad pretest de la condición en estudio similar 19. des previas de estar enfermo en diferentes poblaciones23.
Cocientes de probabilidades El cociente de probabilidad positivo determina cuánto más probable
es que el resultado de la prueba sea positivo en un paciente enfermo
Los cocientes de probabilidades, también llamados razones de vero-
respecto a uno sano. En cambio, el cociente de probabilidad nega-
similitud o likelihood ratio, comparan la probabilidad de encontrar un
tivo determina cuánto más probable es que el resultado de la prueba
determinado resultado (positivo o negativo) de una prueba diagnós-
sea negativo en un paciente enfermo respecto a uno sano. Para faci-
tica en personas enfermas respecto a la probabilidad de encontrar
litar la interpretación del cociente de probabilidad negativo se utiliza
ese mismo resultado en personas no enfermas16. Los cocientes de
el recíproco del valor calculado para este indicador, cuyo resultado
probabilidades se calculan utilizando la sensibilidad y la especificidad
determina cuánto más probable es que el resultado de la prueba sea
negativo en un paciente sano respecto a uno enfermo (Ejemplo 10).

7 / 12
Los cocientes de probabilidad positivos pueden tener valores entre
Ejemplo 10. 1 e infinito y los negativos entre 0 y 1. Un cociente de probabilidad
Utilizando los datos de la población de las localidades A y B del Ejemplo de 1 indica nula utilidad para discriminar la presencia o ausencia de
9, podemos calcular el cociente de probabilidad positivo y negativo para una condición23-25 (Tabla 1).
el cuestionario CAGE.
Cociente de probabilidad positivo = 0,51/(1-0,99) = 51
Cociente de probabilidad negativo = (1-0,51)/0,99 = 0,49
El cociente de probabilidad positivo es de 51, lo que significa que un
paciente enfermo tiene 51 veces más probabilidades de tener un cues-
tionario CAGE positivo para alcoholismo en comparación a un pa-
ciente sano. El cociente de probabilidad negativo para las localidades A
y B es de 0,49 (para calcular su recíproco: 1/0,49 ≈ 2), lo que significa
que un paciente sano tiene 2 veces o el doble de probabilidad de tener
un cuestionario CAGE negativo para alcoholismo en comparación a un
paciente enfermo.

Tabla 1. Potencia diagnóstica.


Capacidad Cociente de probabilidad positivo Cociente de probabilidad negativo
Alta > 10 < 0,1
Moderada 5 a 10 0,1 a 0,2
Baja 2a5 0,2 a 0,5
Escasa 1a2 0,5 a 1
Capacidad diagnóstica de una prueba según el valor de cociente de probabilidad.
La primera columna presenta la capacidad o significancia del cociente de probabilidad positivo o negativo para modificar la
probabilidad pretest a postest según la magnitud de su valor. Los cocientes de probabilidad mayores a 10 o menores a 0,1
generan grandes cambios de la probabilidad pretest a postest. Estos cocientes serán suficientes en la mayoría de los casos
para confirmar (sobre el umbral terapéutico) o descartar la condición en estudio (bajo el umbral diagnóstico)26. Los cocientes
de probabilidades de 5 a 10 y de 0,1 a 0,2 generan cambios moderados de la probabilidad pretest a postest. Los cocientes de
probabilidad de 2 a 5 y de 0,5 a 0,2 generan cambios pequeños de probabilidad.
Fuente: elaboración propia.

La forma más práctica y sencilla de interpretar los cocientes de pro-


babilidades es mediante la aplicación del teorema de Bayes con el Ejemplo 11.
nomograma de Fagan27,28. En este gráfico la columna izquierda re- Una paciente de sexo femenino de 85 años consulta por dolor articular
presenta la probabilidad pretest, la del centro el cociente de proba- matutino en ambas manos de más de una hora de duración. Ante la
bilidad de la prueba diagnóstica aplicada y la de la derecha la proba- sospecha de artritis reumatoide, el médico solicita un examen serológico
bilidad postest19. Mediante la prolongación de una línea recta que conocido como factor reumatoideo. Para saber la probabilidad de en-
una los valores obtenidos de la primera columna con el de la segunda fermedad de esta paciente se usa el nomograma de Fagan, el cual se
columna, es posible obtener el resultado de la tercera columna, co- visualiza en la Figura 6, una vez que tenga el resultado de la prueba diag-
rrespondiente a la probabilidad de tener la condición en función del nóstica.
resultado de la prueba diagnóstica (Ejemplo 11).

8 / 12
Figura 6. Nomograma de Fagan del factor reumatoideo. Curva característica operativa del receptor
Algunas pruebas diagnósticas informan sus resultados en datos con-
tinuos u ordinales, tales como la presión arterial o la glicemia. Al
utilizar este tipo de datos se debe determinar el punto de corte en
donde existe la mayor sensibilidad y especificidad. Es decir, el lugar
de la curva en donde mejor se discrimina a los enfermos de los no
enfermos32. Sin embargo, no hay un valor que separe claramente a
los enfermos de los que no lo están, existiendo valores solapados
entre ambos grupos.
Las curvas características operativas del receptor son una represen-
tación gráfica que relaciona la proporción de verdaderos positivos
(sensibilidad) con la proporción de falsos positivos (1 menos especi-
ficidad) para los diferentes posibles valores de una prueba diagnós-
tica con el propósito de determinar qué valor discrimina mejor entre
enfermos y no enfermos. La curva característica operativa del recep-
tor se construye a partir de una gráfica de dispersión, cuyos ejes de
ordenadas (y) y abscisas (x) corresponden respectivamente a la sen-
sibilidad y al complemento de la especificidad para los diferentes po-
sibles resultados de la prueba diagnóstica. Desde la esquina inferior
izquierda y la esquina superior derecha del gráfico se traza una línea
punteada que recibe el nombre de “diagonal de referencia” o “línea
de no discriminación”. Esta diagonal de referencia corresponde a la
representación teórica de una prueba diagnóstica que no discrimina
enfermos de no enfermos (distribución idéntica de los resultados
para ambos grupos).
El punto de corte que discrimina mejor entre enfermos y no enfer-
La probabilidad pretest definida por el mé- mos dentro de la curva característica operativa del receptor es aquel
dico del ejemplo corresponde a la prevalen- que alcanza la sensibilidad y especificidad más altas al mismo tiempo.
cia mundial en mayores de 65 años para esta Gráficamente corresponde al punto más cercano al ángulo superior
enfermedad, la cual es de aproximadamente
5% (punto amarillo en la primera co- izquierdo de la gráfica, calculado mediante el índice de Youden (sen-
lumna)29. El cociente de probabilidad posi- sibilidad + especificidad - 1)33. Sin embargo, según el objetivo clínico
tivo es de 4,86 (punto azul en la segunda co- que tenga la prueba diagnóstica, el punto de corte puede ser diferente
lumna) y el cociente de probabilidad nega- para así privilegiar la sensibilidad o la especificidad (Ejemplo 12).
tivo es de 0,38 (punto rojo en la segunda co-
lumna)30. La probabilidad postest para el re-
sultado positivo es de aproximadamente Ejemplo 12.
20% y se obtiene al trazar una línea recta (lí-
nea celeste) entre la probabilidad pretest y el En el siguiente ejemplo, tomado y modificado del libro de Epidemiolo-
cociente de probabilidad positivo. La pro- gía Clínica hecho por Feinstein34 se les realizó la prueba ergométrica a
babilidad postest para el resultado negativo una muestra de dos grupos de pacientes, uno con enfermedad coronaria
es de aproximadamente 1% siguiendo el demostrada y otro que no la tiene. Al final de la prueba se les midió el
mismo método (línea naranja).
Fuente: elaboración propia. desnivel del segmento ST (Tabla 2).

Un resultado positivo para el factor reumatoideo sin otros signos o


síntomas que apoyen la presencia de artritis reumatoide, no es sufi-
ciente para realizar el diagnóstico y mucho menos justificar un trata-
miento31.

9 / 12
Tabla 2. Valores obtenidos en la prueba ergométrica.
Desnivel de ST Con enfermedad Proporción Sin enfermedad Proporción
coronaria acumulada coronaria acumulada
≥ 3 milímetros 31 0,21 0 0,00
2,5 - < 3,0 15 0,31 0 0,00
2,0 - < 2,5 27 0,49 7 0,05
1,5 - < 2,0 30 0,69 8 0,10
1,0 - < 1,5 32 0,90 39 0,36
0,5 - < 1,0 12 0,98 43 0,65
< 0,5 3 1,00 53 1,00
Total 150 150
De izquierda a derecha, la primera columna señala los rangos de valores de desnivel del segmento ST después de realizada la prueba
ergométrica. La segunda columna indica el número de pacientes que fueron clasificados correctamente como enfermos en el rango de
valores de desnivel del segmento ST correspondiente. La tercera columna da cuenta de la frecuencia relativa acumulada de pacientes
clasificados correctamente como enfermos, es decir la sensibilidad para estos rangos de desnivel del segmento ST. La cuarta columna
indica al número de pacientes que fueron clasificados incorrectamente como enfermos en el rango de valores de desnivel del segmento
ST correspondiente. Por último, la quinta columna muestra la frecuencia relativa acumulada de pacientes clasificados incorrectamente
como enfermos, es decir el complemento de la especificidad para estos rangos de desnivel del segmento ST.
Fuente: adaptación y modificación de Feinstein y colaboradores34.

El punto de corte que mejor discrimina entre enfermos y no enfer-


El área bajo la curva característica operativa del receptor es el indi-
mos de enfermedad coronaria para esta prueba diagnóstica sería el
cador global de la precisión de una prueba diagnóstica, cuyo cálculo
supradesnivel del segmento ST mayor o igual a 1,5 milímetros, el
de obtención escapa del objetivo de este estudio. Esta área oscila
cual tiene una sensibilidad de 0,69 y una especificidad de 0,90. Sin
entre 0,5 y 1. En el 1 las pruebas diagnósticas alcanzan el 100% de
embargo, en la práctica clínica el punto de corte utilizado para la en-
sensibilidad y de especificidad. Un área cercana a 0,5 significa que la
fermedad coronaria es el supradesnivel del segmento ST mayor a 1
prueba diagnóstica no discrimina pacientes enfermos de sanos. El
milímetro que tiene una sensibilidad de 0,90 y una especificidad de
área bajo la curva característica operativa del receptor permite com-
0,64. Este punto de corte privilegia la sensibilidad a expensas de la
parar entre dos o más pruebas diagnósticas37, eligiendo en términos
especificidad35,36, dado que no diagnosticar la enfermedad coronaria
generales, la que tenga el mayor área al ser la que mejor discrimine
cuando existe (falso negativo) puede ser dañino e incluso mortal para
entre enfermos y no enfermos (Ejemplo 12).
los pacientes. Los datos obtenidos en este ejemplo son ilustrados en
forma de curva característica operativa del receptor (Figura 7).
Ejemplo 12.
Figura 7. Curva característica operativa del receptor de la prueba ergomé- Peonim y colaboradores38 determinaron que la realización en conjunto
trica. del antígeno prostático específico y la fosfatasa ácida son el método
diagnóstico más exacto para la detección de semen en muestras vagina-
les humanas. Esta conclusión se basó en la comparación de las curvas
características operativas del receptor de ambas pruebas, realizadas
tanto de forma separada como en conjunto (Figura 8).

Figura 8. Comparación de curvas características operativas del receptor.

La curva característica operativa del receptor de la


prueba diagnóstica ergométrica del ejemplo presentado
consta de dos ejes que varían de 0 a 1 (0 a 100%), la
sensibilidad en el eje vertical (y) y el complemento de la En este gráfico se comparan las curvas características operativas del
especificidad en el eje horizontal (x). Cada punto rojo receptor de la fosfatasa ácida sola (curva ABC), del antígeno pros-
en la curva característica operativa del receptor son po- tático específico sólo (curva ABD) y ambas pruebas en conjunto
sibles puntos de corte. La línea diagonal en negro recibe (curva ABE). Las áreas bajo las curvas características operativas del
el nombre de diagonal de referencia o línea de no dis- receptor son respectivamente 0,8091, 0,8639 y 0,8823. Por lo tanto,
criminación. la combinación de ambas pruebas diagnósticas tiene la mayor exac-
Fuente: adaptación y modificación de Feinstein y cola- titud diagnóstica.
boradores35. Fuente: adaptación y modificación de la Figura 1 de Peonim y co-
laboradores (2013)38.

10 / 12
Conclusiones 10. Steurer J, Fischer JE, Bachmann LM, Koller M, ter Riet G. Com-
municating accuracy of tests to general practitioners: a controlled
Las pruebas diagnósticas asisten a la toma de decisiones clínicas y study. BMJ. 2002 Apr 6;324(7341):824-6. | CrossRef | Pub-
para su análisis es indispensable entender sus propiedades (sensibili- Med |
11. Froehling DA, Elkin PL, Swensen SJ, Heit JA, Pankratz VS, Ryu
dad, especificidad, valores predictivos y cocientes de probabilida-
JH. Sensitivity and specificity of the semiquantitative latex agglu-
des). tination D-dimer assay for the diagnosis of acute pulmonary em-
Según el teorema de Bayes, a partir de la probabilidad basal del indi- bolism as defined by computed tomographic angiography. Mayo
viduo (probabilidad pretest), las propiedades de la prueba y sus re- Clin Proc. 2004 Feb;79(2):164-8. | CrossRef | PubMed |
12. National Lung Screening Trial Research Team, Aberle DR, Ad-
sultados, podemos obtener una nueva probabilidad en relación a la
ams AM, Berg CD, Black WC, Clapp JD, et al. Reduced lung-
condición en estudio. cancer mortality with low-dose computed tomographic screening.
Las curvas características operativas del receptor son instrumentos N Engl J Med. 2011 Aug 4;365(5):395-409. | CrossRef | Pub-
útiles para evaluar pruebas diagnósticas con resultados cuantitativos Med |
13. Carlos R, Gareen I, Gatsonis C, Gorelick J, Kessler L, Lau J, et
no dicotómicos, permitiendo discriminar entre dos estados de salud. al. Standards in the Design, Conduct and Evaluation of Diagnos-
La interpretación correcta de los resultados de una prueba puede tic Testing for Use in Patient Centered Outcomes Research.
evitar errores en la toma de decisiones con consecuencias negativas PCORI. 2012.[On line]. | Link |
14. Araujo M. Estudios sobre el diagnóstico de las enfermedades.
para quienes son sometidos a estas pruebas.
Medwave. 2011 Jul 1;11(07). [On line]. | Link |
15. Burgos D ME, Manterola D C. Assessment of diagnostic test
Notas studies. Rev Chil Cir. 2010;62(3):301–8. [On line]. | Link |
Roles de autoría 16. Mark DB, Wong JB. Decision-making in clinical medicine. In:
Todos los autores contribuyeron en la planificación y escritura del manus- Harrison’s Principles of Internal Medicine. 18° Ed. McGraw Hill
crito original, así como en la introducción, conceptualización, ejemplos y Professional; 2011:19-29.
conclusiones del artículo. 17. Vásquez-Morón JM, Argüelles-Arias F, Pallarés-Manrique H, Ra-
mos-Lora M. Utility of fecal calprotectin in inflammatory bowel
Declaración de conflictos de intereses disease. RAPD. 2017;40(2). [On line]. | Link |
Los autores completaron la declaración de conflicto de interés de ICMJE y 18. Escrig-Sos J, Martínez-Ramos D, Miralles-Tena JM. Pruebas diag-
declararon que no recibieron fondos por la realización de este artículo; no nósticas: nociones básicas para su correcta interpretación y uso.
tienen relaciones financieras con organizaciones que puedan tener interés en Cirugía Española. 2006 May;79(5):267–73. | CrossRef |
el artículo publicado en los últimos años y no tienen otras relaciones o acti- 19. Talavera JO, Wacher-Rodarte NH, Rivas-Ruiz R. Investigación
vidades que puedan influenciar en la publicación del artículo. clínica II. Estudios de proceso (prueba diagnóstica) [Clinical re-
Financiamiento search II. Studying the process (the diagnosis test)]. Rev Med Inst
Los autores declaran que no hubo fuentes externas de financiamiento. Mex Seguro Soc. 2011 Mar-Apr;49(2):163-70. | PubMed |
20. Altman DG, Bland JM. Diagnostic tests 2: Predictive values. BMJ.
Consideraciones éticas 1994 Jul 9;309(6947):102. | CrossRef | PubMed |
Este estudio no requirió de la evaluación por parte de un comité de ética, 21. Trevethan R. Sensitivity, Specificity, and Predictive Values: Foun-
debido a que trabajó sobre fuentes secundarias. dations, Pliabilities, and Pitfalls in Research and Practice. Front
Public Health. 2017 Nov 20;5:307. | CrossRef | PubMed |
Idioma de envío 22. Simel D, Rennie D. The Rational Clinical Examination: Evidence-
Español. Based Clinical Diagnosis. Mcgraw-Hill; 2008.
23. Deeks JJ, Altman DG. Diagnostic tests 4: likelihood ratios. BMJ.
Referencias 2004 Jul 17;329(7458):168-9. | CrossRef | PubMed |
1. McGee S. Evidence-Based Physical Diagnosis. 4° Ed. Elsevier; 24. Pauker SG, Kassirer JP. The threshold approach to clinical deci-
2017. sion making. N Engl J Med. 1980 May 15;302(20):1109-
2. Molina Arias M. Characteristics of diagnostic tests. Rev Pediatr 17. | CrossRef | PubMed |
Aten Primaria. 2013;15(58):169–73. [On line]. | Link | 25. McGee S. Simplifying likelihood ratios. J Gen Intern Med. 2002
3. Cobo E, Muñoz P, González JA. Bioestadística para no estadísti- Aug;17(8):646-9. | CrossRef | PubMed |
cos. 1° Ed. Elsevier Masson; 2007. 26. Capurro D, Rada G. The diagnostic process. Rev Med Chil. 2007
4. Gross RD. Making Medical Decisions: An Approach to Clinical Apr;135(4):534–8. [On line]. | Link |
Decision Making for Practicing Physicians. 1° Ed. ACP Press; 27. Fagan TJ. Letter: Nomogram for Bayes theorem. N Engl J Med.
1999. 1975 Jul 31;293(5):257. | CrossRef | PubMed |
5. McDonald CJ. Medical heuristics: the silent adjudicators of clini- 28. Aznar-Oroval E, Mancheño-Alvaro A, García-Lozano T, Sán-
cal practice. Ann Intern Med. 1996 Jan 1;124(1 Pt 1):56- chez-Yepes M. Razón de verosimilitud y nomograma de Fagan: 2
62. | CrossRef | PubMed | instrumentos básicos para un uso racional de las pruebas del la-
6. Pérez Echeverría MP. Psicología del razonamiento probabilístico. boratorio clínico [Likelihood ratio and Fagan’s nomogram: 2 ba-
1° Ed. UAM; 1990. sic tools for the rational use of clinical laboratory tests]. Rev Calid
7. Elstein AS. Thinking about diagnostic thinking: a 30-year per- Asist. 2013 Nov-Dec;28(6):390-1. | CrossRef | PubMed |
spective. Adv Health Sci Educ Theory Pract. 2009 Sep;14 Suppl 29. Artritis reumatoide. Universidad Católica de Chile. [On
1:7-18. | CrossRef | PubMed | line]. | Link |
8. Araujo Alonso M. Critical analysis of studies of diagnostic tests: 30. Nishimura K, Sugiyama D, Kogata Y, Tsuji G, Nakazawa T, Ka-
I. Medwave. 2012 Aug 1;12(07):e5465–e5465. wano S, et al. Meta-analysis: diagnostic accuracy of anti-cyclic cit-
9. Bravo-Grau S, Cruz Q JP. Estudios de exactitud diagnóstica: He- rullinated peptide antibody and rheumatoid factor for rheumatoid
rramientas para su Interpretación. Rev chil radiol. arthritis. Ann Intern Med. 2007 Jun 5;146(11):797-808. | Cross-
2015;21(4):158–64. [On line]. | Link | Ref | PubMed |

11 / 12
31. Nicoll D, Lu CM, McPhee SJ. Guide to Diagnostic Tests. 7° Ed. 36. Altman DG, Bland JM. Diagnostic tests 3: receiver operating
McGraw-Hill Education; 2017. characteristic plots. BMJ. 1994 Jul 16;309(6948):188. | Cross-
32. Akobeng AK. Understanding diagnostic tests 3: Receiver operat- Ref | PubMed |
ing characteristic curves. Acta Paediatr. 2007 May;96(5):644- 37. DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the
7. | CrossRef | PubMed | areas under two or more correlated receiver operating character-
33. Böhning D, Böhning W, Holling H. Revisiting Youden’s index as istic curves: a nonparametric approach. Biometrics. 1988
a useful measure of the misclassification error in meta-analysis of Sep;44(3):837-45. | PubMed |
diagnostic studies. Stat Methods Med Res. 2008 Dec;17(6):543- 38. Peonim V, Worasuwannarak W, Sujirachato K, Teerakamchai S,
54. | CrossRef | PubMed | Srisont S, Udnoon J, et al. Comparison between prostate specific
34. Feinstein AR. Clinical Epidemiology: The Architecture of Clinical antigen and acid phosphatase for detection of semen in vaginal
Research. 2° Ed. W.B. Saunders Company; 1985. swabs from raped women. J Forensic Leg Med. 2013
35. Zweig MH, Campbell G. Receiver-operating characteristic (ROC) Aug;20(6):578-81. | CrossRef | PubMed |
plots: a fundamental evaluation tool in clinical medicine. Clin
Chem. 1993 Apr;39(4):561-77. | PubMed |

Correspondencia a
Angamos 655, Reñaca,
Viña del Mar

Esta obra está bajo una licencia Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 In-
ternacional.

12 / 12

También podría gustarte