Introducción a la Medicina Basada en Evidencias

Medwave. Año XI, No. 12, Diciembre 2011. Open Access, Creative Commons.

Las revisiones sistemáticas (II)

Ficha del Artículo
Citación: Araujo M. Las revisiones sistemáticas (II) Medwave 2011 Dec;11(12) doi:
10.5867/medwave.2011.12.5273
Fecha de envío: 24/11/2011
Fecha de aceptación: 25/11/2011
Fecha de publicación: 1/12/2011
Origen: solicitado
Tipo de revisión: sin revisión por pares

Autor: Miguel Araujo Alonso(1)

Filiación:
(1)
Hospital de Los Andes, Medwave
Correspondencia: [email protected]
doi: 10.5867/medwave.2011.12.5273

Resumen
En este artículo se presenta una guía práctica para analizar críticamente un trabajo de revisión, la
calidad de las revisiones sistemáticas y de los documentos derivados de las revisiones sistemáticas. En
la actualidad, los criterios más usados para evaluar la calidad metodológica de una revisión
sistemática son los contenidos en el instrumento “AMSTAR”. Más que aplicar esta guía como una lista
de chequeo, el lector debe mantener una actitud crítica y extraer sus propias conclusiones a partir de
los resultados objetivos de la revisión. El artículo recuerda que un metaanálisis no es sinónimo de
validez, es simplemente una técnica estadística que puede ser bien o mal utilizada. Las revisiones
sistemáticas se pueden encontrar publicadas como tales en las revistas biomédicas y en bases de
datos especializadas, sin embargo, también son la base de otra serie de documentos, como guías de
práctica clínica e informes de evaluación de tecnologías de salud. Algunas de las principales fuentes de
revisiones sistemáticas son MEDLINE, Cochrane Database of Systematic Reviews, Centre for Reviews
and Dissemination, y Tripdatabase.

Abstract
The article provides a practical guide to critically appraise a review article, the quality of a systematic
review and of any document arising from a systematic review. At present, the most widely used
criteria to assess the methodological quality of a systematic review, is AMSTAR. This guide should not
be used as a simple checklist – the reader should always have a critical attitude and reach her own
conclusions from the objective results of the review. The article reminds us that meta-analysis is not a
synonym of validity – it is a statistical technique that can be used for good or for worse. Systematic
reviews are found in biomedical journal and in specialized data bases; however, they are also used as
input for Clinical Practical Guidelines and health technology assessment reports. Sources for
systematic reviews are MEDLINE, Cochrane Database of Systematic Reviews, Centre for Reviews and
Dissemination, and Tripdatabase.

Guía práctica para analizar críticamente un trabajo de revisión, calidad de las

revisiones sistemáticas, y documentos derivados de las revisiones sistemáticas

Guía práctica para analizar críticamente un Development of AMSTAR: a measurement tool to assess
trabajo de revisión the methodological quality of systematic reviews. BMC
Hoy en día los criterios más usados para evaluar la calidad Med Res Methodol. 2007 Feb 15;7:10.
metodológica de una revisión sistemática son los
contenidos en el instrumento “AMSTAR”. Si quiere conocer Para cada una de estas preguntas, el instrumento pide
un poco más de él, mire este artículo: que usted indique si la respuesta es positiva, negativa, si
no se puede responder (por ejemplo, porque los datos o la
Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, claridad con que está expuesta la metodología de la
Hamel C, Porter AC, Tugwell P, Moher D, Bouter LM.

www.medwave.cl 1 Año XI, No. 12, Diciembre 2011.

revisión no lo permiten), o si el criterio en cuestión no es 5. ¿Se provee una lista de los estudios incluidos y
aplicable a esta revisión en particular. excluidos?

Más que aplicarlo a la manera de una lista de chequeo, la Criterio: debe entregarse una lista de los estudios
idea es que usted tenga presentes estos criterios cuando incluidos y excluidos.
lea una revisión, y en base a ellos se forme una opinión
sobre la confiabilidad de la misma. Considere la correspondencia de los estudios
seleccionados con el tema investigado, teniendo presente
Las preguntas que plantea el instrumento AMSTAR son las nuevamente las poblaciones, la exposición o intervención
siguientes: y los desenlaces.

1. ¿Fue un diseño “a priori”? Tenga presente además los diseños de investigación

utilizados en los estudios primarios: la posibilidad de
Criterio: la pregunta de investigación y los criterios de encontrar resultados contradictorios aumenta si se
inclusión deben ser establecidos antes de iniciar la incluyen estudios de distinto diseño. Lo deseable es que
revisión. se haya seleccionado los diseños más robustos para
investigar el tema en cuestión. Por ejemplo: ensayos
2. ¿Hubo duplicación de la selección de los clínicos randomizados para las intervenciones terapéuticas
estudios y de la extracción de datos? o preventivas, cohortes prospectivas para tópicos
relacionados con factores pronósticos; descartando en
Criterio: deben existir al menos dos extractores general los estudios de diseño más débil.
independientes de los datos y un procedimiento para
llegar a consenso en caso de que existan desacuerdos. 6. ¿Se entregan las características de los estudios?
Se ha visto que existe baja correlación en el análisis
crítico de estudios publicados, es decir: distintos revisores Criterio: debe incluirse en forma completa, en tablas, la
pueden llegar a diferentes conclusiones sobre la calidad de información esencial de los estudios originales, tal como el
un estudio. También se ha establecido que el renombre o tipo de participantes, las intervenciones y los desenlaces
la respetabilidad de los autores de los estudios primarios o evaluados en cada estudio.
de la revista en que apareció publicado influyen sobre su
evaluación. 7. ¿Se evaluó y documentó la calidad científica de
Por estas razones, siempre es deseable que el análisis los estudios?
crítico de los artículos haya sido hecho por dos o más
revisores independientes. En la mayoría de las revisiones Criterio: se deben describir los métodos de evaluación a
de buena calidad, este antecedente está consignado en la priori.
sección "métodos". Idealmente además, el análisis debiera
ser ciego a la identidad de los autores. Este último Existen diversas guías y escalas de puntaje publicadas,
aspecto se cumple con menos frecuencia. que permiten hacer una valoración crítica de los estudios
obtenidos de la literatura, identificando en ellos posibles
3. ¿Se realizó una búsqueda amplia de la fuentes de sesgos. La mayoría de estas escalas no ha sido
literatura? validada como instrumento, es decir, no se ha demostrado
empíricamente que un determinado puntaje se asocia a
Criterio: la búsqueda debe realizarse en al menos dos un cierto margen de error en los resultados del estudio.
fuentes electrónicas. El informe debe señalar los años que Pese a esto, existe un marco teórico sólido y una
abarcó la búsqueda y las bases de datos utilizadas (ej. evidencia suficiente de que la calidad de los estudios
EMBASE, MEDLINE, Lilacs). Las palabras clave y términos influye sobre los resultados, como para avalar su
MeSH deben estar explicitados y cuando sea posible, debe aplicación. Así, constituye un elemento a favor de
estar disponible la estrategia de búsqueda. Las búsquedas cualquier revisión, el hecho de que los autores hayan
deben ser complementadas con consulta a registros utilizado criterios explícitos de evaluación de la calidad
especializados o expertos en el campo de estudio, y por la metodológica. Como ejemplo, en estudios sobre terapia:
revisión de las listas de referencias en los estudios que se haya verificado si se aplicó o no un método de
encontrados. randomización, si se hizo enmascaramiento (doble ciego),
si se encubrió la asignación de los pacientes a los grupos
4. ¿Se utilizó el estado de la publicación (ejemplo: de tratamiento y control, etc.
literatura gris) como criterio de inclusión?
8. ¿Se utilizó adecuadamente la calidad de los
Criterio: los autores debieran declarar que ellos buscaron estudios en la formulación de conclusiones?
trabajos sin fijarse en el estado de publicación, el idioma
del artículo, etc. Criterio: los resultados del rigor metodológico y calidad
científica deberían considerarse en el análisis y las
conclusiones de la revisión, y declararse explícitamente en
la formulación de recomendaciones.

www.medwave.cl 2 Año XI, No. 12, Diciembre 2011.

9. ¿Fueron apropiados los métodos para combinar es sinónimo de validez, es simplemente una técnica
los hallazgos de los estudios? estadística que puede ser bien o mal utilizada.

Criterio: para los resultados agrupados, se debe realizar Como siempre en epidemiología, sobre la calidad de las
un test para evaluar su homogeneidad (ejemplo: prueba revisiones no hay sólo “buenas” y “malas”, sino una gama
de Chi cuadrado para homogeneidad, I²), para asegurar infinita de situaciones intermedias. Al respecto, considere
que los estudios son combinables. que si bien una revisión sistemática pudiera tener
debilidades en más de un aspecto, de todas formas será
La heterogeneidad en los resultados de los estudios una fuente útil, que probablemente le aporte mejor
primarios puede explicarse por distintas razones: evidencia que un grupo de artículos aislados obtenidos a
través de un procedimiento no sistemático (ejemplo:
- Por efecto del azar (para ello se utilizan los “test de revisando las revistas de la especialidad que usted suele
homogeneidad”, que evalúan si las diferencias en los consultar).
efectos observados entre los distintos estudios difieren
mas allá de lo que uno pudiera esperar simplemente por Por último, es importante señalar que con frecuencia las
azar) revisiones sistemáticas no llegan a resultados
- Por diferencias en los diseños de investigación, o concluyentes. Esto se explica por una combinación de
- Por variaciones en los componentes básicos del estudio: causas: puede que efectivamente los resultados de los
población (ejemplo: poblaciones de edades distintas), estudios no aporten evidencias categóricas respecto a la
intervención (ejemplo: el fármaco se usó por un tiempo o efectividad de una terapia, o la superioridad de un tipo de
a una dosis distinta entre un estudio y otro), o en la forma tratamiento sobre otro. Esto ocurre cuando:
de medir los resultados. La revisión debiera analizar cada
uno de estos factores.  los estudios disponibles no han llegado a establecer
una asociación estadísticamente significativa, o
Si la heterogeneidad existe, debe utilizarse un modelo de  algunos la muestran pero el efecto es de pequeña
efecto aleatorio y/o debe considerarse la pertinencia magnitud, o
clínica de combinarlos (ejemplo: ¿Es prudente (razonable)  los resultados entre estudios son contradictorios, o
combinar? O sea, ¿no son peras y manzanas?).  hay pocos estudios y de pequeño tamaño muestral, o
 los pocos estudios existentes son dependientes de la
10. ¿Se evaluó la probabilidad de sesgo de industria (conflicto de interés), o
publicación?  son de baja calidad metodológica, o
 simplemente no hay ningún estudio que cumpla el
Criterio: una evaluación del sesgo de publicación debe diseño especificado (puede que los criterios de
incluir una combinación de apoyos gráficos (tales como inclusión de los estudios a considerar en la revisión
“funnel plot”) y/o pruebas estadísticas (ejemplo: test de sean muy exigentes y que eso determine que muchos
regresión de Egger). de los estudios que algunos considerarían en principio
"interesantes" queden fuera por limitaciones
Si bien esto es lo óptimo, sobre todo si uno sospecha que metodológicas).
podría haber un cúmulo importante de estudios no
publicados en el tema, a los que no se pudo acceder con Documentos derivados de las revisiones
la búsqueda; en la práctica son pocas las revisiones que lo sistemáticas
evalúan formalmente. Las revisiones sistemáticas se pueden encontrar
publicadas como tales en las revistas biomédicas y en
11. ¿Fueron declarados los conflictos de interés? bases de datos especializadas, sin embargo, también son
la base de otra serie de documentos, a saber:
Criterio: las fuentes de ayuda económica deben estar
claramente reconocidas, tanto en la revisión sistemática  Guías de Práctica Clínica
como en los estudios incluidos en ella.
Conjuntos de recomendaciones basadas en la evidencia
Es importante verificar también que las conclusiones de científica respecto al manejo de una patología. Cuando
los autores deriven directamente de los resultados de la enfrente una guía clínica debe estar atento a sus
revisión, y que no se planteen como ciertas asociaciones características, especialmente a los métodos que se
que no hayan sido debidamente demostradas, ni que, utilizaron para elaborarla, porque así como hay guías
existiendo suficiente evidencia como para sostenerlas, la sustentadas en revisiones sistemáticas ("guías clínicas
magnitud de las mismas sea distorsionada –exagerada- basadas en evidencia"), también las hay producidas a
por un uso abusivo o poco preciso del lenguaje. través de métodos menos rigurosos.
Piense en estas guías cuando tenga la tarea de elaborar
Calidad de las revisiones sistemáticas protocolos de atención en su institución. Si desea acceder
El lector debe mantener entonces una actitud crítica y a guías clínicas de buena calidad, ingrese a esta base de
extraer sus propias conclusiones a partir de los resultados datos que reúne la mayoría de las guías generadas en
objetivos de la revisión. Recuerde que un metaanálisis no países anglosajones (últimamente se han ido incorporando

www.medwave.cl 3 Año XI, No. 12, Diciembre 2011.

también fuentes en español), por parte de sociedades Cochrane Database of Systematic Reviews y su
científicas, instituciones privadas y centros universitarios: versión en español La Biblioteca Cochrane Plus. La
mayoría de las revisiones Cochrane se encuentra hoy en
National Guidelines Clearinghouse día traducidas a nuestro idioma.

 Informes de Evaluación de Tecnologías de Salud Centre for Reviews and Dissemination. Este centro,
dependiente de la Universidad de York, es el sostenedor
Son reportes producidos por las agencias de evaluación de de importantes bases de datos como DARE y HTA, que
tecnologías de salud, entidades ligadas en su mayoría a recopilan revisiones publicadas en otras fuentes, las
países desarrollados y a organismos de sanidad públicos. resumen y analizan críticamente.
Estos informes son una excelente fuente de información
científica sobre la eficacia, seguridad y costo-efectividad Tripdatabase. Constituye un excelente recurso de
de las tecnologías emergentes, aunque también cubren búsqueda, que rastrea en forma simultánea un sinnúmero
tópicos tradicionales y de alcance masivo, tales como: el de fuentes, incluyendo bases de datos de revisiones
manejo del dolor lumbar, la enfermedad coronaria, los sistemáticas (DARE, Cochrane Collaboration, etc.), de
exámenes preoperatorios y otros similares. guías clínicas (National Guidelines Clearinghouse, CMA
Infobase, etc.), artículos recientes en revistas
¿Dónde encontrar revisiones sistemáticas? especializadas de renombre (BMJ, Jama, etc.), Medline a
He aquí algunas de las principales fuentes y portales para través de PubMed, etc.
acceder a ellas:

Medline: utilizando el filtro “Systematic Review” de

Clinical Queries, la opción “Meta-analysis” de Limits, u
otro filtro específico.

Esta obra de Medwave está bajo una licencia Creative Commons Atribución-
NoComercial 3.0 Unported. Esta licencia permite el uso, distribución y reproducción
del artículo en cualquier medio, siempre y cuando se otorgue el crédito
correspondiente al autor del artículo y al medio en que se publica, en este caso, Medwave.

www.medwave.cl 4 Año XI, No. 12, Diciembre 2011.