De Serdio Romero E - ECOE: EVALUACIN CLNICA OBJETIVA ESTRUCTURADA

REA DOCENTE

ECOE: Evaluacin Clnica Objetiva Estructurada

De Serdio Romero E 1.
1

Mdico de Familia. Mster en Salud Pblica y Administracin Sanitaria. Coordinador provincial de la Unidad Docente de Medicina Familiar y Comunitaria de Sevilla.

I. DISEO DE UNA ECOE

Como se deca en el captulo anterior (ECOE: Evaluacin Clnica Objetiva Estructurada. I. Competencias y su
evaluacin. Medicina de Familia (And) Vol. 3, N1, febrero 2002), la ECOE es un formato de examen que incorpora diversos instrumentos evaluativos y se desarrolla
a lo largo de sucesivas estaciones que simulan situaciones clnicas. La potencia de este formato radica en la
mezcla de mtodos de evaluacin, de manera que es
capaz de explorar suficientemente tres de los cuatro niveles de la pirmide de Miller: saber, saber cmo y demostrar cmo.

adems posean formacin y/o experiencia en evaluacin de competencias. Su nmero puede ser variable,
siendo aconsejable entre seis y doce personas. El
Comit de Prueba deber ser auxiliado por tcnicos
expertos en este tipo de pruebas, con el fin de orientar y optimizar su trabajo.
El Comit de Prueba asume la responsabilidad de la
misma, y por lo tanto debe adoptar las decisiones
oportunas sobre determinados aspectos generales,
entre ellos:
mantenimiento de la confidencialidad de los contenidos
de la prueba.

Los elementos fundamentales para el diseo de una

ECOE son:

nivel de exigencia establecido para superar la prueba,

si no lo est ya.

El Comit de Prueba, responsable de la ECOE.

nmero de estaciones de las que constar, salvo que

ya est determinado por la institucin que encarga la
prueba.

La Tabla de Especificaciones, representacin resumen

de la prueba.
Los casos, que darn lugar a las estaciones y a los listados evaluativos.

COMIT DE PRUEBA
El Comit de Prueba es el elemento fundamental de
una ECOE, ya que es el rgano colegiado responsable de los contenidos de la misma. Est constituido por
un conjunto de profesionales clnicos de reconocida
experiencia (tutores, docentes, miembros de sociedades cientficas, responsables de equipos, ...), y por tanto expertos en los conocimientos, habilidades y actitudes de la profesin o especialidad sobre la que se va
a disear la prueba de evaluacin. Es conveniente que

Recibido el 17-04-2002; aceptado para su publicacin el 25-04-2002.

Medicina de Familia (And) 2002; 2: 127-132

57

evaluacin de los resultados.

certificaciones, acreditaciones, informacin.
Adems de ello, las tareas especficas del Comit de
Prueba son, por este orden, las siguientes:
1. Definicin de los componentes competenciales del
profesional de que se trate (mdico de familia, internista, etc.).
2. Definicin de los criterios de ponderacin de esos componentes competenciales y ponderacin de los mismos,
ya que no todos tienen la misma importancia.
Para este trabajo, que debe hacerse para cada ECOE,
puede partirse de cero, pero es ms aconsejable tener en
cuenta, si es posible, lo utilizado en pruebas similares
realizadas con anterioridad y dirigidas al mismo o similar
tipo de profesional, as como los documentos y trabajos
relacionados con el tema: programa de formacin (pregrado, postgrado, cursos de capacitacin...), perfil profesional, etc. Es importante sealar que cuando este tipo de
pruebas se realiza con el objetivo de seleccionar perso-

127

Medicina de Familia (And) Vol. 3, N. 2, mayo 2002

nas en una empresa u organizacin concreta, ya sea para

acceder a la misma o para su desarrollo o carrera profesional, debern tenerse en cuenta aquellas competencias
especficas del mbito de trabajo para el que se realiza
la seleccin, y singularmente las consideradas como competencias bsicas o fundamentales de la empresa, as
como los valores que la definen.
3. Elaboracin de un conjunto de situaciones clnicas y
profesionales habituales en la prctica y cuya resolucin
ponga de manifiesto la posesin o no de alguno o varios
de los componentes competenciales definidos en la etapa anterior.
Esto puede realizarse por los miembros del Comit de
Prueba mediante una tcnica de tormenta de ideas, ya
que lo que se pretende es estimular la creatividad sin
necesidad todava de una mayor concrecin. El resultado es un amplio listado de situaciones (por ejemplo, dolor torcico, paciente enfadado, etc.).
4. Definicin de las caractersticas que deben reunir las
situaciones o casos que constituirn la ECOE, as como
los criterios de seleccin de los mismos.
Como ya se ha dicho, la ECOE se desarrolla a lo largo de
diferentes estaciones que simulan situaciones clnicas.
Los criterios para seleccionar los casos se basan en dos
pilares fundamentales: que se asemejen a la realidad y
que permitan evaluar uno o varios de los componentes
competenciales. Por ello, el conjunto de casos, y cada
uno de ellos en mayor o menor medida, deben reunir estas caractersticas:
Prevalencia: que sean situaciones frecuentes en el desempeo de la profesin de que se trate.
Importancia: que sean situaciones en las que una intervencin correcta. (identificacin de aspectos psicosociales claves, diagnstico precoz, etc.) influya significativamente en la salud.
Globalidad: que entre todos permitan evaluar suficientemente la totalidad de los componentes competenciales
definidos.
Amplitud de componentes que abarca: de manera
que el caso contribuya a evaluar varios componentes
competenciales, aunque no es aconsejable que sean
ms de dos o tres, por las dificultades que conllevara
la evaluacin.
Factibilidad: que sean posibles el montaje y ejecucin
del caso, dadas las condiciones (recursos, tiempo, ...) en
las que va a tener lugar la ECOE.
Facilidad de evaluacin: que el caso permita la elaboracin de un listado evaluativo sencillo de cumplimentar.
5. Elaboracin, aplicando los criterios acordados, del listado definitivo de casos que vamos a elaborar y utilizar.

128

Un caso puede servir para construir ms de una estacin

o etapa de una ECOE, pero no es lo ms frecuente. Es
decir, partiendo de una situacin clnica o profesional se
confecciona un caso que da lugar, generalmente, a una
nica estacin de la ECOE. El conjunto de casos seleccionados debe permitir, entre todos, la evaluacin de la
totalidad de los componentes competenciales. Cada caso
en particular aportar una parte (20%, 40%, ...) de la evaluacin total de uno o ms de esos componentes competenciales.
De esta manera ya estamos en disposicin de confeccionar la Tabla de especificaciones.

TABLA DE ESPECIFICACIONES
Es el documento bsico de una ECOE. Representa el diseo general de la prueba, y est constituida por una
parrilla de filas y columnas, de manera que se relacionan los casos con los instrumentos evaluativos que utilizan y con los componentes competenciales que evalan. Cada una de las filas corresponde a una situacin
clnica, de manera que habr tantas como estaciones
compongan la ECOE. Las columnas se dividen en dos
grupos. Las primeras de la izquierda contienen algunos
datos de los casos: nombre, instrumento evaluativo, lugar donde se desenvuelve la accin. El resto se corresponden con cada uno de los componentes y subcomponentes competenciales que queremos evaluar, reflejando en ellas el porcentaje que cada caso va a aportar
para la evaluacin de cada componente competencial.
Generalmente cada caso sirve para evaluar no ms de
dos o tres de estos componentes, y de igual manera
cada componente puede ser, aunque no necesariamente, evaluado por dos o tres casos.
Si realizramos una ECOE para evaluar la competencia
de especialistas en Medicina Familiar y Comunitaria, y
utilizramos el desglose de componentes competenciales que pusimos de ejemplo en el captulo anterior (ver
cuadro),
A. Atencin a la familia-persona 80%
Habilidades clnicas bsicas 20%
a) Anamnesis
b) Exploracin fsica
c) Informes clnicos
Comunicacin 12%
a) Habilidades comunicativas bsicas
b) Educacin sanitaria (consejo)
c) Aspectos ticos de la prctica
Habilidades tcnicas 7%
a) Diagnsticas

58

De Serdio Romero E - ECOE: EVALUACIN CLNICA OBJETIVA ESTRUCTURADA

b) Teraputicas

nera que la suma de los porcentajes de cada columna

siempre debe sumar la totalidad (100):

Manejo 33%
a) Plan diagnstico

1. Habilidades clnicas bsicas

b) Plan teraputico

2. Comunicacin

c) Plan de seguimiento

3. Habilidades tcnicas

Atencin a la familia 3%

4. Manejo

Actividades preventivas 5%

5. Atencin a la familia

B. Atencin a la Comunidad 5%

6. Actividades preventivas

C. Docencia 5%

7. Atencin a la comunidad

D. Investigacin 5%

8. Docencia

E. Aspectos organizativos 5%

9. Investigacin

Las columnas que compondran la Tabla de Especificaciones tendran los siguientes ttulos y contenidos:

10. Aspectos organizativos

Columnas con datos de los casos:

A. Clave y nombre o ttulo del caso: lumbalgia, dolor abdominal, etc.
B. Lugar: consulta, domicilio paciente, rea de urgencias,
va pblica, ...
C. Instrumento evaluativo: paciente estandarizado, maniqu, imagen, ...
D. Columnas con cada uno de los componentes y subcomponentes competenciales que vamos a evaluar, especificando en qu porcentaje contribuye cada caso a la
evaluacin de ese componente competencial, de tal ma-

A modo de ejemplo totalmente ficticio, una Tabla de especificaciones de una ECOE (con muy pocas estaciones
y componentes competenciales) se ve de esta manera:

CASO

LUGAR

INSTRUMENTO

ANAMNESIS

COMUNICACIN

HABILIDADES

MANEJO

ATENCIN

MDICO-PACIENTE

TCNICAS

EVALUATIVO

Dolor abdominal Consulta Paciente estandariz.

Hipertensin

Consulta

50%

30%

Telfono Paciente estandariz.

50%

50%

Familiar

Domicilio Paciente estandariz.

Sutura

Consulta

100%

100

80%
100%

Como puede apreciarse, el conjunto de estaciones o casos permite evaluar la totalidad de los componentes competenciales, o dicho a la inversa, todos los componentes
competenciales acaban siendo evaluados al finalizar la
sucesin de estaciones. Hay que recordar que habitualmente la ponderacin de cada componente competencial
es diferente y fijada previamente por el Comit de Prueba, por lo que la puntuacin final total ser la suma de la
puntuacin obtenida en cada una de las columnas previa-

100

100

100

20%

Maniqu

TOTAL

FAMILIAR

20%

Respuestas cortas

Embarazo

100

59

El mayor o menor desglose de la competencia profesional en componentes y subcomponentes competenciales va a depender de los objetivos de la ECOE y de
las decisiones que tome el Comit de Prueba. No todos los componentes tienen la misma trascendencia
(por eso se ponderan) ni tampoco su desglose tiene
por qu ser homogneo. En ocasiones puede haber
algn aspecto tan importante o caracterstico de una
profesin o especialidad (enfoque biopsicosocial o entrevista clnica en Medicina de Familia) que se evala
de manera expresa.

100

100
100

100

100

mente multiplicada por el nmero que corresponda. Cabe

sealar que el profesional que realiza una ECOE sabe
que va a ser evaluado de un conjunto de competencias,
pero desconoce de qu se le est evaluando en cada
estacin. De esta manera, en todas las situaciones clnicas debe actuar de la manera ms correcta posible. O
sea, que a diferencia de otras pruebas ms simples y directas no se trata slo de acertar el diagnstico o de
prescribir el tratamiento adecuado, sino de ejercer como

129

Medicina de Familia (And) Vol. 3, N. 2, mayo 2002

buen profesional en todos los casos, poniendo en juego

sus conocimientos, habilidades y actitudes.
El nmero de estaciones que pueden componer una
ECOE es variable, dependiendo de diversos factores. Un
nmero grande de estaciones facilita la valoracin de numerosos componentes competenciales y adems disminuye la influencia del azar, ya que son evaluados en ms
de una situacin clnica. En la realidad depender de diversos factores: objetivos que se pretenden, nmero y
tipo de aspectos que quieren ser evaluados, tiempo que
cada examinando debe emplear para realizar la totalidad
de la prueba, disponibilidad de recursos personales, materiales, tcnicos, organizativos, etc.

LOS CASOS
Los casos son el contenido de una ECOE, ya que en base
a ellos se construyen las estaciones que la componen.
Pueden utilizarse casos previamente elaborados, incluso
si han sido empleados anteriormente, siempre que se
haga un trabajo de adaptacin para que permitan evaluar
los porcentajes de cada componente competencial que se
han acordado en la Tabla de Especificaciones. La elaboracin de cada uno de ellos exige el trabajo de uno o ms
profesionales expertos en las competencias que se van
a evaluar, que suelen utilizar casos reales de su consulta -desprovistos de datos de identidad- a los que se les
introducen los cambios que sean pertinentes para la utilidad que se pretende. De esta manera la prueba se dota
de una gran verosimilitud. Todo caso deben contener la
informacin suficiente para:
disear una estacin (a veces dos o ms)
elaborar el listado evaluativo de esa estacin
facilitar la formacin del evaluador de esa estacin
permitir el entrenamiento de un actor en el caso de que
utilice un paciente estandarizado.
En general, un caso suele tener la siguiente estructura:
1. Datos generales:
a. ttulo
b. nmero de estaciones que incluye (generalmente una)
c. tiempo que va a necesitar el examinando: suele ser similar para todos los casos con el fin de facilitar el desarrollo de la prueba. Debe asemejarse a las condiciones
reales.
d. instrumento (uno o ms) evaluativo que emplea (imagen, paciente estandarizado, acompaante simulado, ...)
y las caractersticas bsicas de ste: radiografa posteroanterior de trax con imagen de neumona, mujer entre 40 y 50 aos, ...
e. reas que evala y porcentaje de cada una de ellas:

130

anamnesis 50, comunicacin mdico paciente 30, atencin familiar 20. La suma debe ser 100. Se emplea este
nmero como unidad porque evita decimales y facilita los
clculos.
f. qu tipo de actividades van a desarrollarse en la estacin: consulta clnica, preguntas de respuesta corta sobre
el manejo de un diabtico, etc.
g. situacin de partida, datos iniciales e instrucciones para
el examinando: se trata del seguimiento de un paciente
varn de 64 aos con hipertensin arterial; en este momento presenta estos datos analticos y este electrocardiograma; tiene 6 minutos para responder a las siguientes preguntas.
h. En ocasiones se incluye tambin en este apartado el
listado del diagnstico diferencial (ver ms adelante).
2. Sumario del caso:
Puede ser ms o menos complejo. As, una imagen (radiografa, fondo de ojo, electrocardiograma, ...) requiere
habitualmente una breve contextualizacin: motivo de
consulta, edad y sexo del paciente, otros datos clnicos
relevantes, circunstancias en las que le fue practicada la
prueba, ... Sin embargo, en el caso de un paciente estandarizado son muchos ms los datos, ya que hay que describir a un enfermo en concreto, que el actor representar siempre de igual manera ante cada examinando:
a. Caractersticas generales: edad, sexo, aspecto, vestimenta, actitud, manera de hablar, etc.
b. Frase inicial que resume el motivo de consulta: tengo
diarrea, se me ha retrasado la regla, me duele mucho
la cabeza.
c. Enfermedad o problema actual: cuando comenz el
dolor, con qu lo relaciono, dnde exactamente, irradiacin, intensidad, con qu se modifica, fiebre, otros sntomas, circunstancias, etc.
d. Diagnstico diferencial: listado de problemas que, presumiblemente, tendr en cuenta el examinando para descartar en la anamnesis, y anotar para cada uno de ellos
qu respuesta debe dar el paciente simulado.
e. Antecedentes personales, medicacin que toma o ha
tomado, alergias, inmunizaciones, hbitos txicos, hbitos dietticos. De todos ellos debe fijarse lo que ser la
respuesta del actor si es preguntado, aunque no tenga
relacin con el caso.
f. Historia familiar: hay que elaborar de manera ms o
menos acabada frases concretas sobre cada uno de sus
aspectos ms importantes: componentes del ncleo familiar (padres, hermanos, hijos, abuelos, ...), relacin con
ellos, enfermedades que padecen, etc.
g. Entorno social, nivel de estudios, amigos, parejas, aficiones, viajes, ...

60

De Serdio Romero E - ECOE: EVALUACIN CLNICA OBJETIVA ESTRUCTURADA

h. Aspectos emocionales y comunicacionales: tono, ansiedad, inters, actitud, colaboracin, retos comunicativos
que debern tener lugar en el curso de la entrevista clnica: eso ya lo he tomado y no me ha servido para nada,
debera hacerme un TAC, voy a vomitar, ...
i. Hallazgos exploratorios: mediante la simulacin, el maquillaje, y otras diversas tcnicas pueden simularse un
gran nmero de signos: ptosis parpebral, Blumberg, enrojecimiento articular, fotosensibilidad, rigidez de nuca,
confusin, naseas, ...
j. Material: camilla de exploracin, dos sillas, mesa de
consulta, negatoscopio, fonendoscopio, martillo de reflejos, ... lo que se necesite para llevar a cabo el caso en
concreto.
El autor del caso debe recordar siempre que no est escribiendo una historia clnica, sino facilitando los datos
incluso mejor proporcionando frases concretas para que
el actor represente un mismo guin siempre.
3. Listado evaluativo:
Es lo que garantiza la objetividad de la evaluacin. Cada una
de las estaciones es evaluada mediante un observador o
evaluador, que en los casos de encuentros clnicos suele situarse de forma discreta de manera que no interfiera en la
relacin mdico paciente que se establece. Pueden usarse
tambin circuitos cerrados de televisin. Poco antes de cada
prueba, se entrega a cada evaluador, escogido entre profesionales de aquello que va a evaluarse, el listado evaluativo de la estacin concreta que le ha correspondido y las instrucciones para su cumplimentacin, hacindose adems
algunos ensayos con responsables de la prueba de manera que tras este entrenamiento puedan cumplir bien su cometido. En los aspectos ms emocionales y comunicacionales el propio paciente estandarizado aporta valiosa informacin, tambin estructurada. Como ya sabemos, la evaluacin
de una estacin aportar una parte de la calificacin de uno
o varios componentes competenciales, y una vez ponderada contribuir a la calificacin final.
Hay pues un documento evaluativo para cada estacin y
cada examinando, que est constituido por:
Identificacin de la estacin y del examinado (cdigo)
los componentes competenciales o reas que van a
evaluarse en esa estacin, y dentro de cada una de ellas
el listado de acciones, actitudes, respuestas, decisiones,
etc. que van a ser valorados, y que se elegirn dependiendo del rea que se est evaluando.

El documento est diseado de manera que el evaluador

pueda marcar la puntuacin de manera fcil y rpida, al
mismo tiempo que va desarrollndose la accin. Puede
incluso utilizarse una terminal de ordenador que introducira directamente los datos en un programa de correccin
y clculo, lo que acortara extraordinariamente el tiempo
que transcurre entre la realizacin de la prueba y la devolucin de las calificaciones finales.
Pongamos un ejemplo ficticio. Se trata de un caso sencillo sobre un paciente hipertenso que va a servir para
evaluar junto con otros las competencias relativas al
control de pacientes con enfermedades crnicas, y que va
a utilizar como instrumento evaluativo cuatro preguntas
concatenadas formuladas por el mismo evaluador. Su listado evaluativo contendra:
componente competencial que se evala: control de
pacientes con enfermedades crnicas.
qu va a ser valorado: las respuestas que d el examinando a las preguntas.
puntuaciones mximas: 10 la primera pregunta, 20 la
segunda, 10 la tercera y 10 la cuarta.
criterios para otorgar puntuacin a la primera pregunta: la formulacin de la pregunta es: Paciente de 55 aos
al que ha sido diagnosticada una hipertensin arterial.
Qu analtica solicitara para su estudio inicial?. Mximo 10 puntos. Los criterios podran ser:
Si no solicita creatinina, ionograma (Na y K) y protenas/hemates en orina: 0 puntos.
Si solicita estos tres: 5 puntos.
Si adems de esos tres obligatorios solicita glicemia,
cido rico o colesterol total y triglicridos: 1 punto ms
por cada uno de ellos.
Si especifica microalbuminuria en orina: 2 puntos ms
En las estaciones en que exista paciente simulado, para
cada tem habr que detallar qu se precisa para considerar bien hecha cada maniobra o accin. Es recomendable que cada tem evale una sola cosa y no se recomiendan ms de 10-12 tems por componente competencial evaluado.

las puntuaciones que pueden ser otorgadas, siendo la

mxima de cada rea el porcentaje previsto en la Tabla
de Especificaciones con el que esa estacin contribuye
a la valoracin final de cada rea.

De esta manera se van completando los listados evaluativos, que al finalizar la prueba debern ser corregidos y
analizados. Este anlisis permitir no slo valorar a cada
uno de los participantes en la ECOE, sino tambin poner
de manifiesto aquellos aspectos competenciales en los
que es ms deficitarios cada uno de ellos y el grupo en
su conjunto. De ah el inters de este tipo de pruebas no
slo como instrumento de evaluacin sumativa, sino tambin para su uso en la evaluacin formativa.

los criterios que debe seguir el evaluador para otorgar

la puntuacin.

Una vez que hemos elaborado la Tabla de Especificaciones y los casos y estaciones que constituirn la ECOE, hay

61

131

Medicina de Familia (And) Vol. 3, N. 2, mayo 2002

que poner en prctica lo diseado: movilizacin de recursos, logstica, montaje de cada estacin en el espacio dispuestas como una rueda de manera que los examinandos

132

puedan pasar sucesivamente por cada una de ellas, seleccin y entrenamiento de los actores y de los evaluadores,
etc. Sera ya el montaje y desarrollo de la prueba.

62