Introducción
Para hacer más integral el proceso de educación médica, es necesario incluir conceptos como habilidades, destrezas y desempeño eficiente en la ejecución y análisis de tareas, es decir modelos educativos basados en competencia. Los elementos que se consideran esenciales para una educación eficiente son: a) conocimientos, b) habilidades y destrezas y c) actitudes que siempre se orienten de acuerdo al contexto, que en medicina creemos se hace énfasis en el desarrollo de la competencia clínica (Lifshitz y Sánchez, 2015; Lifshitz, 2004; Mann, 2010).
A la competencia clínica la hemos definido como la habilidad para identificar signos y síntomas que permitan reconocer factores de riesgo e integrar diagnósticos sindromáticos, nosológicos, fisiopatológicos, y etiológicos; utilizar e interpretar los recursos de laboratorio y gabinete pertinentes para confirmar diagnósticos e indicar las acciones de prevención y terapéuticas más adecuadas para promover la salud, prevenir y tratar la enfermedad y sus complicaciones (Domínguez-González y Guzmán-Valdivia, 2018; Torruco-García et al., 2016).
El alumno, para lograr eficientemente esta competencia clínica requiere de integrar sus conocimientos elaborados con los hallazgos pertinentes durante el interrogatorio, exploración física, en la interpretación de los resultados de laboratorio y en los hallazgos en estudios de gabinete, proceso al que llamamos razonamiento clínico (Amey et al., 2017).
Esta concepción de la medicina, junto con los cambios sociales de este nuevo siglo ha hecho necesario el replanteamiento de los objetivos de la enseñanza médica y con ello, sus métodos de evaluación (Flores-Hernández et al., 2012).
1. Objetivo
Exponer los procedimientos que se siguieron en la Facultad Mexicana de Medicina de la Universidad La Salle, México para la implementación de un sistema de evaluación clínica integral al que denominamos -Evaluación Clínica Integral Sistemática- (ECIS), con la siguiente pregunta problema: ¿El ECIS es un sistema que permite evaluar íntegramente al alumno en diferentes momentos de su proceso de aprendizaje?
2. Método
Se expone el análisis descriptivo de la construcción de un sistema de evaluación llamado ECIS.
2.1. Origen
Para esta tarea, en 2015 iniciamos el diseño y la implementación de un examen que evaluara de modo integral los aspectos relacionados con el aprendizaje de la competencia clínica y el desarrollo del razonamiento clínico de los alumnos.
De acuerdo con los referentes nacionales e internacionales relacionados con las herramientas utilizadas para evaluar el desempeño de los estudiantes de medicina, el trabajo desarrollado por Harden en la década de los años 70 del siglo pasado, la implementación del Examen Clínico Objetivo Estructurado (ECOE), es una aproximación a la evaluación de la competencia clínica (Harden y Gleeson, 1979; Harden, 1988). Hoy en día se reconoce al ECOE como el estándar de oro para la evaluación del desempeño o competencia clínica (Wallenstein y Ander, 2015; Patrício et al., 2013).
2.2. Organización
Nuestra premisa para la construcción de una herramienta que evaluara el aprendizaje de los alumnos estuvo fundada en las tres dimensiones de la Taxonomía de Bloom, que son la cognitiva, psicomotora y afectiva (Bloom, 1971); pero, además llegamos a la conclusión de la importancia de incluir que los alumnos juzgasen pos sí mismos sus logros desarrollados hasta el momento, por lo que integramos a la autoevaluación como parte fundamental del sistema de evaluación integral.
De esta forma es que llegamos a la idea de construir un sistema de evaluación integral que incluye a tres unidades básicas: 1) un examen teórico; 2) estaciones estáticas y dinámicas tipo ECOE y 3) el módulo de autoevaluación en donde los alumnos evalúan su desempeño. Es así como se diseñó el sistema de evaluación integral sistemática (ECIS) de la Facultad (Figura1).
Figura 1
Rotación de los alumnos por los diferentes módulos
Nota. Diagrama de rotación de alumnos por los tres módulos de evaluación. Los diferentes grupos pueden iniciar en el módulo I, en el módulo II o en la zona de descanso para permitir el uso de las instalaciones en donde se realiza la evaluación.
Se inició con un examen piloto a alumnos del cuarto semestre de la licenciatura que son aquellos que están concluyendo la instrucción básica, período caracterizado por materias que incluyen conceptos teóricos fundamentales de la ciencia médica, pero que tienen ya rotaciones en instalaciones médicas hospitalarias y en las que pueden integrar los conocimientos elaborados hasta el momento con los datos que les refieren los pacientes, en donde elaboran historias clínicas e inician el desarrollo de destrezas en la exploración física a través del curso de Propedéutica Médica.
2.3. Módulo I. Examen teórico
El primer paso fue construir una matriz de composición de examen y se estimaron los temas de los casos clínicos que abarcaría el examen según el número total de horas dedicadas a cada tema en particular tomando en cuenta temas vinculantes entre las diferentes asignaturas (anatomía, fisiología, bioquímica, histología, embriología), asociadas con la propedéutica médica. En la construcción de los casos clínicos se consideró el siguiente orden: 1) la identificación del paciente; 2) antecedentes heredofamiliares, no patológicos y patológicos pertinentes, siempre ginecobstétricos cuando la paciente es mujer; 3) identificación del padecimiento actual en el que se refiere el sitio de atención (consultorio, hospitalización, Urgencias), motivo de consulta y evolución del padecimiento, 4) hallazgos en la exploración física, indicando siempre los signos vitales y 5) de ser necesario resultados de laboratorios y de exámenes de gabinete.
Para este primer grupo piloto se elaboró un banco de 30 casos clínicos, cada uno con tres reactivos de selección múltiple seriados de cuatro opciones y con una sola respuesta. El día de la evaluación se seleccionaron 15 casos clínicos para integrar el examen teórico y que fue resuelto a través de una plataforma digital (Moodle) que permitió la inclusión de imágenes con alta resolución.
2.4. Módulo II. Evaluación por estaciones clínicas
Las estaciones clínicas están diseñadas para evaluar el desempeño de los estudiantes ante situaciones clínicas específicas, donde se ponen a prueba sus conocimientos teóricos, razonamiento clínico, habilidades y destrezas, así como su actitud y capacidad de comunicación interpersonal. Así, las competencias a evaluar las referimos en la Tabla 1.
Tabla 1
Competencias Clínicas que los alumnos de Medicina deben desarrollar
|
1) Interrogatorio o anamnesis 2) Exploración física 3) Razonamiento clínico (integración entre anamnesis y exploración) 4) Juicio clínico (integración de diagnósticos sindromáticos, nosológicos y diferenciales, propuesta de tratamiento farmacológico y no farmacológico, aspectos preventivos y de rehabilitación) para alumnos que se encuentran en rotaciones de asignaturas clínicas 5) Actitud (relaciones interprofesionales, aspectos éticos y profesionalismo) 6) Habilidades y destrezas procedimentales 7) Interpretación de exámenes de laboratorio y gabinete |
Establecer el número de estaciones fue un proceso de mucha discusión ya que por una parte sabíamos que una evaluación válida y confiable del desempeño clínico requiere de numerosas estaciones; pero esto es una debilidad de esta herramienta, ya que no puede evaluar todos los aspectos relacionados con la competencia clínica. Tomando en cuenta el inicio de nuestra experiencia, las instalaciones en donde se llevaría a cabo el examen, lo limitado del presupuesto, la necesidad de capacitación, tanto a evaluadores como a los pacientes estandarizados (actores), decidimos para este inicio empezar con cuatro estaciones pero que incluyeran la evaluación de más de una competencia (interrogatorio, exploración física, interpretación de exámenes, actitud).
Como el número de estaciones era reducido, decidimos realizar una modificación a la idea de ECOE original que consistió en que en cada estación se evaluó integralmente las habilidades en el interrogatorio, exploración física y la actitud en la misma estación.
La evaluación de la competencia clínica la realizaron médicos profesores de la Facultad, así como invitados de diferentes hospitales los cuales fueron capacitados para esta intervención. Los pacientes estandarizados evaluaron aspectos actitudinales.
Consideramos pertinente validar a las estaciones clínicas y sus instrumentos de evaluación mediante una prueba piloto realizada por médicos pasantes en servicio social de la Facultad que fungieron como estudiantes. Los resultados nos permitieron ajustar tiempos y listas de cotejo.
2.5. Instrumentos de evaluación
Los instrumentos utilizados en la ECIS fueron una lista de cotejo por estación, con tres apartados: interrogatorio, exploración física y aspectos actitudinales, asegurando que el indicador de las listas siguiera el orden secuencial de la tarea y que tuviera los indicadores mínimos indispensables que el alumno debiera desarrollar. Las listas de cotejo fueron validadas por médicos profesores de la Facultad.
El baremo utilizado para calificar el desempeño de los estudiantes en la ECIS se describe en la Tabla 2.
Tabla 2
Baremo utilizado para calificar el desempeño de los estudiantes
|
Criterio |
Nivel de desempeño |
|
< 6.0 |
Aún no suficiente |
|
6 a 7.9 |
Suficiente |
|
8 a 8.9 |
Satisfactorio |
|
>9 |
Sobresaliente |
2.6. Indicaciones para el alumno
Tres días previos al ECIS, se reunió a todos los alumnos del cuarto semestre en donde se les informó sobre lo que consiste el ECIS (examen teórico, estaciones clínicas y autoevaluación), sus fundamentos y objetivos. Se incluyó la proyección de un video demostrativo (diferente a los proyectados en autoevaluación) como referencia de cómo resolver una estación de acuerdo a las instrucciones solicitadas.
2.7. Pacientes estandarizados
Para el desarrollo de las estaciones clínicas, se optó por la participación de pacientes estandarizados y caracterizados según edad, sexo y enfermedades concomitantes. Los actores fueron capacitados cuidadosamente y estandarizados en sus respuestas y actitudes de enfermos, sin improvisar. Se les proyectaron los videos demostrativos de cada estación, en donde se discutieron los detalles de la sintomatología clave en el padecimiento en cuestión y se resolvieron dudas.
Los pacientes estandarizados evaluaron la actitud de los estudiantes durante la evaluación.
2.8. Módulo III. Autoevaluación
La autoevaluación, entendida como la capacidad de evaluar el rendimiento propio es una actividad fundamental para el aprendizaje permanente, que permite a los estudiantes y profesionales de la medicina establecer objetivos al tiempo que identifica fortalezas y debilidades (Eva y Regehr, 2005). De acuerdo con Keister et al. (2017), la autoevaluación debe ser una actividad rutinaria, que con las referencias que proporcionan los pares, docentes e incluso los pacientes, permiten al alumno tener una idea mucho más precisa de la elaboración de su propio aprendizaje. La autoevaluación puede aumentar el interés y el nivel de motivación de los estudiantes para las materias que conducen a una mejora aprendizaje y mejor rendimiento académico, ayudándoles en el desarrollo de habilidades críticas para el análisis de su propio trabajo (Sharma et al., 2016).
En la ECIS se incluyó a la autoevaluación como estrategia de evaluación formativa que le permite al alumno valorar su propio proceso de elaboración de competencia clínica. Los alumnos, después de pasar por las estaciones clínicas se reunieron en una sala donde se autoevalúan utilizando las mismas listas de cotejo utilizadas por el evaluador y se proyectaron videos demostrativos elaborados ex profeso para la ECIS, tomados como el estándar de desempeño del médico en cada estación. Ahí los estudiantes se autoevalúan comparando su desempeño con lo mostrado en el video, utilizando las mismas listas de cotejo empleadas por el evaluador. En la sala estaban presentes dos médicos que encauzaron las dudas y comentarios de los estudiantes. Este módulo permite también la evaluación de todo el proceso de este sistema de evaluación que sirve de realimentación a los organizadores.
2.9. Actualización de la ECIS
Posterior a la primera experiencia en alumnos de 4° semestre se fueron mejorando los procesos operativos, pero sobre todo en el número de las estaciones, la competencia en el proceso de evaluación de los docentes, la calidad de los instrumentos de evaluación y la estandarización de los pacientes.
Actualmente se lleva a cabo dos ECIS durante el año, uno al final del 4° en donde se explora y evalúa la competencia clínica desarrollada hasta el momento, principalmente dirigida a las bases de la propedéutica médica: interrogatorio, técnicas de exploración física, solicitud pertinente de exámenes de laboratorio y gabinete, así como su interpretación; no se evalúa juicio clínico por no tener aún desarrollada esta competencia por ser etapas tempranas de su educación y el otro al final de 8° semestre antes de salir al internado rotatorio de pregrado en donde se evalúan las siete competencias propuestas (Tabla 1). De esta manera un alumno es evaluado en dos ocasiones, percibiendo la evolución del desarrollo de su competencia clínica.
2.10. Consideraciones Éticas
El diseño y construcción de este sistema de evaluación ECIS fue elaborado como proyecto de investigación por lo que se puso en consideración con los Comités de Investigación y de Ética en investigación de la Facultad Mexicana de Medicina de la Universidad La Salle; fue registrado con la clave CEI 2015/2 y aceptado como estudio de riesgo mínimo, no invasivo. Todos los alumnos participantes tuvieron conocimiento de la finalidad de la investigación y su participación fue voluntaria, firmando carta de consentimiento informado.
3. Resultados
A través de este sistema es posible conocer comportamiento de cada alumno en su participación en cada una de las estaciones diseñada a evaluar aspectos teóricos de las enfermedades, la calidad de comunicación con el paciente, su capacidad de interrogar coherentemente basado en los síntomas pivote, a explorar físicamente dirigido a los diagnósticos establecidos probables, a solicitar estudios de laboratorio y gabinete pertinentes para corroborar o descartar diagnósticos, es decir a evaluar el razonamiento clínico y por último a través de la autoevaluación el alumno determina sus fortalezas y debilidades en la competencia clínica.
Desde el punto de vista de gestión institucional, le permite al profesor evaluar su competencia académica y junto con las autoridades académicas evaluar la coherencia y congruencia de los programas académicos, de la actuación de los hospitales como entidades académicas y la revisión del diseño curricular para la evaluación de su plan educativo.
Ejemplo de una ECIS realizada:
Se evaluaron a 105 alumnos. Se inició con un examen teórico concordantes con las estaciones, con 13 casos clínicos y 42 reactivos de opción múltiple de cuatro respuestas probables y una correcta. Las estaciones evaluadas fueron: 1) mujer joven con dolor abdominal bajo (abdomen), 2) paciente masculino adulto con tos y fiebre (tórax), 3) adulto con traumatismo cráneo encefálico (neurología) y 4) lactante con síndrome diarreico (pediatría). En cada estación se evaluó interrogatorio dirigido a los síntomas y signos cardinales, y exploración física pertinente a los diagnósticos elaborados. En cada estación el evaluador calificó con un instrumento tipo rúbrica ya validada previamente en una prueba piloto en donde se incluyen actividades de actitud. En la autoevaluación el alumno se calificó con las mismas rúbricas que los evaluadores utilizaron y se tomó como referencia también a videos demostrativos ya elaborados a ex profeso, así el alumno compara su desempeño clínico. Con respecto a la relación médico-paciente, el enfermo simulado evaluó al alumno con una rúbrica.
En la Tabla 3 se muestran los resultados de las pruebas teórica y práctica, cuyos puntajes fueron apenas suficientes y con una amplia dispersión de datos, sin embargo, la actitud observada en los estudiantes es satisfactoria. Para la calificación final se definió con el promedio del examen teórico, práctico y la actitud que demostraron los estudiantes durante el examen práctico, obteniendo un valor general de 68.5 que de acuerdo al baremo utilizado alcanza un desempeño suficiente.
Tabla 3
Resultados generales de la evaluación
|
Examen teórico |
Examen práctico |
Actitud |
Calificación final |
|
|
Promedio |
62.95 |
66.39 |
88.48 |
68.50 |
|
D.E. |
9.02 |
7.46 |
7.23 |
6.31 |
|
Calificación mínima |
35.71 |
46.94 |
68.06 |
47.43 |
|
Calificación máxima |
80.95 |
81.86 |
100 |
80.84 |
Nota: D.E. Desviación estándar
En la Figura 2 se presenta el histograma de frecuencias de las calificaciones finales de los estudiantes en la prueba ECIS. Los resultados muestran que el 59% de los estudiantes obtuvieron puntajes entre 66.23 y 75.63, evidenciando que el desempeño de la mayor parte de los estudiantes fue suficiente. La distribución de los puntajes no mostró alumnos que cumplieran con calificaciones globales que correspondieran con el criterio de sobresaliente.
Figura 2
Histograma de la evaluación
El análisis de los resultados del examen práctico por estación (ver Figura 3), se tomó en cuenta el interrogatorio y la exploración física realizada por los estudiantes. Se observó que en todas las estaciones del examen práctico (abdomen, tórax, neurología y pediatría), el interrogatorio realizado por los estudiantes fue en promedio aún no satisfactorio, siendo las estaciones de neurología que correspondió a un adulto mayor con traumatismo cráneo encefálico y pediatría que correspondió a un lactante con síndrome diarreico, las que obtuvieron el menor puntaje.
Figura 3
Evaluación de acuerdo a las estaciones
Nota. Resultados de la evaluación de las cuatro estaciones en el grupo generacional dividido en la competencia de interrogar y explorar.
Con relación a la exploración física, los resultados globales de la generación fueron satisfactorios en las estaciones de abdomen y neurología con puntajes de 86 y 80, respectivamente. La estación de tórax se obtuvo en promedio 73, considerado como suficiente. En el caso de la estación de pediatría, el resultado obtenido fue de 59, aún no suficiente.
En este análisis observamos que esta generación no interroga adecuadamente y les hace falta reforzar su desempeño clínico ante pacientes pediátricos, por lo que, desde el punto de vista académico, la institución debe reforzar técnicas de interrogatorio dirigido en sus cursos y el abordaje del paciente pediátrico.
4. Discusión
De acuerdo con Lifshitz (2004), la Clínica puede verse tan sólo como un cuerpo de conocimientos o como la habilidad para atender a los pacientes, la actitud o disposición para ayudarlos auténticamente, y como una competencia o conjunto de competencias. Luego, el alumno para elaborar dichas competencias tiene que conjuntar integralmente, conocimiento, habilidades, destrezas, actitudes y valores en la atención a su paciente, que en conjunto se le denomina Competencia Clínica. El alumno, durante su formación académica va desarrollando y perfeccionando esta competencia hasta realizarlo naturalmente durante su trabajo profesional, va integrando sus conocimientos elaborados con los hallazgos pertinentes durante el interrogatorio y exploración física de su paciente a través del razonamiento clínico que se puede extender con la solicitud e interpretación de los estudios de laboratorio y gabinete pertinentes para elaborar diagnósticos, tratamientos y pronósticos, así como el establecimiento de estrategias preventivas.
¿Cómo evaluar la Competencia Clínica?
Las estrategias deben individualizarse de acuerdo a la asignatura y al nivel del proceso educativo, ya sea en áreas de asignaturas básicas o clínicas, así como en el contexto en el que se vive, como el momento actual de confinamiento.
Para llegar a evaluar de una manera integral a la competencia clínica nos hemos basado en lograr que el alumno demuestre como lo hace, correspondiendo al tercer escalón de la pirámide de Miller (1990), requiriendo de escenarios verdaderos o simulados y la observación directa de los mismos, estrategia que se logra cabalmente con el sistema ECOE (Wallenstein y Ander, 2015; Patrício et al., 2013), así como lo pudimos demostrar en el ECIS.
Durante el proceso de construcción de nuestro sistema de evaluación, pensamos que para reforzar la evaluación de los conocimientos se incluyera 1) un examen teórico relacionado con las estaciones a través de casos clínicos y preguntas de selección múltiple de tres respuestas posibles y una sola respuesta correcta; 2) estaciones estáticas y dinámicas tipo ECOE y 3) el módulo de autoevaluación en donde los alumnos evalúan su desempeño a través de un referente estándar de oro que es un video demostrativo elaborado por un profesor. Es así como se diseñó el sistema de evaluación integral sistemática (ECIS) de la Facultad.
Las limitaciones de este proceso de evaluación incluyen a el número reducido de estaciones que restringe la evaluación de muchas otras competencias.
5. Conclusiones
El sistema de Evaluación ECIS permite evaluar integralmente la Competencia Clínica de los alumnos, es esencialmente una evaluación formativa, pero puede ser de utilidad como parte de una evaluación sumativa.
Fuentes de financiamiento
La presente investigación no ha recibido ninguna beca específica de agencias de los sectores público, comercial, o sin ánimo de lucro.
Referencias
Amey, L., Donald, K.J. y Teodorczuk, A. (2017). Teaching clinical reasoning to medical students. British Journal of Hospital Medicine. 78(7), 399-401. https://doi.org/10.12968/hmed.2017.78.7.399
Bloom, B.. (1971). Taxonomy of educational objectives: The classification of educational goals. Handbook 1: Cognitive domain. David MacKay.
Domínguez-González, A. y Guzmán-Valdivia, G. (2018). Cómo afrontar con éxito el examen clínico objetivo estructurado (ECOE). Educación Médica 19(6), 369-374. https://doi.org/10.1016/j.edumed.2018.03.016
Eva, K.W. y Regehr, G. (2005). Self-assessment in the health professions: a reformulation and research agenda. Academic Medicine 80(10 Suppl), S46-54. https://journals.lww.com/academicmedicine/Fulltext/2005/10001/Self_Assessment_in_the_Health_Professions__A.15.aspx
Flores-Hernández, F., Contreras-Michel, N. y Martínez-González, A. (2012) Evaluación del aprendizaje en la educación médica. Revista de la Facultad de Medicina (México) 55(3), 42-48. https://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0026-17422012000300008
Harden, R.M. y Gleeson, F.A. (1979). Assessment of Clinical Competence Using an Objetive Structured Clinical Examination (OSCE). Medical Education 13(1), 39-54. https://doi.org/10.1111/j.1365-2923.1979.tb00918.x
Harden, R.M. (1988). What is an OSCE? Medical Teacher 10(1), 19-22. https://doi.org/10.3109/01421598809019321
Keister, D. M., Hansen, S. E. y Dostal, J. (2017). Teaching Resident Self-Assessment Through Triangulation of Faculty and Patient Feedback. Teaching and Learning in Medicine 29(1), 25-30. https://doi.org/10.1080/10401334.2016.1246249
Lifshitz, G.A. y Sánchez, M.M. (2015) ¿Qué es la educación médica? En Educación Médica (11-14). Elsevier.
Lifshitz, G.A. (2004). La enseñanza de la competencia clínica. Gaceta Médica de México ١٤٠(3), 312-313. https://www.scielo.org.mx/scielo.php?pid=S0016-38132004000300010&script=sci_arttext
Mann, K.V. (2010). Theoretical perspectives in medical education: past experience and future possibilities. Medical Education 45(1), 60-68. https://doi.org/10.1111/j.1365-2923.2010.03757.x
Miller, G.E. (1990). The assessment of clinical skills/competence/performance. Academic Medicine 65(9 Suppl), S63-67.
Patrício, M.F., Julião, M., Fareleira, F. y Carneiro, A.V. (2013). Is the OSCE a feasible tool to assess competencies in undergraduate medical education? Medical Teacher 35(6), 503-514. https://doi.org/10.3109/0142159X.2013.774330
Sharma, R., Jain, A., Gupta, N., Garg, S., Batta, M. y Dhir, S.K. (2016). Impact of self-assessment by students on their learning. International Journal of Applied Basic Medical Research 6(3), 226-229. https://doi.org/10.4103/2229-516X.186961
Torruco-García, U., Ortiz-Montalvo, A., Varela-Ruiz, M.E. y Hamui-Sutton, A. (2016). Desarrollo de competencias en el pregrado: un modelo con actividades profesionales confiables (APROC). Gaceta Médica de México. 152(2), 173-90
Wallenstein, J. y Ander, D. (2015). Objective structured clinical examinations provide valid clinical skills assessment in emergency medicine education. Western Journal of Emercency Medicine 16(1), 121-126. https://doi.org/10.5811/westjem.2014.11.22440