La Universidad Francisco de Vitoria (UFV) ha desarrollado una investigación sobre el uso de la inteligencia artificial en la evaluación de los estudiantes de Medicina, cuyos resultados se han publicado en la revista científica internacional JMIR Medical Education. El estudio muestra el potencial de los modelos de lenguaje para revisar historias clínicas redactadas por los alumnos y ayudar a los profesores a identificar posibles errores o ambigüedades en los criterios de corrección.
El trabajo está firmado por Alberto Nogales Moyano, investigador principal del Centro de Estudios e Innovación en Gestión del Conocimiento (CEIEC) de la Universidad Francisco de Vitoria (UFV); Sophía Denizón Arranz, directora médica del Centro de Simulación Clínica de la UFV; Alonso Mateos Rodríguez, coordinador de Investigación del Centro de Simulación Clínica y del grupo de investigación en Docencia en Simulación Clínica Aplicada; Javier Cervera Cordero, vinculado al CEIEC y antiguo estudiante del Grado en Ingeniería Informática de la UFV; Gonzalo Pandelet Barainca y Enrique Aranguren Moliner, investigadores vinculados al CEIEC, ; y Emilio Cervera Barba, vicedecano de Prácticas y Centros Sanitarios de la Facultad de Medicina e instructor del Centro de Simulación Clínica de la UFV.
La investigación parte de la necesidad de evaluar con rigor las historias clínicas que elaboran los estudiantes durante su aprendizaje práctico. Esta tarea exige comprobar numerosos aspectos de la documentación clínica y ofrecer una valoración que permita a cada alumno comprender sus errores y mejorar sus competencias.
Para estudiar las posibilidades de la inteligencia artificial en este proceso, los investigadores de la UFV analizaron 79 historias clínicas redactadas en español y hasta 3.807 ítems de evaluación. Compararon el rendimiento de dos modelos de lenguaje, Llama 3.1 70B y Claude 3.5 Sonnet, mediante diferentes estrategias de análisis.
Los resultados muestran que, tras una revisión experta de las discrepancias entre las valoraciones humanas y las generadas por la IA, Claude 3.5 Sonnet alcanzó una exactitud del 94,6 % utilizando una estrategia de razonamiento guiado, denominada chain-of-thought. Este método genera explicaciones estructuradas que los profesores pueden revisar para comprender cómo se ha evaluado cada aspecto de la historia clínica.
La inteligencia artificial como segundo evaluador en la formación médica
Una de las principales aportaciones de la investigación es la posibilidad de incorporar la inteligencia artificial como herramienta de apoyo a los profesores, mediante un modelo de evaluación que combina el análisis automatizado con la supervisión humana.
El estudio identifica su utilidad para detectar discrepancias en las correcciones y revisar la formulación de las rúbricas, los instrumentos que establecen los criterios con los que se valora el trabajo de los estudiantes.
Durante la investigación, los evaluadores médicos revisaron las discrepancias detectadas entre sus valoraciones y las respuestas del modelo. En el 63,8 % de los casos revisados, los expertos consideraron correcta la valoración de la inteligencia artificial, lo que permitió identificar errores en algunas correcciones iniciales y mejorar la interpretación de los criterios de evaluación.
De este modo, la inteligencia artificial ofrece una segunda valoración que puede ayudar a los profesores a revisar sus decisiones y perfeccionar los instrumentos docentes. La responsabilidad de la evaluación continua correspondiendo al profesor, que interpreta los resultados a partir de su criterio, su conocimiento clínico y de los objetivos formativos de cada actividad.
"Este trabajo nos ha permitido explorar cómo incorporar la inteligencia artificial a la evaluación de las historias clínicas de los alumnos de medicina. Entrenar esta herramienta para que corrigiera siguiendo nuestros criterios y juicio clínico ha sido una oportunidad para unificar la forma de evaluar y detectar posibles discrepancias entre docentes. El resultado es una herramienta que puede asumir parte del trabajo de corrección y permitirnos llegar a muchos más alumnos, ofreciéndoles un feedback más personalizado y útil para su aprendizaje”, explica Sophia Denizón.
Hacia una evaluación más consistente y orientada al aprendizaje
La investigación también plantea nuevas posibilidades para fortalecer la evaluación formativa en Medicina, especialmente en actividades que requieren revisar un volumen elevado de información clínica. Integrar la inteligencia artificial con criterio puede potenciar las competencias del profesional híbrido: aquel que combina sus conocimientos especializados con el uso de la tecnología y sus capacidades humanas. En la formación médica, este enfoque permite aprovechar la IA como apoyo al análisis y la revisión, sin delegar el juicio clínico ni la responsabilidad profesional.
Contar con herramientas capaces de identificar discrepancias y facilitar su revisión puede contribuir a que los profesores dediquen más atención a la retroalimentación individualizada. Para los estudiantes, este enfoque abre la posibilidad de recibir orientaciones más consistentes sobre la calidad de sus historias clínicas y los aspectos que necesitan mejorar.
La trazabilidad de las respuestas constituye otra de las ventajas identificadas en el estudio. Al disponer de explicaciones revisables, los profesores pueden analizar por qué el modelo ha emitido una determinada valoración y comprobar si se ajusta a los criterios académicos establecidos.
Los resultados respaldan el potencial de esta aplicación, aunque los investigadores señalan la necesidad de ampliar los estudios a otras facultades de Medicina y a muestras más diversas para comprobar su eficacia en diferentes contextos docentes.
Investigación aplicada para mejorar la calidad docente en Medicina UFV
El trabajo se ha desarrollado con la participación del CEIEC, el Centro de Simulación Clínica Avanzada y la Facultad de Medicina de la UFV. Esta colaboración permite conectar la investigación tecnológica con las necesidades reales de la enseñanza médica. Las historias clínicas analizadas fueron elaboradas por estudiantes tras encuentros con pacientes simulados, una metodología que permite entrenar competencias clínicas en un entorno de aprendizaje supervisado.
El estudio se alinea así con la apuesta de la UFV por integrar la inteligencia artificial en la formación universitaria desde una perspectiva que refuerce el criterio profesional y la responsabilidad humana en la toma de decisiones. En este caso, la tecnología permite explorar nuevas formas de mejorar los procesos de evaluación médica mientras los profesores mantienen su papel esencial en el acompañamiento académico de los estudiantes.
