Articulo Original

Metodología para monitoreo del impacto de la formación de especialistas en la Universidad Médica matancera.

Methodology for monitoring the impact of specialists training in the University of Medical Sciences of Matanzas

Dra.C. María Elena del Huerto Marimón^1*,** https://orcid.org/0000-0003-2010-0343
Dra. Cristy Darias Domínguez^1,*** https://orcid.org/0000-0001-5529-4999

¹ Universidad de Ciencias Médicas de Matanzas. Matanzas, Cuba.

^*Autor para la correspondencia: mariahuerto@infomed.sld.cu

RESUMEN

Introducción: el impacto de un programa de formación de posgrado con enfoque profesional puede ser definido como su repercusión en cambios favorables en los niveles de competencia de los estudiantes, su desempeño en el puesto de trabajo, la eficiencia y la competitividad de las organizaciones y sus efectos en el entorno interno y externo. No siempre las instituciones educativas cuentan con los instrumentos adecuados para la evaluación de estos impactos, aspecto que resulta medular para valorar la pertinencia y el impacto social de los programas de formación.

Objetivo: elaborar una metodología para la evaluación del monitoreo del impacto de la formación en las especialidades médicas.

Material y Método: la metodología elaborada se fundamenta en el Subsistema de Evaluación y Acreditación de Especialidades de Posgrado (SEA-EP) y el análisis de los modelos de evaluación del impacto de la formación existentes, la cual incluye un instrumento propio para evaluar el impacto de dicha formación, el cual se apoya esencialmente en un grupo de encuestas y entrevistas.

Resultados: se muestra una contribución a la evaluación sistémica e integradora del proceso de formación, demostrando la pertinencia de la metodología diseñada, con la inclusión del instrumento propio.

Conclusión: La metodología propuesta se concibió con una visión integral, sistémica y abarcadora de la formación.  Los cuestionarios diseñados recogen gran cantidad de información, alineados al Patrón de Calidad del SEA-EP, por lo que son más eficaces para valorar su impacto, la calidad intrínseca del proceso formativo y determinar oportunidades de mejora en el mismo.

Palabras clave: formación de posgrado, especialidades médicas, calidad, evaluación y acreditación, trabajo metodológico, monitoreo del impacto.

SUMMARY

Introduction: The impact of a program of postgraduate training with professional view could be defined as its repercussion in favorable changes in the students´ competence levels, their performance in their work places, the efficiency and competitiveness of the organizations and their effectiveness in the internal and external environment. The educative institutions do not always have the effective instruments for evaluating these impacts, important aspect to assess the pertinence and the social impact of the training programs.

Objective: to elaborate a methodology for evaluating the monitoring of the training impact in medical specialties.

Materials and methods: the elaborated methodology is based on the Subsystem of Evaluation and Accreditation of Postgraduate Specialties [Subsistema de Evaluación y Acreditación de Especialidades de Posgrado (SEA-EP) en español] and the analysis of the patterns of evaluating the impact of the existent training which includes a proper tool to evaluate the impact of that training, based mainly in a group of enquiries and interviews.

Results: it confirms a contribution to the systemic and integrative evaluation of the training process, showing the pertinence of the designed methodology, with the inclusion of a proper instrument.

Conclusion: the proposed methodology was conceived with an integrative, systemic and comprehensive point of view of the training. The designed questionnaires gather great quantity of information, according to the Quality Pattern of SEA-EP, being therefore more efficacious to assess its impact, the intrinsic quality of the training process and to determine opportunities of improvement in it.

Key words: postgraduate training, medical specialties, quality, evaluation and accreditation, methodological work, monitoring impact.

INTRODUCCIÓN

En el contexto actual constituye una exigencia el proceso de mejora continua del desempeño de las organizaciones, con un enfoque de calidad, para alcanzar la sostenibilidad de las mismas en el cumplimiento de sus misiones de forma exitosa. La calidad, conceptualizada en la familia de normas internacionales ISO 9000 del año 2015, como “el grado en el que un conjunto de características inherentes cumple con las necesidades o expectativas establecidas por todas las partes interesadas en el desempeño del proceso”,⁽¹⁾ resulta un aspecto prioritario, en este caso para el proceso formativo que llevan a cabo las Instituciones de Educación Superior cubanas.

Con el objetivo de garantizar la calidad de los programas de formación que se imparten en las universidades cubanas, la Junta de Acreditación Nacional de la República de Cuba (JAN) ha elaborado un Sistema de Evaluación y Acreditación de la Educación Superior (SEAES), amparado por la Resolución 150/2018, el cual consta de un grupo de Subsistemas que abarcan a las propias Instituciones de Educación Superior y sus programas de carreras universitarias y de formación de posgrado, así como el correspondiente Reglamento para su puesta en vigor.⁽²⁾

Para el Subsistema de Evaluación y Acreditación de Especialidades de Posgrado (SEA-EP) ha establecido las pautas para determinar la calidad de los programas y propone un grupo de seis variables de calidad:

1. Pertinencia e impacto social

2. Claustro

3. Estudiantes

4. Infraestructura

5. Currículo

6. Escenario laboral

En esta metodología diseñada por la JAN para el Subsistema de Evaluación y Acreditación de Especialidades de Posgrado, desempeña un papel esencial dentro de sus indicadores y criterios de medida el monitoreo del impacto de la formación. Conocer dichos impactos resulta un aspecto medular para las organizaciones que reciben la misma, así como para las instituciones que la brindan, como una forma de evaluar la calidad del proceso formativo con vistas a su retroalimentación y mejora continua, como cierre del ciclo formativo. Es por ello que el Patrón de Calidad de la República de Cuba para las Especialidades de Posgrado contempla dentro de su Guía de Evaluación para la Variable No. I: Pertinencia e impacto social, el monitoreo del impacto en la formación como un indicador esencial.⁽³⁾

Durante el desarrollo de la evaluación y acreditación de la calidad en la formación se conceptualiza el monitoreo del impacto como “el proceso dirigido a evaluar la correspondencia entre los objetivos del programa y los resultados alcanzados por los participantes en el entorno social concreto”,⁽⁴⁾ con el propósito de valorar el proceso formativo y propiciar la necesaria retroalimentación para elevar la pertinencia social del programa.

Para Abdala la evaluación del impacto abarca “todos los efectos generados por la planeación y a la ejecución del programa de formación, pueden ser estos efectos específicos y globales, buscados según los objetivos o no, positivos, negativos o neutros directos o indirectos. Plantea, además, que la sola puesta en marcha del programa puede generar efectos sobre los directamente involucrados hasta la sociedad toda”.⁽⁵⁾

Siguiendo este análisis el impacto de un programa de posgrado con enfoque profesional puede ser definido como su “repercusión en cambios favorables en los niveles de competencia de los estudiantes, su desempeño en el puesto de trabajo, la eficiencia y la competitividad de las organizaciones y sus efectos en el entorno interno y externo”.⁽⁴⁾

Los conceptos expuestos permiten definir una primera condición a cumplir por el instrumento de evaluación del impacto de la formación: la necesidad de valorar el logro de los objetivos planificados, así como de medir el efecto de la formación en los participantes y en sus contextos de actuación. El mismo se fundamenta en el criterio que la evaluación del impacto se basa en el contraste entre la situación de partida y lo que ocurre una vez que la formación ha tenido lugar. Ese contraste busca revelar los cambios que se pueden atribuir a la intervención que se evalúa.

Las universidades cubanas inmersas en la evaluación y acreditación de sus programas de formación laboran en el diseño e implementación de propuestas metodológicas acordes con las características particulares de sus contextos, instituciones y programas con vistas a lograr un instrumento pertinente que les permita medir adecuadamente los impactos de sus respectivas formaciones. Como afirma Núñez, “las universidades, como parte fundamental de los Sistemas Nacionales de Innovación, realizan contribuciones en este sentido, a partir de la formación de profesionales y también por los resultados de la investigación universitaria y de la formación de posgrado”.⁽⁶⁾

La Universidad de Ciencias Médicas de Matanzas (UCMM) no contaba dentro del trabajo metodológico con una metodología para dicho fin, la cual incluyera un instrumento propio para medir el impacto de la formación en sus diferentes programas de estudios. De ahí, que el problema científico se dirige al diseño de una metodología pertinente para medir el impacto en la formación de las especialidades de posgrado en la institución.

Por todo lo anteriormente expuesto, el objetivo se orientó a desarrollar una metodología, que incluye un instrumento propio para la evaluación del impacto de la formación académica en el posgrado, tomando como referente los Programas de Especialidades Médicas que se desarrollan en la institución.

MATERIAL Y MÉTODO

El estudio se desarrolló tomando como referente la metodología empleada en el Subsistema de Evaluación y Acreditación de Especialidades de Posgrado (SEA-EP), así como el análisis de los modelos de evaluación del impacto de la formación existentes, se diseñó una metodología pertinente, la cual incluye un instrumento propio para evaluar el impacto de dicha formación, el cual se apoya esencialmente en un grupo de encuestas y entrevistas.

A partir del análisis de los modelos de evaluación del impacto de la formación existentes se diseñó una metodología que incluía un instrumento propio para medir los impactos de la formación de las especialidades médicas, en correspondencia con lo establecido en el Patrón de Calidad para el Subsistema de Evaluación y Acreditación de Especialidades de Posgrado (SEA-EP) de la Junta de Acreditación Nacional (JAN), especialmente lo declarado en su Guía de Evaluación para la Variable No. 1: Pertinencia e Impacto Social en cuanto al Indicador: Monitoreo del impacto y sus Criterios de Evaluación, los cuales se refieren a:

• (1.4.1) las vías para el monitoreo del impacto y su resultado

• (1.4.2) influencia del programa en los estudiantes, egresados y claustro en cuanto a su desempeño profesional y la influencia del programa en las entidades empleadoras en cuanto al mejoramiento de los procesos de producción o la prestación de servicios y los resultados sociales alcanzados

• (1.4.3) referido a los egresados que se mantienen en la actividad para la cual fueron preparados o han sido promovidos.⁽³⁾

La metodología propuesta abarcó los siguientes aspectos para obtener el resultado de los impactos generados por la formación:⁽⁷⁾

• Caracterización de la Especialidad de Posgrado, en este caso médica, objeto de estudio.

• La definición de tres categorías que van de lo general a lo particular: Impacto en la sociedad (empleadores y directivos), Impacto en la institución (directivos, profesores y tutores) e Impacto en la persona (egresados y residentes).

• Respecto al momento a evaluar se plantearon cuatro básicos: antes de iniciar la formación: evaluación inicial o diagnóstica, durante la formación: evaluación procesual o formativa, al acabar la formación: evaluación final y un tiempo después de acabar la formación: evaluación diferida o de   transferencia e impacto. Estos momentos se corresponden con los instrumentos que serán utilizados en los diferentes momentos del proceso.

• El impacto de la formación se evaluó en tres niveles (reacción, aprendizaje, impacto) durante el proceso formativo y al finalizar el programa.

• Los instrumentos seleccionados para la evaluación del impacto en este caso fueron: observaciones sistemáticas, cuestionarios, informes de evaluación: formativa, de promoción y final, los cuales incluyeron indicadores cualitativos y cuantitativos. En el caso de los cuestionarios estos se enriquecieron tomando como referente los declarados por el SEA-EP durante los años 2018 y 2019.⁽⁹⁾

Para el procesamiento la metodología propuso la triangulación de la información obtenida a través de todas las fuentes empleadas.

RESULTADOS

El diseño de la metodología propuesta incluyó:

• La definición de tres categorías que van de lo general a lo particular: Impacto en la sociedad (empleadores y directivos), Impacto en la institución (directivos, profesores y tutores) e Impacto en la persona (egresados y residentes).

La obtención de los impactos en la sociedad, a través de las encuestas y entrevistas individuales y grupales a empleadores y directivos, las cuales se dirigen a explorar la influencia del programa, a partir del mejoramiento en la prestación de los servicios, en este caso en las instituciones de salud del territorio, así como los resultados sociales alcanzados.

En el caso del impacto en la institución formadora se propuso realizar encuestas y entrevistas individuales y grupales a directivos, profesores y tutores explorando el crecimiento del claustro y la institución en general en cuanto a la calidad del proceso formativo.

Por último, la exploración del impacto en la persona, la cual analizó la influencia del programa en los egresados y residentes, en cuanto a su desempeño profesional. Así mismo, se monitorea la permanencia de los egresados que se mantienen en la actividad para la cual fueron preparados o han sido promovidos.

• Respecto al momento a evaluar se plantearon cuatro básicos: antes de iniciar la formación: evaluación inicial o diagnóstica, durante la formación: evaluación procesual o formativa, al acabar la formación: evaluación final y un tiempo después de acabar la formación: evaluación diferida o de   transferencia e impacto. Estos momentos se corresponden con los instrumentos que serán utilizados en los diferentes momentos del proceso.

La definición de cuatro momentos básicos resultó esencial para la evaluación integral del proceso de formación, pues resulta frecuente encontrar estudios que se limitan a los resultados finales, sin el contraste con el diagnóstico inicial y el recorrido del proceso. La inclusión del diagnóstico inicial resulta esencial, pues permite abordar la motivación del estudiante a través de entrevista personal y el análisis de la eficiencia académica durante la formación precedente, es decir, el pregrado a través de la revisión del expediente. Este momento constituyó un punto inicial de análisis para la caracterización del estudiante, sus potencialidades y carencias.

Durante la formación y al concluir la misma se explora el recorrido y el cierre fundamentalmente, a través de los resultados de promoción y estatal respectivamente, alcanzados por el residente en los años que abarca su formación, mediante la evaluación de tarjetas de habilidades, examen práctico, examen teórico y evaluación del TTE. 

Un tiempo después, al acabar la formación, la denominamos evaluación diferida o de transferencia e impacto, para la cual nos apoyamos en las entrevistas individuales realizadas a los empleadores y directivos de las instituciones de salud donde se encuentra ubicado el egresado, tanto en Cuba, como en el extranjero.

• El impacto de la formación se evalúa atendiendo a tres niveles (reacción, aprendizaje, impacto) durante el proceso formativo y al finalizar el programa.

Reacción- Durante el proceso formativo, la percepción de los estudiantes sobre los módulos impartidos se evalúa mediante una encuesta de satisfacción al finalizar cada uno.

Aprendizaje- El aprendizaje es evaluado directamente por los profesores y tutores que participan en el proceso de formación, según los métodos de evaluación planificados en cada módulo. La evaluación al finalizar el programa se realiza mediante una encuesta, que recoge parcialmente los aspectos necesarios en los tres niveles de impacto.

Impacto- El tercer nivel, el impacto propiamente dicho, se centra en la forma en que los egresados han transferido los conocimientos recibidos a su quehacer diario en la organización, cómo los utilizan y cómo la superación recibida repercute en su desempeño profesional y en la organización. Esta evaluación es realizada al concluir cada edición del programa, mediante encuestas a los egresados, sus empleadores y directivos.

Se muestra una contribución a la evaluación sistémica e integradora del proceso de formación, demostrando la pertinencia de la metodología diseñada, con la inclusión del instrumento propio.

DISCUSIÓN

Como bien afirma López Abreu “la mejora continua constituye un objetivo determinante para alcanzar la excelencia en instituciones de educación superior, por lo que resulta esencial los procedimientos metodológicos a utilizar para la elaboración del plan de mejoras derivado de los procesos de acreditación de las universidades”.⁽⁸⁾ Así mismo, como se afirma en las normas ISO 2009”en la actualidad existe un amplio consenso sobre la importancia de la mejora continua del desempeño de las organizaciones, con un enfoque de calidad, para alcanzar el éxito sostenido”.⁽¹⁰⁾

Las autoras del presente estudio, coinciden además con los postulados de autores adscriptos a la teoría de la Educación de Avanzada, los cuales afirman que: “precisamente como reclamo social al desarrollo de modelos de evaluación del posgrado en la Educación Médica, el aporte de la ciencia a la toma de decisiones sobre métodos e instrumentos para la evaluación de los procesos de formación académica que se insertan en este ámbito, debe estar en correspondencia con las necesidades del Sistema Nacional de Salud. Un aspecto distintivo radica en que los cambios que hoy demanda el fortalecimiento de la formación académica en este contexto no serían posibles si no se contemplan acciones que se hagan eco de la necesidad del reconocimiento del efecto social de estos procesos o de su influencia transformadora (…)”⁽¹¹⁾

De igual forma, la metodología diseñada para el monitoreo de los impactos por profesionales del Departamento de Calidad de la Universidad de Oriente afirman que “el monitoreo es un proceso continuo y sistemático que mide el progreso de los cambios causados por la ejecución de un conjunto de actividades en un período de tiempo, con base en indicadores y acciones determinadas con anterioridad. Es también un mecanismo utilizado para dar seguimiento a las acciones y comprobar en qué medida se cumplen las metas propuestas. En consecuencia, el diseño de una herramienta para el monitoreo de los impactos del programa permite la verificación de la consecución de los objetivos que lo inspiran, así como el aseguramiento y la mejora continua de la gestión. De esa forma se proyecta el desarrollo de los procesos sustantivos que se llevan a cabo en el marco del programa y se fija un factor de garantía para su desarrollo y consolidación”.⁽¹²⁾

Así mismo, coincidiendo con criterios de autores de la Universidad de La Habana podemos afirmar que: “conocer los impactos de la formación es un aspecto clave no solo para las organizaciones que reciben la capacitación, sino también para las instituciones que la brindan, como una forma de evaluar la calidad del proceso formativo para mejorarlo. Si bien la evaluación del impacto de la formación es un requisito establecido para las agencias encargadas de acreditar la calidad de los programas formativos, no siempre las instituciones cuentan con los instrumentos adecuados para la evaluación de estos impactos"⁽¹³⁾

Las autoras coinciden con dichos postulados y en virtud de ello se elaboró la metodología propuesta, la cual tomó como referente las etapas del proceso de autoevaluación, las cuales incluyen las dos últimas ediciones concluidas y la valoración de las que se encuentran en ejecución para el proceso de formación de especialistas médicos, comenzando con la caracterización de la misma en su devenir histórico, contextualizándola en la provincia donde se desarrolla el programa de formación, la institución académica y las instituciones de salud que constituyen los escenarios laborales.

La metodología diseñada se encuentra en plena correspondencia con lo planteado por autores del Vicerrectorado Académico de la Universidad de Ciencias Médicas de Villa Clara, Cuba, los cuales afirman que la calidad es el resultado de una serie de factores internos y del entorno, vinculados a una buena gestión y práctica universitarias; atañe tanto a los procesos que gestiona como a los resultados que obtienen los participantes, por lo que es siempre deseable, relativa y multidimensional. Se expresa a través de estándares establecidos previamente y la unidad dialéctica existente entre la excelencia académica, las diferentes variables y la pertinencia integral de respuesta al entorno: interpretación del encargo social y transformación significativa y duradera como expresión de impacto, en aras del cumplimiento de la misión de la educación superior en general y de las universidades de ciencias médicas en particular. Plantea una serie de exigencias y retos teniendo en consideración los resultados en su relación con las prioridades, líneas de investigación y problemas identificados, donde se conjugan las expectativas y necesidades manifiestas o latentes del país a partir de un análisis evolutivo.^(14,15)

La metodología se concibió con una visión integral, sistémica y abarcadora de la formación.  El instrumento de evaluación diseñado combina la realización de cuestionarios a los estudiantes, egresados, al claustro, a los directivos/empleadores, con entrevistas a los mismos grupos, con el objetivo de triangular la información obtenida en todas las herramientas diseñadas. Los cuestionarios recogen gran cantidad de información, alineados al patrón de calidad del SEA-EP, por lo que son más eficaces para valorar su impacto, la calidad intrínseca del proceso formativo y determinar oportunidades de mejora en el mismo.

REFERENCIAS BIBLIOGRÁFICAS

1. ISO. Sistemas de Gestión de la Calidad. Requisitos [Internet]. FDIS ISO 9001:2015.México: ISO[citado 08/06/2019]; 2015. Disponible en: http://www.cucsur.udg.mx/sites/default/files/iso_9001_2015_esp_rev.pdf

2. Ministerio de Educación Superior. Sistema de Evaluación y Acreditación de la Educación Superior (SEAES). Resolución 150/2018. La Habana: MES; 2018.

3. Ministerio de Educación Superior. SEAES: Subsistema de Evaluación y Acreditación de Especialidades de Posgrado (SEA-EP). Resolución 10/2019. La Habana: MES; 2019.

4. Ramos FJ, Meizoso MC, Guerra RM. Instrumento para la evaluación del impacto de la formación académica. Rev Universidad y Sociedad [Internet].2016 [citado 08/06/2019]; 8(2): 114-24. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2218-36202016000200014http:/rus.ucf.edu.cu/

5. Abdala E. Manual para la evaluación de impacto en programas de formación para jóvenes. Montevideo: CINTERFOR; 2014.

6. Núñez J. Conocimiento académico y sociedad. Ensayos sobre política universitaria de investigación y posgrado [Internet]. La Habana: Editorial UH[citado 08/07/ 2019]; 2010  Disponible en: http://scielo.sld.cu/pdf/rces/n1/rces03115.pdf/

7. Del Huerto ME. Orientaciones Metodológicas para el monitoreo del impacto del programa en las Especialidades de Posgrado. Matanzas: Universidad de Ciencias Médicas;2019.

8. López OL. La mejora continua: objetivo determinante para alcanzar la excelencia en instituciones de educación superior. La Habana: Congreso Universidad 2018; 2018.

9. Ministerio de Educación Superior. SEAES: Subsistema de Evaluación y Acreditación de Especialidades de Posgrado (SEA-EP). Manual de implementación. Resolución 10/2019. La Habana: MES; 2019.

10. ISO. ISO 9004:2009. Gestión para el éxito sostenido de una organización-enfoque de gestión de la calidad. España: ISO; 2009 Disponible en: https://www.iso.org/obp/ui#iso:std:iso:9004:ed-3:v1:es

11. Borges Oquendo LC, Añorga Morales JA. Dimensiones de la evaluación de impacto del posgrado académico desde la óptica de la Educación Avanzada en la Educación Médica.  Educ Méd Sup[Internet]. 2015 [citado 21/07/ 2019];29(2) Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412015000200015

12. Universidad de Oriente. Metodología para el monitoreo de impactos. Santiago de Cuba: Universidad de Oriente;2018.

13. Ramos Azcuy F, Meizoso Valdés MC, Guerra Bretaña RM. Instrumento para la evaluación del impacto de la formación académica. Revista Universidad y Sociedad [Internet]. 2016 [citado 21/07/2019];8(2). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_abstract&pid=S2218-36202016000200014&lng=es&nrm=iso

14. Universidad de Ciencias Médicas de Villa Clara. La evaluación institucional: un reto para los procesos sustantivos de las universidades. Edumecentro [Internet]. 2015 [citado 03/ 06/ 2017];7(2). Disponible en: http://www.revedumecentro.sld.cu/index.php/edumc/article/view/606/html_53

15. Placeres Hernández JF, de León Rosales LC, Martínez Abreu J,  et al.  El Sistema de Evaluación y Acreditación de Especialidades de Postgrado en la Universidad de Ciencias Médicas de Matanzas. Rev Méd Electrón [Internet]. 2017 [citado 04/06/2018];39(6). Disponible en: http://www.revmedicaelectronica.sld.cu/index.php/rme/article/view/2446/3652

^**Dra.C. María Elena del Huerto Marimón. Investigadora principal, revisó el dato primario y redactó el 70% del informe final

^***Dra. Cristy Darias Domínguez. Realizó la revisión bibliográfica y participó en la discusión de los resultados. 

Conflictos de interés
Los autores declaran que no existen conflictos de interés