Artículo original

Validez y fiabilidad de un cuestionario que evalúa competencias investigativas e innovativas

Validity and reliability of a questionnaire evaluating innovative and research competences

MSc. Regla Ponce de León Narváez^1*,** https://orcid.org/0000-0003-2602-1443

MSc. Silvio Soler Cárdenas^1,***https://orcid.org/0000-0003-4299-4472

Dra. C. Arialys Hernández Nariño^1,****https://orcid.org/0000-0002-0180-4866

Dr. C. Alejandro  Antuan Díaz Díaz^2,*****https://orcid.org/0000-0001-8867-5384

MSc. Lisbet Soler Pons^3,******https://orcid.org/0000-0002-3108-5401

¹ Universidad de Ciencias Médicas de Matanzas. Matanzas, Cuba.

² Instituto Superior de Ciencias Médicas de la Habana. La Habana, Cuba.

³ Universidad de Matanzas. Matanzas, Cuba.

^* Autor para la correspondencia: reglap.mtz@infomed.sld.cu

RESUMEN

Introducción: el desarrollo de competencias investigativas e innovativas en los profesionales, es esencial para la aplicación de resultados generados por la investigación y por la innovación.

Objetivos: evaluar la validez y fiabilidad de un cuestionario destinado a cuantificar el nivel de desarrollo de competencias investigativas e innovativas de profesores de la Universidad de Ciencias Médicas de Matanzas.

Materiales y métodos: se realizó un estudio de tipo evaluativo, de enero a mayo del 2019. La validación del contenido se realizó aplicando los postulados de Moriyama. Su consistencia interna por el coeficiente alfa de Cronbach y la validez de construcción lógica por análisis factorial de los componentes principales.

Resultados: el Alfa de Cronbach obtenido fue de ,930. La validación de contenido permitió considerar que la formulación de los ítems, es razonable, justifican su presencia en el cuestionario. Las categorías propuestas para ser incluidas en la construcción del instrumento son adecuadas. Los resultados sugirieron la presencia de cuatro factores que explicaron el 71,16 % de la varianza acumulada por todos los factores.

Conclusiones: los resultados de validez fueron favorables. Está disponible un instrumento con condiciones adecuadas y criterios válidos que justifican su uso y aplicación en el terreno investigativo.

Palabras clave: competencias investigativas; competencias innovativas; validación de cuestionarios.

ABSTRACT

Introduction: the development of research and innovative competences in the professionals is essential for the application of results generated by research and innovation.

Objective:  to assess the validity and reliability of a questionnaire designed to quantify the development level of research and innovative competences of professors of the University Of Medical Sciences Of Matanzas.

Materials and methods: an evaluative-kind study was carried out from January to May 2019; the content validation was made applying Moriyama´s postulates, its internal consistence applying Chronbach´s alpha coefficient, and its logical construction validity applying the factorial analysis of the main components.  

Results: the obtained Chronbach´s alpha was ,930. The content validation allowed considering that items formulation is reasonable, justifying their presence in the questionnaire. The categories proposed to be included in the instrument construction are adequate. The results suggest the presence of four factors explaining 71.16 % of the variance accumulated by all the factors.

Conclusions: the validity results are favorable. An instrument is available with adequate conditions and valid criteria justifying its use and application in the research field. 

Key words: research competences; innovative competences; questionnaire validation.

Recibido: 15/01/2020.

Aceptado:15/06/2020.

INTRODUCCIÓN

En Cuba, la transformación de la realidad mediante la introducción de resultados científicos (IRC) constituye una alta prioridad desde el año 1959, refrendado en los documentos de los Congresos del Partido Comunista de Cuba (PCC). También con la fundación en el año 1994, del Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA) y en el sistema de programas y proyectos asociados, estructurado en atención a las prioridades establecidas en los diferentes niveles de dirección del estado, para dar respuesta a problemas y necesidades del desarrollo del país.

Se constata en el periódico Granma^(1,2) que en la Lineamiento de la Política Económica y Social del Partido y la Revolución, aprobada en el VI Congreso del PCC, se ratifica la voluntad política de continuar potenciando el proceso de introducción de los resultados científicos en el desarrollo social del país. Queda establecido en el capítulo V, Lineamiento 99 de la política económica y social del partido y la revolución para el período 2017-2021, y en los fundamentos de la política científica del país, lo que se ratificó para el año 2019 por las primeras instancias de dirección.⁽²⁾

Es por ello, que la gestión de la ciencia, la tecnología y la innovación en las universidades; debe desempeñar un rol de vanguardia en la búsqueda de enfoques y mecanismos creativos, para mejorar los procesos de formulación e implementación de las estrategias, que buscan la calidad no sólo en la excelencia de los programas académicos, sino también en los impactos de la docencia y la ciencia universitaria en la sociedad.⁽³⁾

En la búsqueda realizada, se encontraron escasas referencias relacionadas con el tema y su relación con las ciencias de la Educación Médica, a pesar de que se ha identificado como problema. El investigador Núñez Sellés,⁽⁴⁾ considera que los problemas relacionados con la aplicación práctica de los resultados derivados de la investigación científica, al sistema de salud y el avance propio de la ciencia y la técnica, están relacionados entre otros aspectos con la falta de cultura científica-innovativa y de conocimientos en los actores del sistema.

Desde la teoría de la educación avanzada, los autores Morales Villavicencio et al.⁽⁵⁾ y Pérez,⁽⁶⁾ asumen el concepto de competencia y lo relacionan con el desempeño profesional, entendiéndola como “… combinación integrada de conocimientos, habilidades y actitudes que se ponen en acción y en la que se movilizan todos los recursos para un desempeño profesional adecuado en un contexto dado…”.

Luego de revisar lo planteado por un grupo de investigadores, sobre el término competencias investigativas, se considera importante lo ase varado por González García,⁽⁷⁾ quien lo concreta con un enfoque interdisciplinario para las tecnologías de la salud, concepto que, a juicio de los autores, puede ser contextualizado y asumido para la Educación Médica.  Lo define como la potencialidad del ser humano expresado en el marco de todo proceso de investigación científica; que permite, a partir de la integración, cooperación y enriquecimiento de saberes, la resolución de problemas profesionales y pedagógicos, la construcción de nuevos conocimientos de las ciencias que intervienen, y de los actores que participan con el investigador.

Para otros investigadores del mundo académico, las competencias innovativas se enuncian de una manera un tanto distinta, identifican tres grandes categorías: las instrumentales, las interpersonales y las sistémicas. La competencia de innovación está ubicada en la categoría de sistémicas, según ellos, supone un conjunto de indicadores de progreso para la evaluación de esta competencia.⁽⁸⁾ Las que se deben enunciar con base en desempeños observables que ostenten un nivel de destreza o idoneidad. Según Guerra Betancourt,⁽⁹⁾ para desarrollar estas competencias se necesitan conocimientos, habilidades y aptitudes.

El pedagogo Nocedo de León,⁽¹⁰⁾ considera que la función de la investigación educativa, dentro del sistema de ciencias de la educación, es una vía para construir conocimientos que perfeccionen constantemente la realidad educativa. De modo que el conocimiento de esta ciencia resulta importante para el desarrollo de las competencias investigativas e innovativas de los educadores. Por tanto, diagnosticar el nivel de competencias investigativas de los profesores, se convertiría en una herramienta muy útil para establecer adecuadas estrategias de generación e introducción de resultados.

En la Universidad de Ciencias Médicas de Matanzas, se ha logrado en los últimos años, mayor precisión en los problemas a resolver por vía científica. Se ha incrementado el potencial científico y se ha mejorado la socialización y publicación de los resultados. Sin embargo, se observan dificultades en la introducción de los resultados de investigación, lo que refleja ciertas brechas en las competencias científicas e innovativas de los profesionales.

Después de una amplia revisión bibliográfica se confirmó que no se cuenta con un instrumento que permita medir el desarrollo de las competencias investigativas e innovativas que poseen los profesores de la Universidad de Ciencias Médicas de Matanzas, por ello fue necesaria la construcción de un instrumento que permitiera realizar dicha medición.

Se elaboró un cuestionario de tipo autorreporte. Considerando que Grijalva Verdugo y Urrea Zazueta,⁽¹¹⁾ reconocen que el reporte resulta ser más confiable y ajustado a la realidad que otros tipos de instrumentos.

Con este trabajo se pretende evaluar la validez y fiabilidad del mencionado cuestionario, destinado a cuantificar el nivel de desarrollo de competencias investigativas e innovativas de los profesores.

MATERIALES Y MÉTODOS

Se realizó un estudio cuantitativo en la Universidad de Ciencias Médicas de Matanzas, en el período de enero –mayo del 2019, para evaluar la validez y fiabilidad de un cuestionario destinado a cuantificar el nivel de desarrollo de competencias investigativas e innovativas de los profesores.

El universo de estudio estuvo constituido por los 1 847 profesores que constituyen el potencial científico de la universidad. Para la selección de la muestra se aplicó un diseño probabilístico estratificado, donde los estratos se definieron como las filiales territoriales de la universidad.

Para la determinación del tamaño de la muestra, se aplicó el paquete Epidat, prefijando un error máximo admisible de 5 % y una confiabilidad de 95 %, resultando n = 318. Esta cantidad de profesores se distribuyó proporcionalmente al tamaño de los estratos.

El cuestionario sometido a evaluación está integrado por 22 ítems medidos en una escala de Likert de cinco categorías: “1”: Nunca; “2”: A veces; “3”: Frecuentemente; “4”: Casi siempre; “5”: Siempre.

En el diseño del cuestionario se concibieron cuatro dimensiones:

• Competencias investigativas: 12 ítems

• Competencias innovativas:      2 ítems

• Habilidades innovativas:          4 ítems

• Aptitudes innovativas:             4 ítems

La validez de contenido del instrumento se evaluó mediante la aplicación de los criterios de Moriyama, citado por Martín et al,⁽¹²⁾ en el 2008.

Se aplicó a 11 expertos, con al menos 10 años de experiencia en la docencia universitaria y desempeño en la esfera de la gestión de la ciencia e innovación tecnológica. Seis de ellos son doctores en ciencias y los restantes tienen el grado de máster en ciencias. Se aplicaron los criterios de Moriyama con los criterios “Razonable”, “Comprensible” y “Sensible a variaciones”. Usando la siguiente escala de cuatro grados: 0: Nada; 1: Poco; 2: Suficiente y 3: Mucho.

Los expertos evaluaron todos los ítems para los tres criterios de Moriyama. Cada ítem se consideró “adecuado” si fue evaluado con la categoría “Mucho” por al menos 70 % de los expertos en cada uno de los criterios. 

Se evaluó la validez funcional del instrumento mediante su aplicación a una muestra piloto de 15 profesores, con la finalidad de detectar contingencias prácticas en la futura aplicación, comprobar la comprensión de los ítems en cuanto a su redacción y verificar su correcta interpretación.

Se evaluó la validez de constructo mediante un análisis factorial exploratorio, con componentes principales y rotación “Varimax”.

El análisis de fiabilidad se realizó analizando el coeficiente alfa de Cronbach y la discriminación de cada uno de los ítems del instrumento.

Los datos se procesaron con el software SPSS para Windows, versión 21.

Esta investigación respetó los postulados de la ética de la investigación. Tuvo como objetivo esencial el puramente científico, sin afectaciones del medio ambiente, ni riesgos predecibles. Para realizar la encuesta, se le informó a los entrevistados los objetivos perseguidos con la investigación y se le solicitó su consentimiento. La información obtenida no se empleó para otros fines fuera del marco de la investigación. Los datos primarios se manejaron con discreción para la investigación.

RESULTADOS

En el proceso de validación de contenidos, el 100 % de los items fueron evaluados en la categoría de mucho, por más del 70 % del grupo de expertos. Los resultados obtenidos para cada categoría se muestran en la tabla 1.

Tabla 1. Distribución porcentual de la valoración de los expertos con relación a los criterios de Moriyama

El análisis de fiabilidad se muestra en la tabla 2, expone los valores del coeficiente alfa de Cronbach para cada una de las dimensiones del instrumento y del total. Se obtuvo un valor de 0.93 para el coeficiente alfa de Cronbach, lo que denota que el instrumento tiene un nivel aceptable de consistencia interna.

Tabla 2. Valores del coeficiente alfa de Cronbach

La tabla 3 muestra la distribución del índice de discriminación de los ítems. Nótese que todos son positivos y por tanto aportan un incremento positivo a la confiabilidad global del instrumento.

Tabla 3. Distribución porcentual del índice de discriminación

La tabla 4 muestra los resultados de la validez de constructo y expone los datos necesarios para verificar si se satisfacen las hipótesis que justifican la realización de un análisis factorial. Se verifica que tal análisis es realizable.

Tabla 4. Resultados del análisis de adecuación

Como resultado del análisis factorial, se obtuvo que todos los ítems tienen carga factorial adecuada, por lo que no es necesario prescindir de ninguno de ellos.

Los resultados del análisis factorial por componentes principales con rotación ortogonal (Varimax), sugieren la presencia de cuatro factores, que explican el 71,16 % de la varianza acumulada en el cuestionario.

El primer factor explica el 28,2 %; agrupa 9  ítems, ocho de los cuales pertenecen a las competencias investigativas y el otro a  competencias  innovativas: conocimientos de herramientas para la gestión de la información y el conocimiento, metodología de proyectos de innovación,  elaboración del análisis de costo de los proyectos de investigación, nociones de diseño, aplicación y evaluación de instrumentos de recolección de datos, redacción de informes científicos, uso del método estadístico, metodología para  elaborar el diseño metodológico de  la investigación y la innovación y la Política de Ciencia e Innovación del MES.

El segundo factor explica el 19,18 % de la varianza total. Contiene siete ítems que se refieren a las habilidades y aptitudes innovativas, ellos son: el espíritu emprendedor, la actitud favorable al cambio, la capacidad para trabajar en equipo, la creatividad, capacidad de anticipación, capacidad para asumir riesgos y su proactividad.

El tercer factor 3 explica el 12,81 % de la variación total. Agrupa 4 ítems que reflejan aspectos relacionados con las competencias investigativas que presentan cierta complejidad, como los conocimientos de la metodología para elaborar el diseño teórico de la investigación, las técnicas de comunicación oral y escrita, la metodología para elaborar modelos, estrategias, sistemas, metodologías y procedimientos.

El cuarto factor explica 10,96 % de la variación total. Agrupa solamente dos ítems que reflejan aspectos relacionados con habilidades innovativas y sus competencias como la capacidad de generar nuevas ideas y el conocimiento de las herramientas de la gestión de la innovación.

DISCUSIÓN

La validación de cuestionarios para evaluar competencias en el ámbito educativo, se ha reflejado en la literatura mediante la aplicación de diferentes metodologías que incluyen el análisis de la consistencia interna, aplicando el coeficiente alfa de Cronbach. Aunque, un gran número de autores no todos aplican el modelo de análisis factorial para analizar la validez de construcción.^(11,13-17)

Se verificó la validez de contenido del instrumento del presente estudio. Este hallazgo constituye un importante indicador de su valor y una justificación loable, tenida en cuenta en el proceso de validación, pues esta alternativa de validez permite realizar una valoración crítica del constructo teórico del que se parte y de las categorías que se proponen. Las cuales expresan un modo específico de conceptualizar las competencias investigativas e innovativas. El índice de consistencia interna alfa de Cronbach obtenido para esta muestra fue de ,930. Todos los ítems presentaron promedios altos: entre 66 y 68. En la correlación Ítem-total del cuestionario (índice de discriminación), la mayoría alcanzaron valores superiores a ,50. Lo que es indicador de un buen nivel de consistencia entre los ítems. En este caso, fueron los ítems relacionados con la política científica de la universidad, las nociones de diseño, aplicación y evaluación de instrumentos de evaluación, y la metodología de proyectos de innovación los de más elevada correlación.

Sólo los ítems relacionados con las aptitudes, como la creatividad, el espíritu emprendedor y aptitud favorable al cambio   no sobrepasaron el valor de ,50. También todos contribuyeron a mantener un Alfa de Cronbach superior a ,90 de ser eliminadas. Se puede señalar una buena homogeneidad del instrumento elaborado.   Por otra parte, los resultados de la validez de construcción lógica arrojan la agrupación de los ítems en cuatro factores, lo que coincide con la hipótesis acerca del mismo número de categorías que recorren el constructo de base. Estos aluden a dimensiones teóricas que responden a características esenciales de las competencias investigativas e innovativas, identificadas en la literatura y utilizadas como fundamento de esta investigación.

Otro aspecto importante es el índice de consistencia interna obtenido, el que indica que se trata de un instrumento con características homogéneas.

Los referentes teóricos consultados permiten conceptualizar la introducción de resultados científicos, como un proceso dentro del sistema de ciencia e innovación tecnológica, con una estrecha interrelación con los diferentes subsistemas del mismo.

Se enfocó la necesidad de desarrollar competencias investigativas e innovativas para formar las capacidades, aptitudes y habilidades necesarias en los profesionales de las ciencias médicas. En el futuro, establecer adecuadas estrategias de gestión de la ciencia y la innovación tecnológica, particularmente en la introducción de los resultados.

 Está disponible un instrumento con condiciones adecuadas y criterios válidos que justifican su uso y aplicación en el terreno investigativo

En la muestra de profesores encuestados predominó el sexo femenino, con una experiencia laboral adecuada, quienes se autoevaluaron con un bajo nivel de competencias y habilidades y un nivel medio de aptitud innovativa.  

REFERENCIAS BIBLIOGRÁFICAS

1-Peláez O. Hacia dónde va la Ciencia cubana[Internet]. Granma. Ciencia  2019 [citado 05/03/19]  Disponible en :http://www.granma.cu/ciencia/2019-01-04/hacia-donde-va-la-ciencia-cubana-04-01-2019-20-01-28

2- Puig Meneses Y. El proceso de informatización de la sociedad cubana es un hecho[Internet]. Granma. Cuba  2019 [citado 05/03/19] Disponible en :  http://www.granma.cu/cuba/2019-02-18/el-proceso-de-informatizacion-de-la-sociedad-cubana-es-un-hecho-18-02-2019-22-02-12

3. Martínez Navarro M ,  Jaya Escobar AI . La gestión de la ciencia, la tecnología y la innovación en la educación superior: trayectorias y desafíos. Boletín de Novedades. 2019[citado 23/03/19]. Disponible en: de:https://www.eumed.net/rev/atlante/2019/02/educacion-trayectorias-desafios.html

4- Núñez Sellés AJ. Introducción de resultados de la investigación-desarrollo en el sistema de salud cubano. Rev Cubana Salud Pública  [Internet]. 2010  Sep [citado 12/12/14 ] ;  36( 3 ): 215-22. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662010000300005&lng=es   

5-Morales Villavicencio CE, Oramas González R, Valcárcel Izquierdo N,  et al. La epistemología de las Ciencias de la Educación Médica. Epistemología de la Educación Médica. Cuenca, Ecuador: Universidad Católica de Cuenca. 2015 [citado  12/06/19  2].    19
Disponible en: http://biblioteca.unae.edu.ec/cgi-bin/koha/opac-detail.pl?biblionumber=670&shelfbrowse_itemnumber=1028

6-Pérez M, Pérez MF. La Educación de jóvenes y adultos: evolución histórica a partir de 1959. Definiciones teóricas importantes. Primer Resultado del Proyecto investigativo Modelo sociopedagógico de la Educación de jóvenes y adultos en la Ciudad de La Habana. La Habana: Universidad de Ciencias Pedagógicas “Enrique José Varona. 2009. p.19.

7- González García TR. Modelo para el desarrollo de competencias investigativas con enfoque interdisciplinario en tecnología de la salud. [Tesis de Doctorado en Ciencias de la Educación Médica]. La Habana: Universidad Ciencias Médicas de La Habana; 2017.  

8-Ramírez Montoya MS, Valenzuela González JR. Innovación educativa investigación, formación, vinculación y visibilidad. Madrid: Editorial Síntesis, S.A. Vallehermoso; 2017[citado 22/03/19]. p. 272     .Disponible en: https://www.unav.edu/publicaciones/revistas/index.php/estudios-sobre-educacion/article/view/37691  

9-Guerra Betancourt K. Tecnología para la gestión de proyectos de innovación en sistemas territoriales de innovación. [Tesis de Doctorado en Ciencias Técnicas]. Holguín: Instituto Superior de Tecnologías y Ciencias Aplicadas; 2014. 

10- Nocedo de León I.Estrategia de gestión para la introducción de resultados de investigación en la educación primaria [Tesis de Doctorado en Ciencias Pedagógicas]. La Habana: Universidad de Ciencias Pedagógicas “Enrique José Varona”, Facultad de Educación Infantil. Departamento de Primaria;2015.

11-Grijalva Verdugo AA, Urrea Zazueta ML. Cultura científica desde la universidad. Evaluación de la competencia investigativa en estudiantes de Verano Científico [Internet]. Zalamanca: Ediciones Universidad de Salamanca 2017[citado 11/02/19];  18 (3). Recuperado de: https://doi.org/10.14201/eks20171831535 ISSN 2444-8729

12- Martín Alfonso L, Bayarre Vea H D,  Grau Ábalo J A. Validación del cuestionario MBG (Martín-Bayarre-Grau) para evaluar la adherencia terapéutica en hipertensión arterial .Rev Cubana Salud Pública [Internet] ene.-mar. 2008 [citado 23/11/19]; 34 (1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662008000100012

13- Zambrano R, Nora Gil N, Lopera E, et al. Validez y confiabilidad de un instrumento de evaluación de estrategias docentes en la práctica de la enseñanza universitaria. Magister [Internet]. 2015[citado 12/10/19];  27(1): 26-36. Disponible en: https://www.sciencedirect.com/science/article/abs/pii/S0212679615000134?via%3Dihub

14 - Abricot Marchant NE.  Validez de un instrumento de evaluación de la docencia: el caso de la Universidad de Santiago de Chile [Tesis en Internet de Magíster en educación mención evaluación de aprendizajes] Santiago de Chile: Pontificia Universidad Católica de Chile. Facultad de Educación Programa de Magíster en Educación; 2015. https://repositorio.uc.cl/bitstream/handle/11534/15767/664410.pdf?sequence=1

15– Rosenbluth A, Cruzat-Mandich  C, Ugarte ML. Metodología para validar un instrumento de evaluación por competencias en estudiantes de psicología. Rev Información [Internet]. 2016 [citado 12/10//19]; 15 (1): 303-14. Disponible en : https://revistas.javeriana.edu.co/index.php/revPsycho/article/view/13556

16- Kú Hernández OE, Pool Cibrián WJ.  Construcción y Validación de Instrumentos para la Evaluación de la Práctica Pedagógica en Educación Básica del Estado de Yucatán.   Rev Iberoamericana de Evaluación Educativa, [Internet].  2018 [citado 12/10/19];11(1), 23-41.Disponible en :https://revistas.uam.es/index.php/riee/article/view/9244

17 - Aguilar Correa CM, Sánchez, GI. Construcción y validación de un instrumento para valorar desempeños pedagógicos de estudiantes en formación Inicial Universidad de Costa Rica. Rev Educación [Internet]. 2018 [citado 12/10/19]; 42(1).Disponible en: http://www.redalyc.org/articulo.oa?id=44051918006

ANEXOS

Anexo 1 Instrumento de evaluación de competencias investigativas e innovativas

Conflictos de Intereses

Los autores declaran que no hay conflictos de intereses.

^** La primera autora dirigió la investigación y participó en la redacción general de todo el documento.

^*** El segundo autor colaboró con el análisis estadístico de la información.

^**** La tercera autora cooperó en el análisis de los resultados.

^***** El autor número cinco participó en la elaboración de la discusión.

^****** La última autora realizó la búsqueda bibliográfica.