Introducción

La medición es el proceso de asignar valores a ciertos eventos de la realidad. ¹ Las calificaciones que se les asignan a los estudiantes en los exámenes y sus posteriores evaluaciones, expresan los resultados del proceso de enseñanza aprendizaje, así mismo lo regula; retroalimenta a los profesores y tiene una función educativa importante. ⁽²⁾

La elaboración de instrumentos para medir/evaluar, requiere un proceso minucioso, de análisis de los aspectos a medir y de búsqueda de las herramientas necesarias. Un instrumento debe ser de fácil manejo, válido y comprensible. Su diseño debe ser compatible con los recursos disponibles. ³

En Cuba, para la decisión de la evaluación final en la Educación Superior se requiere tener en cuenta, la Instrucción No.1 de 2009, sobre errores ortográficos.⁴ Adicionalmente, en las carreras de Ciencias Médicas, para la calificación de exámenes parciales y finales se debe aplicar la metodología indicada en la Instrucción 3/2015. ⁵⁾

Las tablas de decisión para exámenes de tres, cinco y siete preguntas, emitidas por esta metodología, conocidas por sus siglas como VADI (Vice Ministerio de Atención a la Docencia y las Investigaciones) es ampliamente conocida y aplicada por los docentes. No obstante, su gestión manual, es un proceso engorroso. El elevado número de combinaciones posibles que se pueden producir al aplicar cualquier examen y la aplicación de la Instrucción 1/2009, puede dificultar el otorgamiento correcto de la calificación y requiere mucho tiempo de trabajo. ⁶

Santander y colaboradores en 2019 en la Revista Cubana de Informática Médica publicaron la automatización del proceso de evaluación teniendo en cuenta las Instrucciones antes citadas, mostrando un instrumento que garantiza otorgar una evaluación correcta, impidiendo los errores que se cometen de manera manual, así mismo facilita “la obtención de estadísticas que ofrecen una valoración más exacta de los resultados docentes alcanzados”. En esa investigación también se detectaron y corrigieron once combinaciones omitidas en la VADI de 7 preguntas. Los autores utilizaron el paquete profesional estadístico PSPP de libre distribución. ⁶ Este sistema, según consideramos, no siempre es comprensible para los profesores de las universidades médicas.

La presente investigación presenta una propuesta en Excel, a nuestro juicio más asequible para los profesores de ciencias médicas que en general dominan las hojas de cálculo. En esta automatización se combinan de una manera eficaz diferentes funciones para brindar una calificación válida y confiable y se toman en cuenta los errores detectados por Santander y colaboradores. ⁶

La novedad de este trabajo está en proponer a los profesores de las Ciencias Médicas, un instrumento sencillo, factible y seguro. El uso de este tipo de instrumentos al ahorrar tiempo contribuye a un mejor desempeño.

El objetivo de esta investigación es construir un instrumento en Excel para calificar exámenes parciales y finales, de tres, cinco y siete preguntas, que tiene en cuenta los errores ortográficos.

Material y Métodos

Se realizó una innovación tecnológica, en los meses de octubre-noviembre de 2021. Para ello se siguió la siguiente secuencia.

Paso 1: análisis de la Instrucción 3/2015 y 1/09 emitida por el Vice Ministerio de Docencia del Ministerio de Salud Pública y el Ministerio de Educación Superior, respectivamente.

Paso 2: elegir el software para confeccionar el instrumento: Microsoft Excel por su factibilidad.

Paso 3: copiar las tablas de decisiones disponibles en las instrucciones, en la hoja “trabajo” del Microsoft Excel.

Paso 4: crear algoritmos a partir de la combinación de funciones de Microsoft Excel, en la hoja “trabajo”: EXTRAER, DERECHA, LARGO, Fila (), JERARQUIA.EQV, INDICE, COINCIDIR, VALOR, CONCATENAR, SI y CONTAR.SI.CONJUNTO.

Paso 5: en la hoja “Entrada de datos”, diseñar la entrada de datos (año académico, calificaciones y número de errores ortográficos) y salidas de datos con y sin errores ortográficos. Enlazar ambas hojas “trabajo” y “Entrada de datos”. Verificar y corregir datos incorrectos y declarar aclaraciones necesarias.

Paso 6: seleccionar los jueces o evaluadores del instrumento: cinco profesores de manera independiente, de tres asignaturas (Pediatría, Medicina Interna y Salud Pública).

Paso 7: aplicar la prueba piloto: examen final de 5to año de la carrera de medicina en la Facultad “Julio Trigo”, durante el primer semestre del curso 2021-2022 en la asignatura Salud Pública

Paso 8: reconstruir el instrumento hasta lograr que el instrumento cumpliera los siguientes requisitos:

1. Validez: sensibilidad y especificidad del 100%. La regla de oro fue la tabla de decisión de las instrucciones.
2. Confiabilidad: si al ser llenado por el mismo docente en fechas diferentes, o por distintos jueces, el resultado resultaba siempre es el mismo.
3. Representatividad: el instrumento incluye todos los parámetros necesarios para otorgar la calificación.
4. Factibilidad: uso de un instrumento comprensible para todos los usuarios.

Paso 9: proteger ambas hojas y solo permitir en “Entrada de datos” la entrada de datos.

Paso 10: salvar el instrumento elaborado (Evaluación CALF 357), en diferentes versiones de Excel (CALF357.xls, CALF357.xlsx).

Resultados

Se elabora un instrumento que automatiza las tablas de decisión VADI para tres, cinco y siete preguntas, así como las indicaciones para descuento ortográfico, Instrucción 3/2015 y 1/09 emitida por el Vice Ministerio de Docencia del Ministerio de Salud Pública y el Ministerio de Educación Superior, respectivamente.

Durante el proceso se elaboran matrices de datos, a partir de las instrucciones mencionadas, que incluyen todas las posibles calificaciones, las que se ordenaron de mayor a menor. Se corrigieron además, los errores detectados por Santander y colaboradores en su investigación. ⁶ Estos errores se listan a continuación:

• En la VADI de 7 preguntas se encontraron omitidas las combinaciones: 5-5-4-4-4-3-2, 5-4-4-4-4-4-2, 5-4-4-4-4-3-2, 5-4-4-4-3-3-3 y 4-4-4-4-4-4-2 (calificación de 4), 5-5-5-4-4-2-2, 5-5-4-4-4-2-2, 5-5-4-4-3-2-2, 5-5-3-3-3-3-2, 5-5-3-3-3-2-2 y 5-4-4-4-4-2-2 (calificación de 3)
• En la VADI de 5 preguntas: 5-3-3-2-2 (calificación de 2).
• En la VADI de 5 preguntas el otorgamiento de dos calificaciones diferentes a la combinación: 5-5-3-3-3 (calificaciones de 4 y 3), a la que debe corresponder una calificación de 3.

El instrumento se construye en un libro de cálculo realizado en el programa Excel del paquete Microsoft Office 2013.

El instrumento consta de 2 hojas de cálculo. La primera que se denomina “Entrada de Datos” donde el usuario va a introducir los datos de cada estudiante:

• Año de la carrera
• Calificación
• Número de errores ortográficos

Al terminar de llenar los datos, de manera automática aparece la “Evaluación” correspondiente, sin tener en cuenta errores ortográficos y teniéndolos en cuenta, estas celdas se encuentran protegidas para evitar errores en la introducción de datos. (Fig. 1).

[Figure ID: f1] Fig. 1.

Interfaz principal del instrumento.

Este instrumento advierte al usuario de los errores propios de la digitalización y las notas de advertencia que propone la Instrucción 3/2015.

Ejemplo: la primera imagen de la Figura 2, muestra un error al teclear en el “Año de la carrera” 7. El sistema muestra un error pues lo aceptado son los números de 1 al 6, se observa un mensaje de error que indica el posible error con un fondo rojo y letras amarillas (Fig. 2.).

[Figure ID: f2] Fig. 2.

Identificación de errores en el instrumento Evaluación CALF 3,5,7.

En la segunda hoja de cálculo denominada “Trabajo” se realiza el cálculo automatizado de las evaluaciones, a partir de las matrices de las instrucciones. Cuadros 1 y 2. (Fig. 3).

[Figure ID: f3] Fig. 3.

Hoja de Cálculo donde se realiza el cálculo automatizado de las evaluaciones.

Debajo de estos cuadros se desarrolla un algoritmo para extraer las evaluaciones siguiendo varios pasos que se muestra a continuación (Fig. 4).

[Figure ID: f4] Fig. 4.

Hoja de Cálculo donde se realiza el cálculo automatizado de las evaluaciones.

Pasos en la evaluación “sin error ortográfico”

1. Extraer cada dígito de la cadena de calificación tecleada en la hoja “Entrada de datos” Función: EXTRAE; DERECHA.
2. Dar valores según fila que ocupa en valores repetidos en una cadena de calificación, Función: C49+0.0000001*FILA(),
3. Ordenar de mayor a menor, Función: JERARQUIA.EQV(D49;$D$49:$D$55)
4. Identificar la evaluación: correspondiente, Función: INDICE($A$49:$A$55;COINCIDIR(F49;$E$49:$E$5
5. Asignar a la evaluación el valor correspondiente, Función: ENTERO(INDICE($C$49:$C$55;COINCIDIR(G49;$E$49:$E$55;0)))
6. Eliminar ceros, en cadenas menor de 7; Función: ENTERO(SI(Y($H49>0);H49;""))-
7. Concatenar, volver a formar cadenas en forma numérica, Función: VALOR(VALOR(CONCATENAR(I49;I50;I51;I52;I53;I54;I55)).
8. Asignar Evaluación al buscar en la matriz de 3/2015 la correlación de la calificación tecleada, con la nota correspondiente. Función: SI($K$51>=1;$C$5;SI($K$52>=1;$C$8;SI($K$53>=1;$C$17;SI($K$54>=1;$C$31;0))))

Pasos en la evaluación “con error ortográfico”

1. Correlacionar la evaluación posible de la matriz de 1/2009 con la calificación resultante sin errores ortográficos, teniendo en cuenta las variables Año de la carrera y “Número de errores ortográficos”. Función: SI('Entrada de datos'!$D$6=$O$51;(SI('Entrada de datos'!$D$8<=6;$P$49;SI('Entrada de datos'!$D$8<=8;4;SI('Entrada de datos'!$D$8<=10;3;2))));SI('Entrada de datos'!$D$6=$O52;(SI('Entrada de datos'!$D$8<=4;$P$49;SI('Entrada de datos'!$D$8<=6;4;SI('Entrada de datos'!$D$8<=8;3;2))));SI('Entrada de datos'!$D$6=$O53;(SI('Entrada de datos'!$D$8<=4;$P$49;SI('Entrada de datos'!$D$8<=6;4;SI('Entrada de datos'!$D$8<=8;3;2))));SI('Entrada de datos'!$D$6=$O54;(SI('Entrada de datos'!$D$8<=3;$P$49;SI('Entrada de datos'!$D$8<=5;4;SI('Entrada de datos'!$D$8<=7;3;2))));SI('Entrada de datos'!$D$6=$O55;(SI('Entrada de datos'!$D$8<=2;$P$49;SI('Entrada de datos'!$D$8<=3;4;SI('Entrada de datos'!$D$8<=5;3;2))));SI('Entrada de datos'!$D$6=$O56;(SI('Entrada de datos'!$D$8<=2;$P$49;SI('Entrada de datos'!$D$8<=3;4;SI('Entrada de datos'!$D$8<=5;3;2))))))))))
2. Identificar datos incorrectos Función: SI(Y51=FALSO;"Incorrecto";Y51)

Se empleó la herramienta “proteger hoja de cálculo” de Excel, para proteger los contenidos, al intentar introducir información en celdas no permitidas, se genera un mensaje de violación de permisos. Se requiere de una contraseña para poder modificar el sistema.

La evaluación de los requisitos de: validez, confiabilidad, representatividad y factibilidad de ese instrumento mostró los siguientes resultados:

1. Se consideró válido al tener una sensibilidad, especificidad y valor predictivo positivo y negativo al 100%.
2. El instrumento mide solo lo que se propone medir. Se devolvió la palabra “Incorrecto”, al introducir datos no posibles.
3. Confiable al ser llenado por el mismo docente en fechas diferentes, o por diferentes jueces, el resultado siempre es el mismo. Esto ocurre en el 100% de los casos.
4. Es representativo, el instrumento incluye todos los parámetros necesarios declarado por los expertos consultados: año de la carrera, calificación y número de errores ortográficos.

5. Es factible, se automatizó en Microsoft Excel para cualquier versión del mismo, accesible a todos los usuarios que usen en su dispositivo el Microsoft.

6. Mediante procesos de revisión reiteradas, basados en el trabajo de los evaluadores y la prueba piloto con el examen final de 5to año de la carrera de medicina en la Facultad “Julio Trigo López”, durante el primer semestre del curso 2021-2022 en la asignatura Salud Pública, se logró una correlación del 100% entre los resultados de la evaluación del instrumento propuesto y las de la tabla de decisión para ambas instrucciones.

Discusión

La evaluación es un componente importante del sistema didáctico, responde a los objetivos que se trazan en las asignaturas por lo que es una vía importante del conocimiento.

Se distingue entre evaluar y calificar. De acuerdo con la Real Academia de la lengua Española, el primer término se define como “estimar, apreciar, calcular el valor de algo, mientras que calificar es “juzgar el grado de suficiencia o insuficiencia demostrados por un alumno u opositor en un examen o ejercicio”. Así mismo se define calificación como “puntación obtenida en un examen o en cualquier tipo de prueba” ⁹, por tanto, la calificación forma parte de la evaluación.

El artículo 158 de la resolución 2/2018. Reglamento para el Trabajo Docente- Metodológico, plantea “la calificación, es el resultado de las distintas formas de evaluación del aprendizaje y se expresa en las categorías: excelente= 5, bien= 4, regular= 3 y mal= 2”. ¹⁰

En relación a lo expuesto, en esta investigación, el instrumento propuesto distingue la calificación como el proceso intermedio y la evaluación como el resultado final, en esta última se conjugan las calificaciones por tipo de pregunta (tres, cinco y siete), el año que cursa el alumno y los errores ortográficos que pueda cometer.

La literatura revisada coincide que los atributos, requerimientos o propiedades que debe reunir un buen instrumento son: validez, confiabilidad, capacidad de discriminación, utilidad, factibilidad, sencillez y sensibilidad, entre otros. ^7),(8). En el instrumento presentado se consideraron: la validez, confiabilidad, representatividad y factibilidad.

La definición y análisis para los términos fue la siguiente:

• Validez: grado en que un instrumento mide lo que supone debe medir, para ello consideramos la sensibilidad, especificidad, valor predictivo positivo y negativo, en su máxima expresión es decir que todos midieran un 100%. Estos parámetros se cumplieron a través de un proceso interactivo de ensayo y error hasta que se logró el valor deseado. Se devolvió la palabra “Incorrecto”, al introducir datos no posibles.
  1. Sensibilidad: proporción de verdaderos positivos correctamente identificados por el nuevo test del total de positivos que clasificados según el estándar de referencia.
  2. Especificidad: proporción de verdaderos negativos correctamente identificados por el nuevo test del total de negativos que clasificados según el estándar de referencia.
• Confiabilidad (o consistencia): propiedad de mostrar resultados similares en repetidas mediciones, o en la precisión con que este realiza la medición en una población determinada y en las condiciones normales de aplicación. Al ser llenado por el mismo docente en fechas diferentes, o por distintos jueces, el resultado es siempre es el mismo. Esto ocurre en el 100%de los casos.
• Representatividad, el instrumento incluye todos los parámetros necesarios declarado. En este caso: año de la carrera, calificación y número de errores ortográficos.
• Factibilidad: que se pueda hacer con los recursos disponibles, que utilice poco peso para ser trasportado. Se automatizó en Microsoft Excel para cualquier versión del mismo, accesible a todos los usuarios que usen en su dispositivo el Microsoft y con un peso menor a 80kb.

Aplicar las tablas de decisión para los exámenes de 5 y 7 preguntas en los exámenes finales de las carreras, resulta laborioso y complejo y especialmente las de 7 preguntas, al sumarse otras evaluaciones cualitativas que conforman la evaluación final del alumno. Excel posibilita utilizar múltiples funciones que con un nivel intermedio de conocimiento puede solucionar el problema planteado, la función SI por ejemplo permite realizar hasta 64 anidaciones.

El instrumento propuesto utiliza alrededor de diez funciones que de manera combinada permitieron obtener los resultados propuestos, con buena satisfacción de los docentes que la utilizaron.

Es un hecho que la tecnología es una necesidad, existen numerosos ejemplos de su aplicación a las ciencias y en particular a las ciencias de la educación, los sistemas automatizados han mostrado su utilidad para la gestión de datos ^11),(12. El instrumento que se propone facilita el trabajo de los docentes al momento de efectuar las evaluaciones, evita los errores que se cometen en la evaluación manual, dada la complejidad de las múltiples combinaciones posibles. Solo es necesario disponer en su dispositivo el Microsoft Excel en cualquier versión, las funciones utilizadas son compatibles con versiones anteriores.

Un elemento a destacar es el ser un fichero ligero (70KB) factible de trasportar, además da la posibilidad de obtener las evaluaciones teniendo encuentra los errores ortográficos; rectifica las equivocaciones que puedan cometerse a la hora de digitar y los errores propios de documento señalados por Santander y colaboradores ⁽⁶

Presenta una interfaz amigable, efectiva que garantiza la agilidad en el proceso de la calificación.

Conclusiones

El instrumento en Excel propuesto es útil, confiable, de fácil uso y accesible; agiliza el proceso de evaluación para los profesores. Evita los errores que se cometen en la evaluación manual, dada la complejidad de las múltiples combinaciones posibles. Solo es necesario disponer de Microsoft Excel en cualquier versión.

Consideraciones éticas: Esta investigación fue evaluada y aprobada en la institución. No implica la aplicación de herramientas computacionales que deriven en litigios jurídicos por el uso indebido de patentes u otros tipos de programas no autorizados. Los resultados de este trabajo no constituyen fuente de lucro para los autores u otras personas y se aplicarán en beneficio de la calidad de la evaluación de la educación en carreras de ciencias de la salud.