METODOLOGÍA PARA LAS EVALUACIONES EXTERNAS A LAS ASIGNATURAS Y DISCIPLINAS.

AUTORES: M. Sc. Yolanda Rodríguez Rivero, Dr. Juan José Hernández Santana, M. Sc. Martha Martínez Rodríguez.AUTOR:  Belarmino Caro Vargas

CORREO ELECTRÓNICO: belcaro@col3.telecom.com.co

INSTITUCIÓN EDUCATIVA: Universidad de San Buenaventura (Medellín, Colombia)

Resumen

En el presente trabajo se establece una metodología para la realización de las evaluaciones externas a las asignaturas y disciplinas, como parte del Sistema de Evaluación de la Formación del Profesional, implantado en la Universidad Central “Marta Abreu” de Las Villas, Cuba, hace varios cursos.

Para el desarrollo del trabajo se emplearon diferentes técnicas de investigación con el objetivo de conocer las opiniones del claustro sobre el proceso de evaluación que se ha estado empleando y poder determinar los criterios fundamentales con los que se debe valorar la calidad de las asignaturas  y disciplinas, así como establecer quiénes deben integrar las comisiones de expertos y determinar la periodicidad con que deben realizarse las evaluaciones externas.

Introducción

En los últimos años, en diversos países de América Latina se vienen desarrollando políticas en el nivel de la Educación Superior, orientadas hacia dos grandes propósitos:

·        Mejorar la calidad de los procesos docente – educativo,

·        Lograr una mayor vinculación entre las universidades y la sociedad.

Así, la universidad en América Latina durante las últimas décadas ha cambiado su función social, pasando a ser una institución social intermedia comprometida con los problemas del desarrollo social y crecimiento económico[2]. Se hace necesario enfrentar la creciente y diversa demanda de estudios superiores con alto sentido igualitario, con una elevada calidad en función del cumplimiento cabal del encargo social que justifica la propia razón de ser de las universidades. Todo esto en un mundo cada vez más globalizado e interdependiente y en medio de carencia de recursos financieros y materiales. Es precisamente en este marco que la garantía y la validación de la calidad constituyen factores esenciales para la educación superior y, por ello, en los últimos años se están desarrollando intensas acciones e investigaciones por diferentes instituciones y gobiernos, relacionadas con el tema.

En la Universidad Central “Marta Abreu” de Las Villas se ha venido trabajando hace varios cursos, por perfeccionar el sistema de evaluación de la calidad de la formación del profesional y el mismo está orientado hacia un mejoramiento continuo de la calidad, al perfeccionamiento sistemático de la labor docente - metodológica en los colectivos y el proceso docente – educativo, en general; lo que no excluye su valor como instrumento de control del trabajo realizado en una determinada etapa y que sus resultados permitan el establecimiento de escalafones a diferentes niveles, aunque ambos objetivos son secundarios.

En este trabajo abordamos la temática dirigida a las evaluaciones externas que se realizan a las asignaturas y disciplinas, así como el proceso de auto evaluación que se efectúa por ambas instancias, ya que es en la impartición de las clases donde el colectivo de profesores y estudiantes desarrollan su actividad principal y deciden, en primera instancia, la calidad del proceso docente-educativo.

Entendemos por “auto evaluación” una autorreflexión que conlleva una actitud ética fundamental “que nunca nuestras palabras sean mejores que nuestros hechos” y por “evaluación externa” a una disciplina o asignatura entendemos aquella que es realizada por agentes externos a las mismas, que van desde la que realiza el jefe de la disciplina a algunas de las asignaturas incluidas en ésta, hasta las que realiza el Vicerrectorado Académico como parte del Sistema de Evaluación para la Formación del Profesional, pasando por las evaluaciones cruzadas que se realizan dentro de un mismo departamento entre diferentes disciplinas.

Este trabajo surge como una necesidad de perfeccionar el sistema de evaluación de la calidad de la formación del profesional como una vía para el mejoramiento continuo. Consecuentemente con este análisis nos planteamos lo siguiente:

Objetivo General:

Establecer una nueva metodología para realizar las evaluaciones externas a las asignaturas y disciplinas que:

·        refuerce el proceso de auto evaluación a partir de los indicadores de rendimiento,

·        promueva el debate permanente sobre la calidad,

·        contribuya al proceso de mejoramiento continuo en este nivel y

·        favorezca la preparación de expertos.

Objetivos Específicos:

1.      Conocer las opiniones del claustro sobre el proceso de evaluación que se realiza actualmente.

2.      Determinar los criterios fundamentales con los que se debe valorar la calidad de las asignaturas.

3.      Determinar la periodicidad con que debe realizarse las evaluaciones de las asignaturas y disciplinas.

4.      Establecer cómo deben estar integradas las comisiones de expertos responsabilizadas con las evaluaciones externas a las asignaturas y disciplinas.

5.      Diseñar una nueva metodología para la realización de las evaluaciones que contribuya al mejoramiento de la calidad de las asignaturas y disciplinas.

Fomentar una cultura en el claustro que permita a las comisiones de expertos desarrollar el proceso de evaluación conscientemente y con objetividad.

 

Desarrollo

La evaluación de la calidad en la Educación Superior. Algunos aspectos conceptuales.

Desde hace un tiempo los problemas de la Enseñanza Superior son analizados, cada vez más frecuentemente, en términos de su calidad. En estrecha relación con ella se plantea la cuestión de la evaluación de las actividades e instituciones de la enseñanza terciaria. Tal consenso existe en esta materia que una autoridad de la UNESCO pudo declarar que “todo el mundo está de acuerdo en que las reformas de las políticas deben buscar, en primer lugar, mejorar la calidad y la pertinencia de los sistemas de Educación Superior”. Agregando, más adelante: “Quizás lo que es nuevo es que cada vez más las personas y los gobiernos están conscientes de su importancia y sienten que debería establecerse un control permanente para permitir que las instituciones de Educación Superior puedan saber en cualquier momento si su acción es relevante y si su calidad está asegurada”. [10]

- ¿Qué se entiende por calidad y, de ahí en adelante, por control de calidad, en el contexto de la Enseñanza Superior?.

La literatura ofrece variadas respuestas y, por lo mismo, es ambigua en sus resultados.

Quienes aprecian la calidad de la Educación Superior desde el punto de vista de sus insumos (input) ponen énfasis en aspectos tales como el gasto por alumno, la selectividad en los procesos de admisión, las calificaciones de los académicos, sus remuneraciones, la relación alumno- profesor, los servicios estudiantiles, las inversiones de capital, los recursos bibliográficos y de equipamiento y, en general, la reputación académica de las instituciones. Desde este punto de vista la calidad de la Educación Superior resultaría de la existencia de los insumos necesarios, y de su adecuado uso y combinación, de modo que los establecimientos puedan alcanzar niveles de excelencia en su operación y funciones. [3]

En cambio, quienes en este contexto se hallan preocupados por apreciar la calidad desde el punto de vista de los resultados (output) tienden, más bien, a enfatizar aspectos de producto, en particular su adaptación a ciertos estándares u objetivos, o sea en el plano de la docencia, la investigación, los servicios prestados a la comunidad, la administración institucional. [3]

Desde este último punto de vista suele emplearse una definición más bien pragmática de calidad, que consiste en decir: ella existe en la medida en que se logran las metas fijadas. Bajo este ángulo de apreciación suelen confundirse calidad de insumos con medida de eficiencia interna y calidad de resultados con eficiencia externa de las instituciones de Educación Superior. Sin embargo, eficiencia no es lo mismo que calidad aunque cabría suponer que esta incluye a aquella.

Para quienes usan el modelo de insumos y productos, resulta normal apreciar además una tercera dimensión de la calidad de la Educación Superior como es la de los procesos involucrados que, usando dichos insumos, buscan producir los procesos esperados. Los procesos pertinentes tienen que ver básicamente con los aspectos de organización y administración de las tareas principales de cualquier institución de Educación Superior, tales como la estructuración de los cursos o las carreras, la comunicación y el aprendizaje de contenidos o valores, el manejo financiero del establecimiento, el clima organizacional, etc.  [3]

Del concepto mismo de calidad aplicado a la actividad académica, a pesar de ser un término muy utilizado por cuantos se relacionan con la enseñanza, no se ha podido establecer con precisión una definición de la que puedan derivarse estrategias útiles para su evaluación, y mucho menos que suscite un adecuado consenso en sectores amplios del mundo universitario.

Si se trata de proponer una definición en el sentido amplio, el consenso puede alcanzarse más fácilmente, pero aumentará la dificultad para basar en ella una estrategia de evaluación. Sirva como ejemplo la siguiente: “Una enseñanza es de tanta más calidad en la medida en que sea mayor su contribución al desarrollo personal de los estudiantes y, a través de ellos, al bienestar social”. [1]

El problema surge con la dificultad de evaluar cuál es la contribución de la institución al desarrollo personal y al bienestar social, aislándola de otros factores, sociales y personales de los estudiantes y de contexto, así como al tratar de poner en relación los logros con los medios utilizados para alcanzarlos.

Una definición algo más concreta puede ser la siguiente: “La enseñanza es de calidad en la medida en que se logran los objetivos previstos y estos son adecuados a las necesidades de la sociedad y de los individuos que se benefician en ella”.

Esta definición plantea dos problemas a la hora de intentar evaluar o controlar la calidad de la enseñanza:

Existen diversas acepciones del término calidad, lo que lleva, por necesidad, a adoptar un conjunto disperso de medidas cuando se trata de proponer acciones para “mejorar la calidad” de la Educación Superior. Según se señala en un balance de lo ocurrido en la Enseñanza Superior europea durante los años ochenta: “se ha enfatizado ampliamente la necesidad de mejorar la calidad de la Educación Superior. Sin embargo, las propuestas formuladas y las acciones ejecutadas en nombre de ese mejoramiento han sido extraordinariamente diversas y varían de país en país: reformas de la enseñanza media y de los requisitos de admisión al nivel superior, diversificación de los establecimientos y programas, estímulo a la competencia entre instituciones, adopción o ampliación de programas focalizados de promoción de la investigación, minuciosas reestructuraciones de los requisitos de cursos y exámenes, iniciación de nuevos programas de postgrado, etc.”. [4]

Lo dicho hasta aquí nos lleva a analizar dos aspectos que deben tenerse en cuenta para poder enfocar adecuadamente el debate sobre la calidad de la Enseñanza Superior:

El primero de estos aspectos está relacionado con los actores involucrados en el campo de debate en torno a la calidad de la Educación Superior. Es evidente que los más directamente comprometidos –aunque no necesariamente los más interesados- son los propios académicos y las autoridades institucionales, ya que son ellos los primeros afectados por cualquier juicio de calidad, sea que éste se adopte por otras instancias, internas o externas.

El hecho de que la profesión académica sea altamente fragmentada en sus prácticas y dé  lugar en cada disciplina o especialidad a una variedad de grupos, cada uno de los cuales desarrolla una peculiar cultura grupal, supone que también sus perspectivas para abordar las cuestiones de la calidad y el control de calidad tenderán a ser múltiples, variando de grupo en grupo. Frecuentemente esa diversidad de enfoques se expresa como diferentes percepciones y modalidades de comprender la calidad de la investigación, la enseñanza, la administración institucional o los servicios prestados a la comunidad. Suele observarse, por ejemplo, que las percepciones en torno a las cuestiones de calidad o de los métodos de evaluación difieran sistemáticamente entre incumbentes de posiciones académicas y contendientes, o entre facultades grandes y pequeñas, o entre departamentos de servicio y de carreras, etc.

Por su lado, los estudiantes, que en última instancia, son los principales favorecidos o perjudicados por los variables grados de calidad de la Educación Superior, juegan en la mayoría de los centros un rol solo secundario en la determinación de la “agenda de la calidad” y en las acciones que se emprenden para su mejoramiento.

En suma, los actores que participan en el campo de fuerzas donde se define la “agenda de calidad” de la Enseñanza Superior –y los medios para implementarla y evaluar logros en dicho ámbito- son variados y poseen diferentes expectativas, a veces contradictorias entre sí, todo lo cual viene a complicar aún más una materia de por sí compleja.

El otro aspecto está referido a los distintos contextos nacionales en que se debaten las cuestiones relativas a la calidad de la Enseñanza Superior.

En efecto, cada sociedad – de acuerdo a sus tradiciones culturales, el modo de desarrollar y organizar su sistema de Educación Superior, creencias, valores y manera de estructuración de su economía y del Estado- posee también aproximaciones específicas hacia el tema de la calidad de la Enseñanza Superior y hacia las maneras adecuadas para ejercer su control o promover su mejoramiento.

En lo que señalamos como Método, nos referimos a ¿cómo se desarrolla el proceso de evaluación?. Y, al revisar la literatura, se observa que lo que está en la preferencia de los formuladores políticos es la de mecanismos evaluativos que favorezcan la autorregulación de los sistemas y por eso se conciben como sistemas que deben estructurarse de abajo hacia arriba, descansando en el auto examen como pieza fundamental de todo el diseño.

Ese auto examen al nivel de las instituciones involucra a su vez a los departamentos, facultades o al establecimiento considerado globalmente.

La evaluación de la calidad constituye un ciclo, donde se definirán los procedimientos y etapas organizativas que permiten cumplir los objetivos.

En la figura se muestra dicho ciclo de evaluación, donde esquemáticamente se representa la relación existente entre la auto evaluación y evaluación de expertos.

Este ciclo se reproducirá sistemáticamente y con la frecuencia que demanda las necesidades de mejoramiento de la calidad de cada colectivo.

Como puede apreciarse, cada institución o colectivo realiza su autoevaluación y con ello elabora un informe donde se deben señalar las principales deficiencias detectadas y trazar estrategias para el mejoramiento, luego una evaluación exterior enjuicia la calidad sobre la base del autoexamen realizado y además con sus propias apreciaciones, confeccionando finalmente un informe que debe concluir al mejoramiento de la calidad.

Por último los plazos son definidos en función de si la evaluación está destinada a avalar programas o instituciones en su apertura o su desarrollo; siendo este último nuestro caso.

 

 

 

El método de la evaluación.

El Método nos refiere ¿cómo se desarrollará el proceso de evaluación? y que este aspecto es ampliamente debatido en la literatura, pero la mayor parte se inclina hacia mecanismos evaluativos que se estructuren de abajo hacia arriba y tengan como base un autoexamen o autocontrol.

Lo que nos lleva a plantear que el proceso de evaluación comunmente  comprende tres etapas:

·        La autoevaluación (autoestudio).

·        La evaluacion externa.

·        El informe final (preparación, discusión y difusión).

La autoevaluación conlleva una actitud ética fundamental: “Que nunca nuestras palabras sean mejores que nuestros hechos”. Los sistema de evaluación, institucionales o de programas, y los sistemas de garantía de calidad, tienen como piedra angular la autoevaluación. Normalmente, la autoevaluación es realizada por comités de especialistas nombrados por la propia unidad académica que realizan su tarea mediante guías o protocolos previamente definidos por equipos de especialistas. Dichos comités coordinan la recopilación de la información, la elaboración de indicadores de desempeño, el análisis de los mismos y la elaboración de un Informe de Autoevaluación (o evaluación interna). [3]

 

En la evaluación externa, un equipo de especialistas externos, ajenos a la unidad académica evaluada, revisa el Informe de Autoevaluación. Normalmente, realiza una visita a la unidad académica y prepara un informe final. [3]

Generalmente, el Informe Final (de síntesis) es discutido por un organismo independiente, cuyas decisiones influyen en la asignación de recursos, el reconocimiento académico de las unidades evaluadas, o la acreditación de los programas evaluados.

Para tal efecto los procesos de evaluación son concebidos como procesos que deben estructurarse de abajo hacia arriba, descansando sobre la autoevaluación o el autoexamen como pieza fundamental de todo el diseño. [8]

El autoexamen al nivel de las instituciones puede involucrar, a su vez, a los departamentos, facultades o el establecimiento considerado globalmente.  Supone procesos internos de revisión por pares, la generación regular de información y la construcción de indicadores de medición.  Las evaluaciones externas tienden siempre a descansar en procesos de revisión por pares, única manera de asegurar la debida autonomía de las instituciones y de garantizar que el control de calidad será hecho, aunque no sea exclusivamente sobre la base de los estándares de la propia comunidad académica.  De esta forma, se preserva además la independencia profesional de la academia. [10]

Para evaluar cada uno de los componentes de calidad antes definidos se utilizan indicadores de calidad. No existe un total acuerdo en la definición del indicador, ni tampoco en los indicadores más adecuados, aunque se acepten algunos de manera más generalizadas que otros.

Un sistema de indicadores capaz de ofrecer una visión completa y rigurosa de la calidad de la enseñanza debería incluir:

·        Indicadores cuantitativos y también cualitativos.

·        Indicadores de resultados y también de procesos.

Lamentablemente, existen aún escasos trabajos de investigación capaces de establecer, en forma cuantitativa, relaciones entre determinados indicadores o agrupaciones de ellos y la calidad de la enseñanza, por lo cual, a la hora de establecer un sistema de indicadores para evaluarla, será preciso formular hipótesis razonables y buscar el máximo de consenso entre los implicados en el proceso de evaluación. [1]

Según Martín [7], deben tenerse en cuenta la organización y la calidad de los centros, desde la perspectiva de quién interviene en la evaluación y desde qué posición, señalando que la evaluación más  sencilla y conocida está dada por:

·        Evaluación  interna, realizada desde el propio centro, por los mismos profesores, equipo directivo, coordinadores y departamentos.

·        Evaluación externa, realizada desde fuera del centro sin la participación directa del mismo como generador de la información.

·        Evaluación mixta, cuando desde diseños externos o compartidos con los miembros del centro, se desarrollan conjuntamente en el ámbito en el que se realiza el trabajo, y cuya interpretación y valoración final vuelve a correr a cargo de los diseñadores y, según el caso, de alguno de los miembros del centro.

Así, se plantea como objetivos de las evaluaciones internas:

·        Mejorar su organización y funcionamiento.

·        Favorecer las iniciativas de evaluación de los profesores.

·        Desarrollar mecanismos estables de evaluación.

·        Validar técnicas e instrumentos de análisis apropiados.

Y como objetivos de  las evaluaciones externas:

·        Conocer la situación de partida.

·        Proponer un modelo de desarrollo.

·        Detectar dificultades de realización.

·        Reflejar elementos positivos de funcionamiento.

·        Regular el proceso de desarrollo.

·        Conocer los resultados obtenidos.

·        Valorar los resultados.

·        Replantear la actividad del centro en todo lo necesario.

En el caso que estudiamos se combina la autoevaluación con una evaluación por pares y se utilizan indicadores de rendimiento para evaluar la calidad de asignatura y disciplinas. La evaluación de la formación del profesional en la UCLV.

En el año 1996 un grupo de directivos e investigadores de la Universidad Central "Marta Abreu" de Las Villas (UCLV), partiendo de la tradición de trabajo didáctico del claustro, la competencia de sus directivos académicos y la valoración de experiencias en el centro en la evaluación de programas de postgrado encabezó un movimiento dirigido a profundizar en el papel de la evaluación en el mejoramiento continuo de la calidad del futuro profesional. Al evaluar la situación de la Universidad en este campo [5], se reconocieron los problemas siguientes:

·        No existe una cultura de la evaluación en el claustro y alumnos, lo que impide su participación activa y consciente en el proceso.

·        La evaluación no está dirigida intencionalmente a la mejora, por lo que la auto evaluación no constituye un resorte de continuo cuestionamiento de la calidad.

·        Las demandas de la evaluación no corresponden plenamente a las exigencias de los contextos socio- educativos.

·        Prima el interés de la evaluación de los resultados por encima del proceso, sin existir, organizada y coherentemente, un diagnóstico del estado inicial del objeto.

·        Los criterios e indicadores bases de las evaluaciones como regla no son coherentes, ni consensuados, son poco flexibles y  prima lo cuantitativo.

·        No hay una concepción de sistema que aborde la evaluación integralmente como un todo y en sus partes.

A partir de estas conclusiones, con un fuerte carácter aplicado, se creó un grupo de investigación sobre el tema que, organizado en diferentes proyectos, comenzó a estudiar y encontrar respuestas al problema planteado; proyecto que posteriormente resultó aprobado dentro del Programa Ramal de Investigaciones Pedagógicas del Ministerio de Educación Superior. [6] En el plano de la gestión institucional se organizó el Sistema de Evaluación de la Formación del Profesional (SEFP), que resume en un cuerpo coherente las principales direcciones del trabajo científico.

El objetivo principal del SEFP es “lograr a través de la evaluación un mejoramiento continuo de la calidad del profesional y el perfeccionamiento sistemático del proceso docente educativo” y más concretamente:

·        Fortalecer el papel y funcionamiento de los niveles organizativos del proceso docente en el centro y sus colectivos.

·        Lograr una alta implicación de profesores y estudiantes en el proceso de mejora de la calidad.

·        Preparar al centro y sus programas para evaluaciones externas y posibles procesos de acreditación.

·        Establecer una metodología y procedimientos dirigidos a fomentar la cultura de la evaluación en profesores y estudiantes.

·        Diseñar un modelo teórico de evaluación de la formación del profesional, dirigido a la mejora y centrado en el proceso.

·        Diseñar la metodología de evaluación de los diferentes procesos y niveles y montaje de los procedimientos de evaluación por pares y divulgación de los resultados.

Los niveles objeto de la evaluación son la Carrera, el Año (Proyecto Educativo), la Disciplina, la Asignatura, la Clase y el Departamento. Además se distinguen los procedimientos de evaluación del estudiante al ingresar, durante el proceso de formación y como graduado.

El SEFP está orientado principalmente al mejoramiento continuo de la calidad, al perfeccionamiento  sistemático de la labor docente - metodológica en los colectivos y del proceso docente- educativo en general. Como el objetivo principal es el perfeccionamiento continuo de la formación del estudiante y esta formación es multilateral y sistémica, se requiere imprescindiblemente la implicación y comprometimiento de los actores fundamentales de este proceso los profesores y los estudiantes. 

El método empleado parte de la auto evaluación de cada colectivo y la posterior validación de ésta por evaluaciones externas. La base de la evaluación la constituyen criterios o estándares de calidad que para los componentes del proceso se adoptan por consenso, de ahí su carácter compartido, flexible y transitorio.

El procedimiento para medir la calidad en cada nivel y colectivo combina el empleo de indicadores de rendimiento con la evaluación por pares o expertos. De esta forma se busca aprovechar las ventajas de ambos métodos y reducir sus limitaciones.

Al estar dirigido el SEFP al mejoramiento continuo, evalúa procesos en desarrollo, donde se puedan medir simultáneamente los resultados alcanzados en el cumplimiento de los objetivos con variables de entrada y de proceso; con énfasis en estos últimos por su elevado peso en las posibilidades de producir un cambio favorable.

 

Análisis de la aplicación del Sistema de Evaluación para la Formación del Profesional en la Universidad Central “Marta Abreu” de Las Villas.

Desde hace varios cursos se está aplicando en la UCLV un procedimiento para la evaluación de asignaturas y disciplinas como parte del Sistema de Evaluación para la Formación del Profesional (SEFP). Este procedimiento comienza por el análisis de la AUTOEVALUACIÓN que es presentada por los colectivos de disciplina, para lo que se efectúa una reunión con el Jefe de disciplina, donde este expone la AUTOEVALUACION y sus consideraciones generales sobre el trabajo. En este momento se deciden las asignaturas a evaluar, así como el cronograma de trabajo.

Este procedimiento se reitera en los colectivos de asignaturas, donde el jefe de colectivo presenta la AUTOEVALUACION de la misma y la documentación solicitada por el evaluador y expone sus criterios sobre el trabajo realizado.

Durante el proceso de evaluación se realizan acciones de comprobación y validación de la auto evaluación, para lo que se efectúan reuniones con los grupos de estudiantes, se aplican encuestas y se entrevistan docentes que integran el colectivo de la asignatura objeto de evaluación; se intercambian criterios con otros evaluadores (de años, carrera, etc.); se realizan controles a clases y el evaluador participa en actividades metodológicas planificadas por los colectivos de disciplina y asignatura.

Antes de presentar el informe con las conclusiones de la evaluación, los evaluadores se reúnen con los integrantes del colectivo para valorar la forma en que se planifica, ejecuta, controla y evalúa el cumplimiento de los objetivos. Debemos resaltar que ésta evaluación se basa fundamentalmente en el análisis exhaustivo de la AUTOEVALUACION.

Representaciones del claustro sobre el procedimiento de evaluación.

Con el propósito de valorar el procedimiento que se ha estado empleando hasta el curso 1998-99 en la Universidad Central “Marta Abreu” de Las Villas para realizar la evaluación de las asignaturas y disciplinas como parte del Sistema de Evaluación de la Formación del Profesional, se emplearon diferentes técnicas para conocer las opiniones del claustro:

1.      Entrevistas a profesores de mayor experiencia en el trabajo docente.

2.      Análisis de documentos e informes de los diferentes colectivos departamentales.

Conclusiones críticas sobre el procedimiento empleado para las evaluaciones externas de asignaturas y disciplinas.

Como conclusiones de esta primera etapa de nuestro trabajo, podemos plantear lo siguiente:

- aspectos negativos.

·        La guía para el desarrollo de las evaluaciones externas es algo extensa y en la misma se comienza por un análisis detallado de la auto evaluación presentada por los colectivos de asignaturas y disciplinas.

·        Para evaluar el funcionamiento se valora la correspondencia de la auto evaluación con el proceso y el resultado de las asignaturas y se analiza la puntuación que se otorgó el colectivo en los diferentes ítems que se piden en la guía de auto evaluación.

·        La valoración de los diferentes indicadores de rendimiento es cuantitativa.

·        El procedimiento utilizado no logra que los colectivos de asignaturas y disciplinas realicen un análisis objetivo de su trabajo, pues las deficiencias reflejadas en la auto evaluación son tomadas en cuenta por el evaluador para otorgar la calificación final de la asignatura o disciplina.

·        La frecuencia con que se realizan las evaluaciones externas no es adecuada, ya que no permite, en ocasiones, eliminar las deficiencias detectadas. La evaluación a un mismo colectivo no debe repetirse en un plazo menor de dos cursos, aunque esto debe estar en correspondencia con las demandas de las necesidades de cada uno.

·        El informe final es muy extenso y también comienza por reflejar la calificación de la auto evaluación. Este debe ser algo más concreto y donde se reflejen las deficiencias detectadas y se realice una valoración del plan de desarrollo metodológico propuesto por los colectivos de asignaturas y disciplinas.

·        La selección de los expertos no se realiza adecuadamente, ya que, en ocasiones, han participado como evaluadores profesores que, aunque poseen categorías docentes principales y reconocido prestigio, no son especialistas en la ciencia específica de la disciplina objeto de evaluación, por lo que el contenido técnico no se valora de forma objetiva.

·        No ha existido una preparación previa a los expertos que les posibilite apropiarse adecuadamente de los objetivos, alcance y procedimiento de la evaluación, ya que partían solamente de la información recibida en el momento de iniciar la evaluación externa.

·        Se realizan controles a clases, pero en la mayoría de los casos no se toman en consideración las tres dimensiones que recogen los criterios relacionados con la comunicación, proyección socio-cultural y proyección didáctico-tecnológica.

-         Aspectos positivos.

·        El procedimiento valora la calidad de la documentación, aspecto esencial para garantizar el buen funcionamiento de los colectivos; constituyendo una revisión permanente de los planes de trabajo metodológicos, programas analíticos, planes calendario y sistema de evaluación.

·        Se realizan reuniones con los colectivos estudiantiles para así recoger los criterios que ellos poseen sobre la calidad de la impartición de las asignaturas.

·        Se efectúan reuniones con los jefes de disciplinas y asignaturas para conocer las consideraciones generales que éstos poseen sobre el trabajo desarrollado en ambas instancias.

·        En el caso de las disciplinas que conforman las ciencias básicas, los expertos han sido siempre especialistas del mismo departamento al que responden las disciplinas objeto de evaluación.

·        Se efectúan intercambios entre los evaluadores (de los colectivos de año, carrera, etc.) para así tener mayor claridad sobre la marcha de proceso docente educativo y poder valorar cómo se inserta la asignatura en el Proyecto Educativo.

Ante estos resultados se hace imprescindible diseñar un nuevo procedimiento para la realización de las evaluaciones de asignaturas y disciplinas que eliminen estas deficiencias, tenga en cuenta los aspectos positivos y estén encaminadas a promover el perfeccionamiento del trabajo metodológico.

 

 

Nuevo procedimiento para las evaluaciones de asignaturas y disciplinas.

Realizamos un análisis de las informaciones recopiladas en la tercera etapa de nuestro diseño de investigación y nos propusimos elaborar una nueva metodología para las evaluaciones externas a las asignaturas y disciplinas; para lo que trabajamos sobre los aspectos que más inciden en la misma y estos son:

·        Selección y Preparación de Expertos: Los expertos que participarán en las evaluaciones externas serán especialistas en las disciplinas objetos de evaluación, así como representantes del Centro de Estudios de Educación Superior, y para garantizar el cumplimiento de este aspecto, se crearon las comisiones de expertos con suficiente tiempo de antelación a la fecha de evaluación y se informaron a las facultades y departamentos respectivos para que se creen las condiciones que faciliten el trabajo del mismo.

En caso que sea necesario, se solicitará a otros Centros de Educación Superior, el apoyo en la participación de expertos para realizar las evaluaciones externas.

Las comisiones de expertos que participarán en las evaluaciones externas recibirán una preparación previa, donde se les entregará la guía para confeccionar el informe y se le darán todas las instrucciones necesarias para que el proceso de evaluación se realice de manera uniforme, consciente y objetiva y se les aclararán todos los aspectos que sean objetos de análisis en dicho proceso.  Esto será organizado por una comisión creada por el Vicerrectorado Académico.

·        Frecuencia y Duración.

Con respecto a la frecuencia con que se realicen las evaluaciones externas, esto estará en dependencia de las necesidades del área, con el objetivo de que las deficiencias detectadas en las evaluaciones externas puedan ser erradicadas.  No obstante, esta frecuencia a la que hacemos referencia, es a la evaluación realizada por el V.R.A., pero el departamento y facultad puede organizar sus propias evaluaciones externas según el criterio de los decanos, jefes de departamentos y jefes de disciplinas, con el objetivo de conocer como marcha el proceso en esas instancias.

La duración del proceso de evaluación debe permitir realizar una “evaluación integral” donde se evalúen a la vez las disciplinas, los años y la carrera, por lo que recomendamos una duración promedio de una semana y además es importante que las direcciones de departamento y facultad le concedan a esta actividad la importancia que la misma requiere, posibilitando que los expertos que participan en la misma sean liberados durante ese tiempo de alguna de las actividades que puedan limitar su participación eficiente en este proceso.

·      Desarrollo.

Con respecto al desarrollo del procedimiento de evaluación nos podemos referir a dos aspectos que son:

-       Guía para las evaluaciones externas de asignaturas y disciplinas.

-       Reuniones colectivas.

Este procedimiento se basa en un análisis de la documentación, de la calidad del proceso docente educativo desarrollado; de los recursos de que se dispone; de los resultados alcanzados y de una valoración del proceso de análisis semestral.

La valoración de cada uno de los indicadores se realizará de la siguiente forma:

1.    Documentación: Se solicita al Jefe de Colectivo el Programa analítico de la asignatura, el Sistema de Evaluación, Plan Calendario, Registro de Control de Asistencia y Evaluaciones y el Análisis Semestral; estos documentos son revisados para constatar si cumplen con las resoluciones vigentes y las orientaciones dadas por la dirección del ministerio, del centro, de la facultad y el departamento.

2.    Procesos: Se toman en cuenta los objetivos, su formulación y correspondencia con los de la disciplina y el año, haciendo especial énfasis en los objetivos educativos.  Se analiza la correspondencia del Sistema de Evaluación con los objetivos formulados, ya que éste es un aspecto medular en el desarrollo del proceso docente-educativo.  Como podemos apreciar se miden en este procedimiento los aspectos centrales del proceso, a diferencia de la metodología que se había estado utilizando hasta el segundo semestre del curso 98-99, en la que se incluían dentro del proceso la correspondencia de los métodos de enseñanza con los objetivos y contenidos de la asignatura y el balance existente entre el componente académico, laboral e investigativo y que ahora son valorados solamente por el propio colectivo en su auto evaluación y controlados por la dirección del departamento.

3.    Recursos: Se mide algo esencial: la situación bibliográfica.  En dicho análisis no se constata si existen los textos básicos en la proporción adecuada, sino, fundamentalmente, las vías alternativas que emplea el colectivo para resolver las dificultades bibliográficas, es decir, el uso de las redes de computación y otros medios para brindar información, guías y materiales elaborados por los profesores.

4.    Resultados:  Se valoran no solamente a partir de cómo ha sido la calidad de acuerdo a la promoción histórica, sino el análisis objetivo de estos resultados, así como los criterios estudiantiles y la calidad de los controles a clases, en los cuales deben valorarse las tres dimensiones.

Estos indicadores de rendimiento son valorados por los evaluadores externos sin tomar en cuenta en su análisis los resultados de la auto evaluación realizada por los colectivos sino que se realiza una valoración del Análisis Semestral, que debe haber sido elaborado sobre la base de la auto evaluación y mide, fundamentalmente, si se lograron determinar objetivamente todas las deficiencias de la asignatura y si se elaboró un plan de desarrollo metodológico con acciones concretas para resolver las deficiencias detectadas.  En este último aspecto es donde radica la diferencia fundamental entre la nueva metodología de evaluación propuesta y la que se venía aplicando en el centro, al no dársele el mayor peso en la calificación de la asignatura a las deficiencias detectadas por el propio colectivo, sino a las acciones que éste emprende para eliminarlas; propiciándose de esta forma que no exista temor, al realizar la auto evaluación, en señalar deficiencias pues no conllevan a una  mala calificación por parte de los evaluadores externos. En el caso que la auto evaluación no refleje determinadas deficiencias que sean detectadas por el evaluador, esto su conlleva a una mala calificación en la evaluación por no haberse realizado un análisis objetivo en el colectivo.

El análisis de la auto evaluación no se realiza de una manera exhaustiva, sino que se mide la objetividad con que se emplea esta guía por parte del colectivo, siendo su objetivo fundamental promover la mejora continua en la calidad de las asignaturas y disciplinas y que este procedimiento se convierta en un instrumento de trabajo en los departamentos, tal y como se plantea en la hipótesis de nuestra investigación.

·        Reuniones Colectivas.

En el procedimiento a seguir para el desarrollo de las evaluaciones son de gran importancia las  reuniones que deben efectuarse con los siguientes colectivos:

1.      Reunión con el Colectivo de la Disciplina.  Estas reuniones se efectuarán en dos momentos diferentes que son:

-         Reunión inicial de presentación, donde se dará a conocer el cronograma de las diferentes actividades asociadas al proceso, así como se solicitará la información requerida por parte de los evaluadores externos y se intercambiarán criterios.

-         Reunión de conclusiones, en la que se otorga una calificación, se hará un resumen por parte de los expertos que han evaluado la disciplina, en el que se  dará a conocer los logros y deficiencias que se detectaron en el desarrollo del proceso de evaluación de las diferentes asignaturas, así como el resultado del funcionamiento del colectivo disciplinario.

2.      Reuniones con los estudiantes.

Se reunirán los evaluadores de año y disciplina con los grupos estudiantiles con el objetivo de realizar un diálogo abierto con los estudiantes y así recoger los criterios que los mismos poseen sobre la marcha del proceso docente-educativo. En dichas reuniones se deben recoger las opiniones que los estudiantes tienen de la asignatura que se evalúa.  Debemos tener en cuenta que se pueden aplicar encuestas previas a las reuniones, por lo que en el intercambio con los estudiantes no se deben agobiar a los mismos con la solicitud de informaciones que ya fueron recogidas en las encuestas.

3.      Reunión de intercambio con los evaluadores de año y carrera.

Esta reunión se efectuará al finalizar las evaluaciones de años, carrera y disciplinas y en la misma se intercambiarán criterios entre los evaluadores de las diferentes instancias para así valorar con mayor objetividad la marcha del proceso docente-educativo.

·        Informe de los evaluadores externos. Publicación de los resultados.

El informe presentado por los evaluadores externos debe ser concreto y para la confección del mismo debe basarse en la guía que se muestra seguidamente.

La calificación otorgada debe ser cualitativa y se señalarán las principales deficiencias detectadas en la valoración de los diferentes indicadores.

Es importante realizar una valoración objetiva sobre el proceso de análisis semestral desarrollado por los colectivos de asignaturas y disciplinas y un análisis profundo del Plan de Desarrollo metodológico confeccionado por dichos colectivos, los que deben estar enfocados a solucionar las deficiencias detectadas en la auto evaluación.

Finalmente se presentarán las conclusiones y recomendaciones por parte del evaluador y se otorgará una calificación a la asignatura.

Los resultados de las evaluaciones a las asignaturas y disciplinas se darán a los jefes de ambos colectivos y se aclararán las dudas que al respecto se puedan presentar.

Posteriormente los resultados de la “evaluación integral” realizada a los años, carreras y disciplina se darán a conocer a todos el claustro de profesores de la facultad en una reunión de conclusiones donde asistirán todos los docentes y que estará presidida por el Vicerrector Académico.

En dicho claustro se darán a conocer las calificaciones otorgadas a las asignaturas, disciplinas, años y carrera y se señalarán las deficiencias detectadas en cada instancia evaluada, así como las recomendaciones para perfeccionar el trabajo docente-metodológico.

 

Guía para confeccionar el Informe Final.

Disciplina: ____________________   Asignatura: ______________________

1.                  Calificación otorgada a la calidad de los siguientes aspectos.

Documentación            _____

Proceso                       _____

Recursos                      _____

Resultados                   _____

2.                  Principales deficiencias detectadas por cada aspecto.

3.                  Valoración sobre el proceso de Análisis Semestral desarrollado.

4.                  Valoración sobre el Plan de Desarrollo Metodológico confeccionado y su correspondencia con la Auto evaluación.

5.                  Conclusiones y recomendaciones.

6.                  Calificación global de la asignatura.

La Evaluación de la Disciplina se realizará teniendo en cuenta los siguientes aspectos:

1.                    Resultado de las evaluaciones de las asignaturas que conforman la misma.

2.                    Análisis del funcionamiento del colectivo, donde se tiene en cuenta:

·                                   Plan de desarrollo metodológico

·                                   Plan de superación de los profesores

·                                   Cumplimiento y calidad de las actividades metodológicas planificadas.

        Evaluador: ________________  Firma: ___________    Fecha: ____________

 

·        Papel del Departamento.

Los resultados de las evaluaciones realizadas a las asignaturas y disciplinas deben ser analizados con profundidad por el colectivo departamental, para así proyectar la estrategia del trabajo metodológico hacia la mejora de la calidad de las disciplinas, sobre la base de las deficiencias detectadas en el proceso de evaluación.

Es importante que la dirección del departamento docente vele porque cada asignatura sea evaluada al menos una vez en el marco de dos cursos y en dependencia de los resultados se evalúe con mayor frecuencia, para lo que se sugiere las “evaluaciones cruzadas” entre las diferentes disciplinas que conforman el departamento, y así trabajar por el perfeccionamiento continuo de la calidad.

También se recomienda que se realicen estas evaluaciones bajo la dirección de la facultad entre los diferentes departamentos que conforman la misma.

El objetivo central de las Evaluaciones Externas es contribuir al proceso de mejora continua de la calidad de las asignaturas y disciplinas, así como de los años y carreras; por lo que al finalizar el proceso evaluativo, las direcciones de facultad, departamento y disciplina deben proyectar el Plan de Trabajo Metodológico hacia la erradicación de las deficiencias detectadas y proponerse metas cada vez más elevadas.

En el caso particular de las Ciencias Básicas, nuestro centro puede considerarse privilegiado, ya que los departamentos de Matemática, Física, Química, Computación, Idioma y Marxismo además de prestar servicios a las diferentes carreras, realizar trabajo metodológico en su conjunto en el desarrollo de las diferentes disciplinas que atienden, lo cual permite contar en el propio centro con expertos externos a estas disciplinas con amplio conocimiento de las mismas; y que forman un grupo de evaluadores externos, que participaron en el proceso de evaluación de manera estable.  Es oportuno señalar que en ocasiones esto ha conspirado contra el proceso de evaluación al precisar el sentido de pertenencia por encima del deber de evaluar con rigor el trabajo de los compañeros del mismo departamento.

Conclusiones

El procedimiento propuesto para la realización de las evaluaciones externas a las asignaturas y disciplinas:

1.      Refuerza el proceso de auto evaluación a partir de los indicadores de rendimiento, que fueron previamente consensuados por el claustro universitario.

2.      Permite el debate permanente sobre la calidad del proceso docente-educativo.

3.      Contribuye al proceso de mejora continua en el nivel de las asignaturas y disciplinas.

4.      Favorece la preparación de expertos, especialistas de reconocido prestigio en las disciplinas objeto de evaluación.

 

Bibliografía

1.      Aparicio Izquierdo F. Evaluación de la calidad de la enseñanza de ingenierías. Madrid, 1991.

2.      Ayorza E. H. Evaluación de la Educación Superior como estrategia para el cambio. El proceso de autoevaluación. Chile, 1994.

3.      Evaluación y Acreditación Universitaria. Metodología y Experiencias. Martínez E. y Letelier M. (editores). Venezuela: Nueva Sociedad. UNESCO, 1997.

4.      Gestión de la calidad y garantía de la calidad en la enseñanza superior europea. Comisión de Comunidades Europeas CCE. Bruselas, 1993.

5.      Hernández Santana J.J. Sistema de evaluación de la formación del profesional, una guía para el mejoramiento continuo de la calidad. Experiencias de la Universidad Central “Marta Abreu” de Las Villas. UCLV, 1996.

6.      La evaluación de la calidad de asignaturas y disciplinas. Programa Ramal de Investigaciones Pedagógicas en la Educación Superior, 1998.

7.      Martín M. Organización y Planificación Integral de Centros. Educación Infantil, Primaria y Secundaria. Madrid: Ed. Escuela Española, 1996.

8.      Organización y Planificación Integral de Centros. Madrid: Ed. Escuela Española, 1996.

9.      Reglamento de Inspección de la Educación Superior. (Evaluación Institucional) 2da. Edición. Resolución No. 166/97. La Habana, 1997.

10.  Rodríguez Díaz M.A. Tendencias y Retos de la Educación Superior: un enfoque global. UNESCO, 1991.

11.  UNESCO. Documento de política para el cambio y el desarrollo en la Educación Superior. París, 1995.

UNESCO. Nuevos contextos y perspectivas. Reunión internacional de reflexión sobre los nuevos roles de la Educación Superior a nivel mundial. Volumen 1. UNESCO/CRESALC. Caracas, 199