UNA EXPERIENCIA DE EVALUACIÓN: LA DEL CEP "PONIENTE GRANADINO"

A principios del curso 1994‑95 los integrantes del Consejo Técnico de este CEP consideramos la posibilidad de constituirnos en Grupo de Trabajo mixto, integrado por los miembros del citado Consejo Técnico y por los de un Equipo Externo procedente del Departamento de Didáctica y Organización Escolar de la Universidad de Granada.

El motivo fundamental que nos llevó a la creación de este Grupo no fue otro que el de realizar un análisis exhaustivo de nuestra realidad, cuyas conclusiones nos permitieran comprender con una mayor profundidad y riqueza de matices la variedad de actuaciones que se promueven en este Centro, y que esperamos y deseamos nos van a servir para considerar hasta qué punto podríamos desarrollar una actividad más eficiente y comprometida en nuestro ámbito de trabajo.

Los integrantes del equipo de trabajo partíamos de la firme convicción de que para mejorar las ofertas de asesoramiento al profesorado, de gestión o elaboración de materiales, así como todas las demás tareas asignadas a un Centro de Profesores, es necesario realizar un análisis serio de todos y cada uno de los aspectos que en el desarrollo de nuestro trabajo se concitan cotidianamente.

Para ayudarnos a conseguir nuestro objetivo vimos oportuno contar con la colaboración de un Equipo Externo evaluador cuyo papel en el seno del equipo no iba a ser tanto el de “juzgarnos”, desde un punto de vista meramente cuantitativo, en calidad de “expertos”, como el de promover entre nosotros debates internos y un mayor conocimiento del centro partiendo para ello de interpretaciones enriquecedoras de lo cotidiano, y poder colaborar así a la reflexión sobre los datos obtenidos, ayudándonos a presentar evidencias que de otra manera posiblemente nos pasarían desapercibidas a los que estamos sumidos en la cadencia de las tareas diarias.

Creemos que actividades de autocrítica y autoformación como ésta son recomendables para todas aquellas instituciones y servicios que tienen como objetivo ofertar su atención a un público determinado, pues el anquilosamiento y las rutinas adquiridas en la metodología de trabajo en que frecuentemente se cae, pueden llegar a constituir un obstáculo demasiado poderoso que nos impida realizar una toma de decisiones acertadas en lo que respecta a cualquiera de nuestras actuaciones.

Además, este grupo pretende asimilar, con la experiencia puesta en práctica, una metodología de trabajo investigativo que nos permita extrapolarla a otros ámbitos distintos del CEP.

Otra de las peculiaridades que han definido nuestro Grupo de Trabajo ha sido la de la corresponsabilidad, entendida de manera que los miembros que integramos el Consejo Técnico estamos también implicados en la tarea de la evaluación, pues difícilmente se podría llegar a un conocimiento global de la realidad si algunos elementos del sistema no participan.

Aun siendo conscientes de la falta de experiencia que teníamos los integrantes del grupo en evaluaciones de estas características, (cualitativas, de tipo democrático, etc.), optamos por continuar con la misma, incluso cuando comenzamos a entrever las dificultades con que sucesivamente nos íbamos tropezando: aumento de trabajo y de reuniones, el hecho de enfrentarnos con nuestros propios errores, reconocer algunas deficiencias notables que hasta ahora no habíamos percibido, etc.

Durante el curso 1.995‑96 se ha continuando con la elaboración de las conclusiones finales, y esperamos que una vez se ultime la redacción definitiva del informe se haga una difusión entre los diferentes Centros pertenecientes al ámbito del Poniente Granadino para su conocimiento por parte de la totalidad del profesorado adscrito al mismo.

Por nuestra parte, creemos que, a pesar de las dificultades encontradas, las valoraciones extraídas a lo largo del proceso de investigación pueden servirnos para mejorar nuestra práctica, al constatar cuáles son las condiciones que confluyen en la optimización de nuestra tarea asesora.

 


LA EVALUACIÓN DEL CENTRO DE PROFESORES PONIENTE GRANADINO. CONSIDERACIONES PREVIAS Y METODOLOGÍA (*)

Equipo externo (**)

 

Esta evaluación es la colaboración de un equipo externo de la Universidad de Granada con los miembros del Consejo Técnico de Renovación Pedagógica (C.T.R.P.) constituido en equipo, y tiene el objetivo de aumentar la comprensión de los asuntos y problemas que suceden en el centro. Este informe presenta un claro riesgo, puede ser entendido como un conjunto de juicios y valoraciones de los miembros del Centro de Profesores (CEP) y de las actividades que desarrollan a través de juicios positivos o negativos que, para colmo, están dados por personas ajenas y no pertenecientes al centro. El erigirnos en jueces y calificadores de las actuaciones de los miembros del equipo técnico no es beneficioso para entender mejor el funcionamiento del CEP, pues supondría aceptar y legitimar los juicios de "expertos" externos que califican a otros desde una comprensión paralela, distante, descontextualizada y, en definitiva, interesada. Tratamos más bien de promover un mayor conocimiento del centro a partir de interpretaciones alternativas, reflexionar sobre algunos datos y presentar evidencias originales y diferentes de la realidad del funcionamiento del centro.

Arriesgamos una interpretación alternativa a las existentes y, en cierto sentido, complementaria. En cualquier caso, lo que suceda a través de este informe y su debate será la validación real del trabajo. Lo que se desencadene con la puesta en común de la pluralidad de interpretaciones, la circulación de información y la mejora de las comprensiones de los hechos cotidianos de este CEP será relevante y significativo del valor de la evaluación que, entre todos, hemos ensayado.

La disponibilidad, tanto de la coordinación como del conjunto de asesores del centro, ha sido buena y la actitud receptiva con que han acogido nuestras molestas inmersiones en el centro es de reconocer aquí, especialmente, cuando el ritmo de actividad que el equipo técnico desarrollaba era estresante. Se nos pide una misión cuyo sentido podemos expresar con la metáfora de un espejo, que devuelve la imagen de lo que se presenta ante él. Deseamos lucidez para no distorsionar la imagen amplia, contrastada y nítida de una realidad cuya acertada visión favorecerá el reconocimiento y la comprensión de la misma.

Tratamos de comprender el funcionamiento del CEP y colaborar en mejorar la calidad de su práctica, aún partiendo de la base de que, en este país, no existe abundancia de experiencias en evaluaciones cualitativas de tipo democrático. Este informe pretende presentar los datos de forma novedosa, ensayar una interpretación externa y contrastarla con los implicados en la formación de los profesores y profesoras de la comarca. Pretendemos hacer una historia natural de la investigación y del propio CEP. Sin parafernalias, ni sofisticaciones metodológicas innecesarias.

 

El compromiso adoptado y sus incidencias

El Consejo de Dirección (CD) y el CTRP toman la decisión de proponer una evaluación interna del centro a principio del curso 1994‑95. Esta resolución parecía significar una actitud autocrítica y una pretensión de mejora de la calidad de los servicios y atenciones que presta este Centro de Profesores, lo que demostraría el sentido de la responsabilidad profesional y social de sus miembros y órganos colegiados. Una propuesta digna de apoyo por las siguientes razones: a) políticas, en cuanto a la importancia que tiene cualquier toma de decisiones en una institución; b) sociales, por la importancia de quién y para quién va dirigida la evaluación; c) económicas en cuanto a la consideración de un gasto público producido; d) profesionales, para saber cada uno el alcance de nuestro trabajo; e) éticas porque en una sociedad democrática hay implicadas otras personas e intereses de obligado reconocimiento; y, finalmente, f) metodológicas, acudiendo a las necesidades, perspectivas y voces de los propios destinatarios.

Una de las características con que se inicio esta experiencia se define como co­responsabilidad. Principio básico que nos hacía intervenir como participantes a todos los implicados en la evaluación y que, desde el principio, nos fijó un aspecto básico como foco de atención y que un asistente a la segunda reunión definió así:

“Un aspecto que tendríamos que tender en cuenta es la rentabilidad de nuestro tiempo dentro del CEP... No impartiendo cursos, sino el estar aquí, porque aquí nos pasamos el día entero y, al final de la jornada, piensas que, en realidad, no has hecho prácticamente nada. Has hecho setenta mil servicios que va desde conserje hasta centralita del teléfono... no te dedicas a estudiar, no produces ningún tipo de material, no investigas... "

Esta cuestión unida a la identificación del clima de trabajo o cooperación del grupo, a las condiciones laborales y al valor de las propias actividades necesarias para organizar la formación del profesorado que tiene asignado este CEP y, en definitiva al funcionamiento interno, componen los objetos de indagación seleccionados colectivamente. Como reconoce Stake (1995, The art of Case Study), uno de los más sensatos evaluadores, se plantea aquí el propio centro de profesores como unidad de trabajo para profundizar en el valor y el significado de su gestión.

 

Negociación de acceso

Desde el CEP se propone la creación de un grupo de trabajo interno para el que sugiere nuestro asesoramiento con el fin de iniciar una evaluación cualitativa de este centro. Tal y como se propone en el Plan Global Comarcal de Perfeccionamiento 1994-95,  la actuación del curso se iniciaría como:

"...un primer paso para el análisis que nos permita mejorar y desarrollar una actuación más eficiente y comprometida... " (p. l3).

Con la intención posterior de comprobar si habíamos entendido bien el encargo y nos acercábamos a las expectativas de quienes nos manifestaban esta responsabilidad, comprobábamos que, desde el Consejo de Dirección, se entendía así:

"Lo que queremos ahora es que el CEP como institución se evalúe, ya hemos ido viendo distintos aspectos, es imposible abordarlos todos, por eso nos hemos ido quedando con algunos de ellos, temas de relaciones internas entre los distintos departamentos y, en fin, una serie de aspectos que es lo que .e va a evaluar, prioritariamente, durante este curso, y posiblemente en otros cursos continuemos. El informe que salga de aquí tendrá carácter interno y lo conoceremos la gente que estamos trabajando en el CEP y el CD, que también. forma parte del CEP a esos niveles. Nadie nos ha exigido hacer esa evaluación sino que la hacemos por cuenta propia y lo que nos interesa es conocer cómo está funcionando, aquellos datos que muchas veces se nos escapan, para poner remedio a aquellas cosas que no funcionan ". (CD. 303‑95).

Con el fin de no caer en los tradicionales errores de aquellos investigadores que consideran el campo de investigación sólo como propio y sobre cl que pueden adoptar cualquier tipo de decisiones o actitudes, consideramos, por respeto a nuestros compañeros del Equipo Técnico, la necesidad de redactar un contrato en el que quedaran reflejadas nuestras principales necesidades y compromisos éticos para con el manejo de los datos y el trato con tantas personas como necesitásemos. El contrato fue leído y comentan el día 31 de marzo de 1995 en la cuarta sesión conjunta en el C.T.R.P. En él se manifiesta que la calidad y veracidad de los datos que se proporcionen debe ayudar a la comprensión de los fenómenos formativos y organizativos, orientando las acciones que se desarrollen en el CEP.

 

Contrato de investigación con la regulación de los compromisos que se adquieren con el equipo directivo y profesores/as del centro.

“Este proyecto de investigación que estamos llevando a cabo un grupo de investigadores tiene como objetivo aportar a la comunidad social, Consejo de Dirección y C.T.R.P. y a la comunidad científica datos, reflexiones e ideas que enriquezcan los debates e interpretaciones dirigidos a una mejora efectiva de la acción educativa en el CEP. La evaluación científica es un método también importante para estudiar los procesos sociales y educativos que se producen en la enseñanza y en el aprendizaje.

En esta línea, necesitamos un tipo de información cuya fuente, interpretación y significados están en manos de los agentes básicos educativos: profesorado, Consejo de Dirección y C.T.R.P. La calidad y veracidad de los datos que se proporcionen debe ayudar a la comprensión de los fenómenos formativos u organizativos y orientar las acciones que se desarrollan en el CEP.

Para el buen resultado de estas ideas, el grupo de evaluación desea adquirir libremente unos compromisos con aquellos profesores/as, a los que se va a solicitar cumplimentar alguno de los protocolos de investigación o realización de entrevistas. Dichos compromisos seguirán una línea de actuación ‑respecto a las personas y obtención de datos‑ regulada por los siguientes principios:

Primero:

Asegurar la confidencialidad de las informaciones y anonimato de los informantes en las actuaciones propias de la evaluación, redacción de informes o difusión de documentos. Se utilizarán técnicas de camuflaje de aquellos aspectos que pudieran hacer reconocibles a las personas o centro, no debiendo alterar el sentido básico y esencial de los datos.

Segundo:

Ninguna persona implicada deberá tener acceso privilegiado a los datos y nadie deberá vetar, impedir u obstaculizar la contribución de otras personas a proporcionar datos o sugerir explicaciones propias sobre los asuntos interrogados.

Tercero:

Los criterios de justicia, relevancia y exactitud constituyen la base de negociación de los evaluadores y los participantes en el estudio. Las negociaciones se podrán realizar sectorialmente si se considera necesario para la negociación.

Cuarto:

Los investigadores no podrán acceder a los centros sin la autorización empresa de la administración educativa y de los responsables del centro. Igualmente, serán responsables de la confidencialidad de los datos.

Quinto:

Tanto el grupo evaluador como el profesorado, elaborará un diario, en el cual queden reflejadas las actividades realizadas en nuestras reuniones, problemas encontrados en el desarrollo de nuestro trabajo, relación mantenida, datos generales o problemas surgidos.

Sexto:

Se mantendrán reuniones quincenales que se corresponderán con las expuestas en el calendario, al igual que las entrevistas y las observaciones (se comunicarán previamente los cambios de fecha).

Séptimo:

Se distribuirán y recogerán tanto el informe final como el personal que pondremos a disposición del grupo de participantes del CEP.

Y octavo:

Deberán darse a conocer estos principios a los responsables de los centros y a cuantos los soliciten.

Las incidencias que en algún caso pudieran ocurrir y ocasionar perjuicios a los evaluadores/as y a los profesores/as, serán objeto de una negociación que impida los efectos negativos de tales incidentes tanto para la buena marcha del centro y de la consideración de su profesorado, como para la calidad de los resultados de la investigación y el respeto a sus evaluadores.

Granada a 29 de marco de 1995”

Los inconvenientes de este proyecto de evaluación

Uno de los problemas fundamentales con que nos hemos encontrado en la evaluación y que ya nos imaginábamos, pero desconocíamos sus consecuencias más ocultas, ha sido la distancia desde Loja a Granada. La falta de trato cotidiano, inmediato, de rápida comunicación, ha producido cierta desconexión y la sensación, en los momentos en que nos desplazábamos al centro, de no sentirnos con la confianza con que se sienten quienes cotidianamente comparten reuniones, trabajo o contexto. Las implicaciones de este inconveniente también han sido metodológicas en el sentido de tener que tomar decisiones rápidas en función de las consecuencias que maestra ausencia tenía en los miembros del equipo. Las facilidades dadas por el coordinador y un asesor para llevar a cabo un buen sistema de grabaciones disminuyó el problema en algunos sentidos.

Por otra parte, la inexperiencia de quienes han colaborado en las tareas menos gratificantes de la evaluación, se ha compensado con el esfuerzo y la dedicación absoluta. Todos estamos convencidos de la importancia que tiene la evaluación en un centro de profesores.

No debemos dejar de exponer la incidencia que la excesiva ocupación en tareas de todos los miembros del equipo técnico del CEP y miembros del equipo de evaluación externa ha tenido en el desarrollo de la misma. La falta de concentración en los procesos de evaluación ha tenido lugar incluso en las reuniones conjuntas reservadas para el asunto dentro del mismo CEP. Esto ha ocasionado la dispersión del trabajo del equipo evaluador y las condiciones de elaboración del informe provisional.

La idea y actitud de no sentirnos jueces únicos de lo que sucede en el centro nos ha obligado a recoger las opiniones y atribuciones del profesorado implicado en el equipo de evaluación por diferentes fuentes. Nuestro nivel de profundización, creemos, ha sido suficiente, el necesario para evaluar, al menos, el aspecto inicial que nos proponíamos.

Las anteriores condiciones, entre otras, han ocasionado una falta de relación y familiaridad entre los miembros de ambos equipos, evaluador y técnico pedagógico, que se ha manifestado, a veces, en la falta de sinceridad en la comunicación o en la no difusión de datos relevantes. La condición de alumnas jóvenes de parte del equipo evaluador puede haber influido en algunos miembros del C.T.R.P., evitando la fluidez en la facilitación de informaciones. Además, la iniciativa del proyecto de evaluación no ha sido asumida con la misma intensidad por parte de cada uno de los miembros de dicho consejo. Dos de ellos insisten en que la idea de promover la experiencia de evaluación no ha surgido como iniciativa propia.

 

Metodología de evaluación del Centro de Profesores

La investigación universitaria ha pecado con profusión de monismo metodológico en el sentido de considerar, como lo hacía el positivismo, que sólo la aplicación del método produce conocimiento científico. La nueva epistemología científica y la teoría crítica de la ciencia han provocado suficientes experiencias como para poder saber hoy que lo importante en una evaluación de calidad de las decisiones que se adopten y la adecuación de los procedimientos de recogida de datos en el campo y análisis de los mismos. Por ello, disponemos que nuestros instrumentos y técnicas son los propios de la etnografía y de la evaluación cualitativa en los que sí tenemos ya suficiente experiencia. Concretamente hemos aplicado:

a) Sesiones conjuntas mantenidas entre C.T.P.R. y el Equipo Externo de Evaluación, a lo largo de nueve sesiones distribuidas de enero a marzo de 1996.

b) Observación participante y entrevistas personales a todos los implicados en el funcionamiento.

c) Construcción y análisis de la matriz de datos de las entrevistas.

d) Inicio de algunos diarios de los implicados con el intento de algunos procedimientos diferentes. Dos asesores no colaboraron por escrito y otro de ninguna manera.

e) Análisis de materiales: Proyecto y Memoria del CEP, planificación quincenal, Libro de Actas, Reglamento de Régimen Interno, Libros de Préstamos, Publicidad del CEP, Memorias de Actividades, entrevistas informales y conversaciones telefónicas.

f) Grabaciones y transcripciones completas de ocho reuniones, diez entrevistas y seis sesiones conjuntas.

g) Un cuestionario cumplimentado por todos los miembros de la Comisión Técnica.

 

Análisis de la matriz de datos del cuestionario

No parece necesario insistir en detalles de las herramientas utilizadas y sí en el reconocimiento de su potencia, ya que nos han permitido realizar suficientes contrastes de información para poder llegar a las descripciones e interpretaciones que mostramos aquí, de manera modesta, pero muy auténtica.

Hagamos una consideración necesaria en torno a otra de las dificultades que nos ha producido no poder reaccionar con rapidez para llegar al lugar donde "se produce la noticia" en el momento y lugar oportunos. Hechos como la reducción provisional de la plantilla, la dimisión del coordinador, las bajas laborales al principio de este curso, la incorporación tardía de un profesor, etc., todos ellos tan importantes y cargados de contenidos. atribuciones y significado, nos hubieran producido mejores comprensiones de haber mantenido una "corta distancia" con el centro.

 

(*) Del documento GESTlÓN DEL PERFECCIONAMIENT0 Y DEMOCRACIA: EVALUACIÓN DEL

FUNCIONAMIENTO DEL CENTRO DE PROFESORES PONIENTE GRANADINO, págs. 4 a 9, y Anexo 5.

(**) El equipo externo de evaluación está integrado por Juan Bautista Martínez Rodríguez, de la Universidad de Granada, Virginia Cuadrado Reyes, Eva Jiménez Ocaña y•Carmen Ortíz López, alumnas de Psicopedagogía.