Evaluar la formación permanente: la perspectiva de los Centros de Profesores a través de sus Coordinadores^[1]

Cristina Granado Alonso y Javier Gil Flores

Resumen

Partimos de una breve revisión de las funciones que, desde el punto de vista teórico, se asignan a la evaluación de la formación permanente, las dificultades que han venido obstaculizando su desarrollo y el modo en que es contemplada desde las disposiciones que al respecto emanan de la Administración Educativa. Ahora bien, el convencimiento de que la concreción práctica de la evaluación dependerá, en buena medida, de la perspectiva desde la que ésta sea contemplada por las personas o instituciones directamente encargadas de desarrollar planes y políticas de la Formación Permanente y, por consiguiente, de su evaluación, nos ha llevado a realizar un estudio para accedera la percepción que los Centros de Profesores mantienen de tal empresa y al modo en que ha venido llevándose a cabo.

Descriptores: Formación permanente. Evaluación. Cultura evaluativa.

Evaluating continuous formation: Teachers' Centers view through their coordinators

Abstract

This paper begins with a review of specialized literature about the functions staff development evaluation should and could fulfil, and about the obstacles that make it a very difficuit tasé, following with a brief description of the education official arrangements about this issue. Nevertheless, people and institutions in charge of staff development plans and programs are responsable for actual use of evaluation plans and policies, and consequently, their perspective will determine the most ef fective way to carry them out. Finally, we present the results of a study about Regional Teachers' Centers view of INSET assessment work.

Keywords: INSET, staff development, evaluation, evaluation culture.

La necesidad de evaluar la formación permanente

Si admitimos que la formación permanente del profesorado constituye una de las vías más importantes para mejorar la calidad del sistema educativo, estaremos también de acuerdo en que su evaluación representa una tarea ineludible para optimizar políticas y programas de perfeccionamiento que permitan activar procesos continuos de dinamización e innovación educativa. Si la formación es un poderoso instrumento de cambio, sólo su evaluación nos permitirá conocer y reorientar la dirección que adopte éste.

Muchos son los autores que en la literatura educativa reclaman la necesidad de realizar evaluaciones de la oferta formativa propuesta desde distintos ámbitos y con distintas metas, tanto en sus programas concretos como en sus políticas y filosofías de base. La utilidad de la tarea evaluativa se orientaría, entre otras, en las siguientes direcciones:

a) Determinarlacoherenciaycongruencia,tantointemacomoexterna,deprogramas y planes de formación (Antúnez y otros, 1987) y adoptar decisiones en consonancia Actualmente, la oferta de formación es muy amplia y plural, atiende a distintas necesidades, intereses y niveles dentro del profesorado; sin embargo, es necesario que haya cierta homogeneidad entre los propósitos, presupuestos, principios, estrategias, etc. de la propuesta formativa y del modelo educativo que se pretende potenciar, así como cierta coherencia con las distintas líneas de formación que se ofertan.

b) Asegurar que las líneas de formación se adecúan en mayor medida a las necesidades de profesores, centros, comarcas y del país en su conjunto (Aubrey, 1988; Fordham y Ainley, 1980); ello también supone partir del análisis de la realidad para hacer propuestas viables y ajustadas a la situación actual y real en que se encuentran. El diagnóstico de la situación, previo al diseño del plan de formación y paralelo a la puesta en marcha de éste, constituye una tarea esencial de la empresa evaluativa, puesto que facilita la oferta de apoyo y asesoramiento que necesitan los participantes para posibilitar y potenciar procesos y resultados.

c) Ir generando todo un cuerpo de conocimientos teórico‑prácticos sobre eficacia de la formación permanente del profesorado de cara a la mejora educativa (Granado, 1992). Es decir, la evaluación genera una información relevante acerca de los presupuestos, procedimientos, actividades, condiciones, etc. que pueden favorecer o dificultarel éxito de los procesos formativos y que deben inspirar las actuaciones y decisiones que se adopten en dicho sentido, de forma que programas y planes no se agoten en sí, no empiecen y acaben en sí mismos, sino que constituyan esfuerzos con continuidad y, por lo tanto, rentables. Al hilo de lo anterior, Santos (1988) apunta que la evaluación ha de convertirse "en un instrumento de la formulación teórica, en un proceso dialéctico permanente entre la racionalidad teórica y la racionalidad práctica" (p.22).

d) Favorecer el desarrollo profesional de los profesores y la mejora escolar, ofreciendo para ello una vía de retroacción que permita a los participantes tomar conciencia y otorgar un significado al proceso de cambio que experimentan, así como comprender los factores que lo condicionan, ya que sólo así podemos hablar de un verdadero impacto de la formación. En este sentido, Holly y Southworth (1989) conciben la evaluación como una actividad en sí misma de potenciación y capacitación profesional.

e) Determinar el balance beneficio/coste de las propuestas de formación (Bolam, 1979), de forma parcial y global. Esto debe permitir adoptar decisiones sobre la continuidad o no de líneas y programas y distribuir presupuestos de forma justificada. La inversión en formación desde las instancias públicas es muy elevada, pero la ausencia de evaluación que compruebe la incidencia y logros que se obtienen en virtud de los recursos económicos, personales y de tiempo que suponen unos programas y otros, impide tener una visión clara sobre su coste real. Atender exclusivamente a criterios como el número total de profesores atendidos, horas lectivas invertidas por los formadores o gastos monetarios ocasionados, es adoptar indicadores de evaluación ficticios y poco útiles si lo que pretendemos es optimizar recursos.

Una practica olvidada

Si bien todas estas funciones ponen de manifiesto la necesidad de llevar a cabo evaluaciones de los programas de formación permanente, las actuaciones en este sentido distan mucho de alcanzar los niveles que corresponderían a una tarea a la que se coincide en calificar de imprescindible, útil y rentable. Es bien patente su casi total ausencia o insuficiencia en planes y programas institucionales de ámbito nacional, regional y local. Fuera de nuestros límites, también resultan escasas las evaluaciones de los programas de formación, y en todo caso, resultan en su mayoría bastante parciales, limitadas, subjetivas, con metodologías claramente positivistas o sin especificar, con resultados injustificados y sin base teórica clara (Bolam, 1988; Evans y Hopkins, 1988; Hyde y Pink, 1991; Ingvarson y McKenzie, 1988; Stevenson, 1987; etc.).

Las razones que se argumentan para explicar tal ausencia son muchas y obvias. En primer lugar, existe casi unanimidad en que la dificultad metodológica que entraña el propio proceso de evaluación es uno de los grandes obstáculos con que tropieza y constituye una razón evidente de la insuficiencia y superficialidad de los estudios (Aubrey,1988; Bolam,1988; Hopkins,1989; Oldroyd y Hall, 1991). Esta dificultad es provocada, de una parte, por el elevado número de variables influyentes que es necesario considerar para poder explicar y comprender procesos y resultados, así como por las complejas interacciones que se establecen entre tales variables. Además, cualquier actividad o suceso está claramente influido por el contexto en el que se produce y sólo desde éste puede interpretarse, lo que incrementa el número de frentes a atender. Por otra parte, es considerable la dificultad técnica existente para determinar el influjo de algunas de estas variables, especialmente las referidas al impacto sobre profesores, centros y alumnos.

También resulta complicado definir claramente qué se entiende por logro o resultado de una actividad de formación. Hay autores que señalan que no es aconsejable limitarse a la satisfacción de los participantes o a la opinión de éstos por los resultados que perciben, sino que es imprescindible seguir el proceso de puesta en práctica de la innovación. Pero a ello hay que hacer una puntualización; esto es, que tanto si se trata de una innovación diseñada desde fuera y debido al principio de adaptación mutua entre usuarios, contexto e innovación, como si es construida desde dentro, lo que la hace aún mucho más difusa e indefinida, es imposible determinar de forma objetiva el grado de implementación o nivel de uso de una innovación.

No solamente hay dificultades en determinar qué se entiende por resultado o impacto de la formación, sino que la propia indefinición de propósitos, fundamentos, políticas, procedimientos, y en definitiva, el propio diseño de las propuestas formativas dificulta seriamente el esfuerzo por abordar su evaluación (Hopkins, 1989). Para poder evaluar una actividad o programa habrá que partir de las coordenadas en las que surge y se desarrolla. La evaluación de cualquier proceso formativo ha de enmarcarse dentro del modelo educativo que ampara éste. Sin embargo, las ofertas de perfeccionamiento del profesorado suelen carecer de modelos didácticos que los inspiren y doten de significado.

Igualmente, la elevada inversión de recursos personales, económicos y de tiempo que requiere afrontar la compleja tarea de la evaluación, es una razón más que explicaría la carencia o parcialidad de las evaluaciones realizadas. Esta demanda de exigencias viene provocada, en parte, por la necesidad de realizar estudios longitudinales de evaluación, puesto que los procesos de cambio son lentos y graduales (Bolam, 1988). Del mismo modo, la enorme población que participa en actividades de formación y el elevado número de programas y actividades que se realizan anualmente disparan los costes de cualquier evaluación que pretenda abarcarlos. Esta situación se ve agravada por la falta de tradición y de preparación adecuada en evaluación de programas educativos que se da en nuestro país, de forma que se carece no sólo de personal suficiente para llevar a cabo los procesos de seguimiento y evaluación de los planes de formación, sino de personal formado y cualificado profesionalmente para abarcar tal empresa. Desde la literatura se argumenta que la formación del evaluador resulta una necesidad ineludible, si se pretende que la evaluación que se realice sea realmente provechosa y eficaz (Aúbrey, 1988).

Normativa sobre evaluación de la formación permanente en Andalucía

Para comprender la situación en la que se encuentra la evaluación de la formación permanente en nuestro contexto más cercano, consideramos además necesario revisar brevemente cómo ésta se contempla desde el ámbito legislativo, qué finalidades se le atribuyen o qué agentes se señalan como responsables de su implementación.

A nivel de la Comunidad Autónoma Andaluza, las líneas generales por las que deben discurrir tanto la evaluación como el seguimiento de la formación quedan establecidas en el Plan Andaluz de Formación Permanente del Profesorado (J.A., 1992). La distinción entre evaluación y seguimiento hace más bien referencia a la amplitud del objeto de que se evalúa. Esto es, el seguimiento es considerado como la valoración de los programas y actividades de formación, mientras que la evaluación implica a todos los elementos del Plan, incluyendo asesores, centros de profesores y sus departamentos, convenios, modalidades, etc. De cualquier forma, la distinción entre una y otra nos parece artificial en cuanto que no puede entenderse de forma aislada el discurrir de las actividades y programas de formación y la estructura de funcionamiento en la que se insertan. En este mismo documento, se dispone que la finalidad de la evaluación es conocer en todo momento cuál es el desarrollo de cada actividad, su adecuación a las necesidades manifestadas y sus repercusiones en la labor diaria del aula. Esta información serviría debaseparatomarlas decisiones pertinentes sobre continuidad o no, modificación o ampliación de programas del propio Plan Andaluz, así como difundir a la comunidad educativa los avances y recursos que se consigan y produzcan.

La Resolución del 20 de Julio de 1992 (BOJA, 20/8/92) sobre el seguimiento de programas y actividades de formación incluye, a su vez, como objetivo del mismo, el asesoramiento y apoyo a los profesores para facilitar el desarrollo de la actividad y superar los obstáculos que surjan. Implicaría, por tanto, una concepción de evaluación más formativa que la anterior, más basada en resultados finales y toma de decisiones a posteriori. En cuanto a quién debe evaluar, se menciona a todos los participantes y a la comunidad educativa afectada y a todos los responsables directos e indirectos de la formación que se oferta. Se contempla la posibilidad de realizar evaluaciones externas por técnicos o instituciones cualificadas y ajenas al proceso, las cuales garantizarían una mayor objetividad. De forma más específica, se establece la creación de una comisión de Seguimiento, dependiente de las Comisiones Técnicas Provinciales, que se encarga de coordinar y aplicar el Plan de Seguimiento.

Por último, la Orden del 19 de Diciembre de 1990 (BOJA, 20/8/92), por la que se regula el funcionamiento de los Centros de Profesores, establece que entre las funciones del Consejo Técnico de Renovación Pedagógica, constituido por todos los docentes destinados o adscritos a cada CEP y presidido por el Coordinador del mismo, estará la de programar la aplicación del seguimiento y evaluación interna de la Formación Permanente. Asimismo, entre las funciones que prescribe para los asesores, se encuentran la de prestar apoyo y realizar el seguimiento de las distintas actividades de formación y modalidades y la de aplicar los programas de evaluación interna de la formación que se determinen.

De aquí podemos concluir que los Centros de Profesores y sus asesores son responsables directos de programar y aplicar las líneas generales de evaluación y seguimiento que establecen estamentos superiores y, por lo tanto, de concretarlas y articularlas de forma precisa y acorde a las coordenadas del propio contexto. Precisamente, conocer el modo en que se entiende la evaluación desde los Centros de Profesores ha constituido el objetivo central del estudio que hemos desarrollado y que presentamos en este trabajo.

Planteamiento y propósito del estudio

Revisadas, a grandes rasgos, las concepciones teóricas y los desarrollos legislativos sobre los procesos de evaluación de las actividades de formación permanente del profesorado, consideramos interesante conocer las perspectivas que, en relación a este tema, mantienen los Centros de Profesores, sobre los cuales, como hemos visto, recae la responsabilidad directa de la formación y de la aplicación de los planes de seguinúento y evaluación que establece la Administración Educativa. Es en los CEPs donde mejor se conoce la realidad de su propia oferta formativa y las coordenadas singulares donde ésta se desarrolla. Por ello, y a nuestro juicio, se erigen como la institución más indicada para elaborar y desarrollar los planes de seguimiento y evaluación, más que como ejecutores de directrices prescritas, aunque no se excluya el que puedan darse, en este sentido, orientaciones generales o prioridades conforme a las necesidades del sistema.

Por tales razones, pensamos que para poder articular un modelo de evaluación de la formación es necesario partir del modo en que tal empresa es entendida desde los Centros de Profesores. Si queremos conocer cómo se desarrolla la evaluación de la formación permanente o cómo podría desarrollarse, tendremos que recurrir a explorar la imagen que de ella se tiene en los Centros de Profesores. Esta visión, conformada por creencias, mitos, expectativas, prejuicios, valores, actuaciones, rutinas, etc. constituye una manifestación de lo que aquí hemos denominado "cultura evaluativa", y viene a representar un sustrato relevante que determina, en gran medida, cualquier propuesta o aproximación que se haga a la evaluación de la tarea formativa. Explorar la "cultura evaluativa" de los Centros de Profesores constituye el propósito del estudio llevado a cabo.

Método

Para recabar información acerca de cómo son entendidas desde los CEPs las preguntas claves de cualquier plan de evaluación (qué, quién, cómo, para qué, etc.), hemos seleccionado como informantes claves a los Coordinadores de los Centros de Profesores de la Provincia de Sevilla, los cuales constituyen, a nuestro juicio, la única figura dentro de esta organización que dispone de una visión global de su funcionamiento.

La técnica de la entrevista ha sido utilizada para acceder a las perspectivas de los coordinadores sobre la evaluación de laformaciónpermanente.Delos ocho coordinadores, correspondientes a la totalidad de Centros de Profesores existentes en la provincia de Sevilla, siete accedieron a ser entrevistados, mientras que un octavo sujeto adujo problemas de disponibilidad de tiempo para no participar en el estudio. Las entrevistas tuvieron lugar en las respectivas sedes de los Centros de Profesores, y se desarrollaron de forma semiestructurada. El entrevistadorcontaba con un guión o protocolo orientativo, en el que se incluían los aspectos que interesaba abordar, pero no quedaban excluidos de la conversación temas afines que el sujeto pudiera tratar al ser entrevistado. Los temas inicialmente previstos eran los referidos a las concepciones sobre la evaluación, el modo de llevarla a cabo, sus finalidades, el tipo de información necesaria o los obstáculos encontrados.

Las respuestas de los coordinadores fueron recogidas mediante una grabadora y posteriormente transcritas, resultando un corpus de datos cualitativos de tipo textual estructurado en siete unidades discursivas. El proceso de análisis seguido con este material comienza con la reducción de los datos textuales (Miles y Huberman, 1984), operación que hemos realizado mediante la codificación de las transcripciones. Tras la lectura de todo el material, hemos diferenciado unidades de significado (fragmentos de texto con unidad temática) clasificándolas en categorías relevantes para el estudio y asignándoles un código representativo de éstas.

El sistema de categorías se construyó a partir de una combinación de procesos inductivos y deductivos. Partiendo del esquema proporcionado por las cuestiones presentes en todo plan de evaluación (qué, quién, para qué,...) y por los aspectos recogidos en la literatura, hemos procedido a subdividir, fusionar, eliminar, modificar o incluir nuevas categorías, en función del material que iba siendo codificado (Tesch, 1990). Se trata de un proceso recurrente de asimilación de datos por el sistema de categorías y acomodación de éste para adaptarse a los nuevos datos incorporados. Finalmente, resultó un sistema constituido por un total de 25 categorías, estructuradas en cinco dimensiones. Tanto las categorías como los códigos por las que fueron identificadas aparecen recogidos en la Figura 1.

Figura I. Sistema de codificación empleado en el análisis de las entrevistas

E1 proceso de codificación y la posterior organización de los datos han sido facilitados por el programa AQUAD, 2.2 (Huber, 1988). Esta herramienta informática, diseñada específicamente para el análisis de datos cualitativos, sirvió en esta ocasión comobase de datos textuales, permitiendo localizary recuperarlos fragmentos codificados en una misma categoría. Con el uso de AQUAD, se han visto agilizadas tareas como la revisión continua de los datos incluidos en las categorías, para asegurar la consistencia en la codificación, o las constantes comparaciones inter e intracategorías que permitan depurar el propio sistema de codificación. Finalizada la reducción de datos, AQUAD nos posibilitó la obtención de todos los fragmentos codificados, agrupados por categorías y un recuento de la frecuencia con que los códigos aparecen. El examen de los fragmentos incluidos en una misma categoría nos ha permitido trascender a las unidades de significado individuales y concluir sobre la significación global del conjunto.

Resultados

Trataremos aquí de describir someramente los resultados que obtuvimos tras la realización del análisis, apuntando algunas pinceladas que permitan conocer a grandes rasgos las coordenadas de la cultura evaluativa de los Centros de Profesores.

En cuanto a la situación actual de la evaluación de la formación en los CEPs, la casi total ausencia o, en todo caso, insuficiencia de las evaluaciones realizadas fue la respuesta más unánime de los coordinadores entrevistados. Valoran negativamente los escasos intentos de evaluación qué desarrollan, por realizarse sin criterios, basándose exclusivamente en cuestionarios pobres y de escasa utilidad o en comentarios fortuitos. Por otra parte, el seguimiento que desde los CEPs se realiza de los grupos de formación, resulta claramente insuficiente, pues el número de visitas es tan reducido que se limita a simple formalidad y no hay posibilidades de ofrecer apoyo y asesoramiento a todos los grupos.

"La evaluación se hace a ojo de buen cubero... " (Ent. CC2)

"En el plan de seguimiento se prevén tres reuniones que suelen quedarse en una o dos por falta de presupuesto... " (Ent. CC5)

El concepto de evaluación que mantienen los coordinadores entrevistados, parece identificarse con la verificación de la incorporación de cambios a la práctica, a raíz de la actividad de formación, junto con la validación de líneas de acción y la recogida de información para emitir juicios y tomar decisiones de forma fundamentada. Concretamente, se apunta como tarea de la evaluación, valorar la utilidad, validez, viabilidad, calidad y posibilidades de generalización de las actividades y lineas de formación desarrolladas. Además, se afirma que la evaluación debe ser ante todo cualitativa, subjetiva, fiable, continua y educativa, siendo estos los adjetivos que más emplean para caracterizar el modelo de evaluación deseable.

"Ver si aquello tiene futuro o no, si tiene perspectivas o no, si es trabajo baldío o aprovechable... " (Ent. CC7)

"La información debe ser cualitativa porque no existe la objetividad, no hay medidas universales... " (Ent. CC4)

Esta concepción de la evaluación se ve completada por sus percepciones sobre el sentido o finalidad de la evaluación de la formación permanente. Como puede apreciarse en la Tabla 1, las metas fundamentales que con mayor frecuencia e insistencia señalan los coordinadores son las referidas a la optimización de la actividad o programa concreto en curso (18 ocurrencias) y a la retroacción al CEP, con el fin de mejorar su oferta (12 ocurrencias). El sentido de optimización, al que aluden todos los entrevistados, supone, a juicio de éstos, orientar los pasos a dar por los grupos, facilitar la incidencia en la práctica, cubrir las demandas y necesidades de material o información, etc. para poder así potenciar y facilitar los procesos y resultados de las actividades de formación. El sentido de ` feed‑back" implicaría ofrecer información al CEP que le permitiera tener conocimiento sobre las lineas que se están desarrollando en su comarca, el grado de implantación de las mismas y los resultados y logros conseguidos, sobre la utilidad de las distintas modalidades y líneas de actuación, el grado de satisfacción de los participantes y la coherencia interna de la propuesta. Sólo de esta forma será posible tomar decisiones sobre planes y lineas futuras de formación que permitan responder mejor a las necesidades de la comarca.

"...para ayudarles (a losparticipantes) a encontrar el camino cuando pierden el norte... "(Ent. CC2)

"... para ver cómo ha salido la actividad, cómo la valoran los participantes de cara alas próximas actividades... " (Ent. CC3)

Otra de las finalidades a que apuntan los coordinadores, aunque con menor frecuencia, son: el sentido de diagnóstico, como detección de necesidades de material, información, problemas y dificultades con que tropiezan los participantes durante la puesta en práctica de los proyectos y que son remitidas al CEP para que éste intente gestionarlas; el sentido de difusión o diseminación de las experiencias, procesos, resultados, materiales... que han resultado positivas y eficaces, de forma que cada actividad o programa no se agote en sí misma y pueda obtenerse el máximo rendimiento de las mismas; el sentido de control, que dota a la evaluación de un propósito de supervisión económica y de asistencia de cara a su certificación, así como, de presión sobre el trabajo realizado; y por último, también se atribuye a la evaluación un sentido de continuidad, es decir, se la considera como herramienta que permite tomar decisiones sobre la conveniencia o no de apoyar la continuación o renovación de la actividad.

Tabla l.‑ Frecuencia total y presencia (indicada por *) de los códigos relativos al sentido de la evaluación en las 7 entrevistas

Código	F	C1	C2	C3	C4	C5	C6	C7
SDG	8		*			*		*
SDI	10					*	*
SCO	8		*		*	*		*
SFE	12	*		*	*	*	*	*
SOP	18	*	*	*	*	*	*	*
SCN	5		*	*		*		*

En cuanto a quién debe evaluar la formación, los coordinadores señalan unánimemente que es el personal del CEP quien se encuentra en una posición más privilegiada para desarrollar tal empresa, debido a su mayor implicación y conocimiento de las circustancias y problemática de la zona de formación que cubren. Ello permite interpretar más fácilmente procesos y resultados, y unir las tareas de asesoramiento, seguimiento y evaluación de la formación, lo que supone una gran contribución a la mejora de los programas. También se señala la posibilidad de que, coordinadas con el CEP, apoyen esta tarea instituciones tales como otros servicios de apoyo educativo, la inspección o técnicos y profesionales de la evaluación. En cuanto a los participantes, se les considera más como informantes que como evaluadores propiamente dichos, a juzgar por las escasas referencias que aluden al profesor como agente de evaluación.

"El personal del CEP para que asesoren y hagan el seguimiento a la vez.. " (Ent. CC1)

También el Centro de Profesores es considerado como una de las audiencias prioritarias de la información recogida durante la evaluación, ya que requiere de una vía de retroalimentación de su oferta formativa, que le permita mejorar propuestas futuras y difundir experiencias que hayan demostrado su eficacia. El otro destinatario legítimo de la evaluación son, ajuicio de los coordinadores, los propios participantes, puesto que requieren de tal información para optimizar su trabajo.

"A los Centros de Profesores para trasplantar patrones de acción y difundir experiencias a otros profesores..." (Ent. CC5)

"Para los participantes, para ayudarles a cambiar la práctica del aula... " (Ent. CC3)

Son muchas las exigencias y demandas que la evaluación plantea a los CEPs, y que son sugeridas por sus coordinadores: tiempo dentro del horario lectivo para planificar las tareas de evaluación y reflexionar sobre la información resultante; instrumentos de evaluación fáciles de contestar y procesar, fiables y que permitan hacer juicios de valor y tomar decisiones adecuadas; establecer acuerdos sobre criterios de evaluación y, en consecuencia, sobre el modelo de escuela que se pretende construir.

"Necesitarnos instrumentos de evaluación para ver si lo que estamos haciendo vale la pena o no" (Ent. CCl )

"... tener muy claro los puntos a evaluar y con respecto a qué. " (Ent. CC6)

Pero quizás la necesidad más señalada es la de contar con personal formado para atender dicha empresa, incluyendo la posibilidad de contar con algún servicio de apoyo o departamento dentro del CEP encargado expresamente de la evaluación. Al hilo de esto, se insiste en la exigencia de capacitar a los propios asesores para el desempeño de estas funciones, tarea para la cual carecen de formación.

'... se requiere formación para el personal del CEP... " (Ent. CC3)

Entre las necesidades formativas que precisa la puesta en marcha del proceso de evaluación, los coordinadores hacen referencia a la teoría y práctica de la evaluación, en su sentido más general, puesto que apuntan que sobre este tema poco o nada se conoce. Sin embargo, a lahorade especificarmás estas necesidades señalan casi con exclusividad a los procedimientos de recogida y análisis de datos, desestimando aspectos como el uso de la información recogida .

... la evaluación es la gran desconocida. Todo, necesidades de formación todas, desde el principio. " (Ent. CC4)

... en técnicas de investigación, como análisis de documentos, construcción de rejillas de observación, entrevistas... " (Ent. CC5).

En cuanto al tipo de información que los coordinadores creen necesario recabar para realizar una evaluación de la formación que permita cubrir los propósitos antes señalados (ver Tabla 2), encontramos unanimidad entre los entrevistados y frecuencia más elevada, al señalar la información acerca de los resultados conseguidos. Tales resultados se entienden en términos de cambios en la práctica (aula, centro y alumnos) y cambios en el profesor (actitud, creencias, conocimientos...) como eslabón intermedio para incidir en la práctica. La información sobre el proceso, aludida en 22 ocasiones, también ocupa un papel relevante, señalándose aspectos como la evolución seguida, actividades realizadas, dinámica de funcionamiento, contenido de las sesiones de trabajo, circustancias contextuales donde se ha desarrollado el proceso, dificultades y necesidades surgidas, etc. como elementos sobre los que recabar datos.

Tabla 2. Frecuencia total y presencia (indicada por *) de los códigos relativos a la información necesaria para la evaluación en las 7 entrevistas

Código	F	C1	C2	C3	C4	C5	C6	C7
IGE	11			*	*	*	*	*
IPY	6		*			*
IPR	22		*		*	*	*	*
IRE	32	*	*	*	*	*	*	*

La información sobre el proyecto es considerada únicamente por dos coordinadores, que se limitan a señalar aspectos como el presupuesto con que cuentan y el uso del mismo, planteamientos generales del proyecto y modificaciones y recortes que se producen en éstos durante su desarrollo. Una última categoría de información es la que hemos denominado información general, que aunque aparece sólo en 11 ocasiones está presente en las declaraciones de cinco de los entrevistados. Se incluyen en ella las alusiones de los coordinadores a lanecesidad de recogerinformación sobre las opiniones de los participantes en relación a los elementos de la actividad en que participan, así como críticas, expectativas, autovaloraciones, grado de satisfacción, etc. que constituyen datos igualmente valiosos de cara a conocer, interpretar y valorar los programas de formación.

'... explicar qué se ha hecho, cómo se ha hecho, por qué se ha hecho y con qué limitaciones... " (Ent. CC4)

'... cambios de mentalidad, en la forma de entender la escuela... " (Ent. CCI )

En cuanto al cómo evaluar, encontramos total unanimidad en la necesidad de seleccionar muestras de actividades para realizar evaluaciones en profundidad, ya que el volumen excesivo de la oferta formativa impide abarcar su totalidad en una evaluación con cierta exhaustividad y rigor.

"Es imposible ni aun teniendo muchísimo personal (...) en todo caso se podría intentar hacer una observación de casos concretos... " (Ent. CC5)

"La única forma posible de evaluar es coger algunas actividades, elegidas por el asesor por preferencias personales o alguna de especial interés... " (Ent. CC2)

En relación a las técnicas o instrumentos de recogida de información, los coordinadores opinan que deben ser sencillos de responder y analizar, abiertos para dar cabida a la diversidad de actividades, pero ofreciendo unas orientaciones claras y comunes. A su vez, estos instrumentos deben someterse a continua evaluación, modificándose en función de la utilidad y adecuación que demuestren en su uso. Aunque el cuestionario es el instrumento que más se nombra, es al que más inconvenientes se le señalan, ya que impide reflejarla realidad y suele implicar sesgo, si bien, porel contrario, ofrece las ventajas de abarcar mayor número de aspectos y ser de más fácil aplicación a mayor número de sujetos. La observación de las sesiones de trabajo y las entrevistas informales con los participantes parecen, ajuicio de los coordinadores, las dos vías de recogida de información más relevantes y útiles de cara a la evaluación. Las referencias a los documentos escritos están prácticamente ausentes. Por otra parte, opinan en su mayoría que la triangulación de instrumentos es fundamental.

'... a través de cuestionarios, no sé hasta qué punto se podría ver la realidad" (Ent. CCI

'... por supuesto la observación es el instrumento más eficaz" (Ent. CC2)

... todos los cuestionarios que tú pases pueden tener sesgo. Podemos subsanar este sesgo preguntando a dos o tres personas que hayan asistido a esa actividad y que tengan una concepción distinta... " (Ent. CC6)

Por último, los coordinadores centraron gran parte de su discurso en señalar las dificultades con que tropiezan los Centros de Profesores para abordar las tareas de evaluación. Todos los códigos relativos a esta dimensión están presentes en la mayoría de los coordinadores (ver Tabla 3). Destacan por su frecuencia (18 apariciones del código LNO), las limitaciones por la naturaleza del objeto evaluado, que inciden sobre las dificultades técnicas y metodológicas implícitas en la detección de cambios a nivel de centros, profesores y alumnos, así como, sobre la sutileza y lentitud de estos cambios, lo que hace casi imposible tener información sobre los logros y resultados que se consiguen a través de las actividades de formación; ello puede restar rentabilidad a las evaluaciones que se realicen.

Tabla 3. Frecuencia total y presencia (indicada por *) de los códigos relativos a las limitaciones para la evaluación en las 7 entrevistas

Código	F	C1	C2	C3	C4	C5	C6	C7
LFO	11	*	*	*	*	*
LSO	16	*	*	*		*	*	*
LRE	15		*	*	*	*	*	*
LNO	18	*	*		*	*	*
LRZ	11	*	*	*		*	*

También podemos encontrar limitaciones por falta de formación, ya que los sujetos entrevistados recalcan la necesidad de contar con formación específica en evaluación para llevarla a cabo, formación de la que, aseguran, el personal del CEP carece en absoluto. También supone un obstáculo serio las limitaciones por sobrecarga, en un doble sentido: por una parte, sobrecarga relativa a la complejidad y volumen de las tareas formativas que se llevan a cabo en estos centros y, por otra, la carga sobreañadida que aporta la no menos compleja y enorme empresa evaluativa. Las limitaciones por recursos apuntan a la escasez e insuficiencia de medios económicos y personales con que cuentan los Centros de Profesores para desarrollar tareas de seguimiento, asesoramiento y evaluación del elevado número de actividades de formación que desarrollan.

" La evaluación plantea un perfil de profesores, para hacerel seguimiento, que no seda." (Ent. CC7)

"No se hace por falta de infraestructura, personal que pase los instrumentos, los mecanice, haga informes y los envíe... " (Ent. CC3)

Por último, y con menor frecuencia, aunque no por ello menos relevantes, encontramos referencias a limitaciones por rechazo, que aluden a la actitud de desconfianza y de miedo que origina la tradicional concepción de la evaluación como control o fiscalización. También el incumplimiento de compromisos por parte de la Administración, en el caso del eterno retraso en la llegada del presupuesto concedido a los participantes, da lugar a negativas o pasividad ante sus iniciativas de evaluación.

Conclusiones

Ciertamente, la concepción que desde los CEPs se mantiene de la evaluación de la formación permanente, guarda una cierta congruencia con la que apunta la literatura de investigación, aunque la visión sea más restrictiva y parcial. Entendemos que se trata de una concepción no del todo evolucionada, a causa del escaso desarrollo que presenta esta empresa en los Centros de Profesores, donde ocupa un papel casi olvidado o inexistente. Esto conlleva una escasa reflexión sobre la misma por parte de los sujetos que deben afrontarla, los cuales aluden a tareas parciales que han sido las únicas puestas en marcha hasta el momento (por ejemplo, el diagnóstico de necesidades de material y asesoramiento de los grupos de formación, desconsiderando el diagnóstico de la situación previo a la confección del plan de actuación como tarea, también, de evaluación) o a tareas de evidencia contundente y de referencia obligada (porejemplo, la evaluación de resultados en términos de propósitos generales de formación, esto es, cambios en la práctica).

Sin embargo, es necesario partir de la situación actual para ir dando sucesivos pasos en la construcción de una propuesta adecuada de evaluación que responda a la complejidad tanto de la propia tarea evaluativa, como la inherente al contexto en el que se realiza. Como podemos comprobar, la visión de la oferta formativa propuesta por los CEPs, desde el punto de vista de sus coordinadores, refleja el enorme valor y utilidad que se le confiere de cara a adaptar y mejorar reflexiva e informadamente los planes de actuación actuales y futuros. Además, indica la excesiva complejidad que entraña y los obstáculos con que se tropieza a la hora de iniciarla y desarrollarla. Por tanto, es necesario trabajar para elaborar modelos de evaluación integradores de las perspectivas teórica, legislativa y práctica, sin convertirla en una empresainabarcable. Las propuestas a realizar deben mantener una relación dialéctica entre las coordenadas reales en las que se inserta esta empresa y la aproximación ideal que revela su conceptualización más teórica, entre prácticos e investigadores, entre realidad y utopía, procurando cada vez mayores niveles de imbricación y profundización. Asimismo, la alta rentabilidad de los procesos de evaluación invita a emprender esfuerzos para eliminar, en la medida de lo posible, los obstáculos que pudieran surgir en su realización.

Los coordinadores entrevistados aportan unareflexión, anuestro juicio, esclarecedora del camino por el que debe conducirse tal modelo de evaluación. Nos referimos a la necesidad de unir las tareas de asesoramiento, seguimiento y evaluación, fundiendo en una misma figura al evaluador y al asesor. Se aboga, por tanto, por una evaluación interna, basada en el trabajo prolongado con los grupos implicados en actividades de formación y fundamentalmente cualitativa, como la vía más adecuada para atender la inmensa e ineludible tarea de la evaluación de la formación desde las coordenadas aquí descritas, ya que sólo así es posible que los procesos evaluativos redunden en la práctica y no se conviertan en una tarea yuxtapuesta y ajena a la de la formación. Esto exige abordar la capacitación de estos profesionales para el diseño y desarrollo de planes de evaluación de las ofertas formativas en sus distintos niveles de concreción.

Asimismo, este trabajo pone de manifiesto la necesidad de articular la tarea evaluativa en los CEPs en dos velocidades o niveles de profundización; esto es, será preciso afrontar propuestas de evaluación de naturaleza más superficial que aborden la totalidad de actividades y programas, junto con otras de mayor intensidad y alcance que analicen casos seleccionados por su especial relevancia e interés. De esta forma, podrá responderse a la exigencia básica de someter a análisis, aunque sea parcial, todo el plan de actuación de un Centro de Profesores, como eje nuclear de su propia razón de ser, a la vez que se desarrollan esfuerzos de mayor calidad y trascendencia que permitan poner en funcionamiento los engranajes de la continuación y mejora de la oferta formativa.

Evidentemente, con todo lo anterior no hacemos más que iniciarnos en el complejo campo de la evaluación de actividades de perfeccionamiento del profesorado; sin embargo, su dificultad no nos exime de la necesidad de llevarla a cabo y su inabarcabilidad tampoco nos excusa de hacer de ella, no un trámite burocrático, sino una tarea en sí misma de desarrollo profesional para docentes y formadores, y una herramienta al servicio de la mejora educativa.

Notas

(1) "Coordinador de CEP" es el término empleado en la Comunidad Andaluza para designar el puesto que, de forma general en otras comunidades, se denomina "Director de CEP".

Referencias

Antúnez, S. y otros (1987). L'Avaluació de Plans de Formació Permenent del Professorat. Barcelona: ICE, Universidad Autónoma de Barcelona.

Aubrey, C. (1988). Guidelines for an Effective Evaluation. Brifish Joumal of In‑Service Education, 14(3), 140‑146.

Bolam, R. (1979). Evaluating Inservice Education and Training: A National Perspective. British Journal of TeacherEducation, 5(1), 1‑17.

Bolam, R. (1988). What is Effective INSET? Professional Development and INSET.Proceedings of the 1987 NFER Members Conference. Slough: NFER.

Evans, M. & Hopkins, D. (1988). School Climate and the Psychological State of the Individual Teacher as Factors Affecting the Utilisation of Educational Ideas Following an Inservice Course. British Educational Research Journal,14(3), 211230.

Fordham, A. & Ainley, J. (1980). Evaluation of Staff Development in Technical and Further Education. A Summary of the Reports. ERIC Doc. Rep. Ser. N° ED 197102.

Granado, C. (1992). Evaluación de actividades de autoperfeccionamiento del profesorado. En J.I. Aguaded (Dir.) El autoperfeccionamiento del profesorado. Huelva: ICE.

Holly, P. & Southworth, G. (1989). The Developing School. London: The Falmer Press.

Hopkins, D. (1989). Evaluation for School Development. Open University Press.

Huber, G. (1988). Análisis de datos cualitativos en ordenador. En C. Marcelo (Ed) Avances en el pensamiento del profesor. Sevilla: Servicio de Publicaciones de la Universidad.

Hyde, A.A. & Pink, W. (1991). Thinking about Effective Staff Development. In W.T. Pink & A.A. Hyde (Eds.) Effective StaffDevelopment forSchool Change. Norwood, N.J.: Ablex Pub.

Ingvarson, L. & MacKenzie, D. (1988). Factors Affecting the Impact of Inservice Courses for Teachers: Implications for Policy. Teaching and Teacher Education, 4(2), 139‑155.

Junta de Andalucía (1992). Plan Andaluz de Formación Permanente del Profesorado. IAFFP, Consejería Educación y Ciencia.

Miles, M. & Huberman, M. (1984). Qualitative Data Analysis. A Source Book of New Methods. Beverly Hills: Sage Pub.

Oldroyd, D. & Hall, V. (1991). Managing Staff Development: A Handbook for Secondary Schools. London: Paul Chapman Pub.

Santos, M.A. (1988). La Evaluación Cualitativa de Planes y Centros de Perfeccionamiento del Profesorado: una Forma de Mejorarla Profesionalidad Docente. Investigación en la Escuela, 6, 21‑39.

Stevenson, R.B. (1987). Staff Development for Effective Secondary Schools: A Synthesis of Research. Teaching and Teacher Education, 3(3), 233‑248.

Tesch, R. (1990). Qualitative Research. Analysis Types and Software Tools. London: The Falmer Press.