EVALUACIÓN EN ESCUELAS DE EUROPA -I
PROYECTOS EDUCATIVOS
MINISTERIO DE EDUCACIÓN Y CULTURA
SECRETARÍA DE ESTADO DE EDUCACIÓN, MADRID, 1999
ORIGINAL


Introducción

El proyecto piloto europeo de evaluación de la calidad en la enseñanza escolar queda enmarcado en la Acción 3.1 del capítulo III del programa Sócrates. Han participado 101 escuelas de 18 países europeos en un ejercicio de autoevaluación. El propósito es compartir y conseguir un conocimiento más profundo de la calidad de los centros escolares, y de cómo mejorarla.
        El proyecto ha planteado a cada centro escolar participante el reto de explorar su nivel de calidad realizando un diagnóstico mediante pautas marcadas en la guía de autoevaluación, documento de carácter muy general y abierto que fue entregado a los centros al comienzo del proyecto. Una vez determinado el nivel de cada centro, la segunda etapa sería mejorar ese nivel de calidad mediante el diseño de planes de actuación dirigidos a las áreas de mejora.
        En el proyecto han participado los 15 países de la Unión Europea, más Islandia, Liechtenstein y Noruega. Cerca de la mitad de los centros participantes tienen alumnos en el primer ciclo de secundaria (ISCED 2) y la otra mitad en el segundo ciclo y en Bachillerato (ISCED 3). El número de centros de cada país guarda relación con su población. España ha participado con 10 centros.


        El proyecto iniciado por la comisión europea ha contado, además, con la ayuda de un grupo asesor y un grupo conductor. La comisión europea y el grupo asesor han determinado el marco conceptual. El grupo conductor es responsable de la preparación y elaboración del diseño técnico del proyecto sobre la base del marco conceptual previo. Los integrantes del grupo conductor han sido John MacBeath (Centro de Calidad de la Educación de la Universidad de Strathclyde, Glasgow), Denis Meuret (Instituto Universitario de formación de profesores, Rennes) y Michael Schratz (Departamento de Educación de la Universidad de Innsbruck).
        Los centros del proyecto estaban separados en dos tipos ya que existían dos subproyectos. En el subproyecto 1 se trataba de documentar e informar sobre el proceso de selección de métodos de evaluación. El subproyecto 2, en fase más avanzada, tenía que investigar cómo aprovechar los resultados de la autoevaluación y cómo hacer un plan de mejora. Por tanto, los centros escolares del proyecto podían estar en una fase de iniciación o haber recorrido parte del camino de la autoevaluación. Solo uno de los centros españoles estaba en este segundo caso. Los restantes han participado en el subproyecto 1. Los centros han gozado de amplia libertad para seguir un procedimiento de evaluación adecuado a su contexto y estado de desarrollo aunque, según se esperaba de ellos, han compartido un núcleo común de áreas que debían ser evaluadas y han intercambiado información sobre los procesos.
        Esperaba el proyecto la colaboración entre los centros europeos, establecer redes con otros centros. Para ello, en los comienzos del proyecto, un representante de cada centro fue invitado a la conferencia de lanzamiento en Luxemburgo. En esa conferencia los representantes de los centros pudieron establecer un contacto inicial con otros centros aunque fuese de modo superficial. Las direcciones de todos los centros figuraban en la página de Internet del proyecto posibilitando así la visita a otros centros, centros que tuvieran una mayor experiencia en autoevaluación, para conocer el sistema educativo de otros países, el funcionamiento de los centros, los mecanismos de participación de los distintos sectores educativos en el proyecto y la marcha del proyecto en el centro. Dentro de este aspecto, profesores de los centros españoles realizaron visitas a centros de Escocia, Inglaterra, Irlanda e Italia también participantes en el proyecto.

Elementos que caracterizan el proyecto son:

- el grupo conductor del proyecto en cada centro
- el perfil de autoevaluación de cada centro
- la figura del amigo crítico (uno común a todos los centros de Madrid)
- las guías de participación y autoevaluación junto con los cuestionarios de recogida de información acerca del proyecto

        El grupo conductor, uno en cada centro, ha sido el responsable de la puesta en marcha del proyecto, intentando motivar a todos en la autorevisión de la organización, gestión, funcionamiento del centro y conjunto de actividades de enseñanza-aprendizaje. Habría sido deseable que en ese grupo conductor estuviesen involucrados todos los sectores de la comunidad educativa (profesores, alumnos, padres y personal no docente) pero, en el caso español, no siempre ha sido así.
        El perfil de autoevaluación tal y como aparece descrito en otra sección de este texto ha sido una herramienta muy apreciada, tanto por su fácil mecanismo de funcionamiento, y su inmediata aplicación práctica para detectar las áreas de trabajo, como por la visión que proporciona del estado del centro y de su evolución.
        El amigo crítico estaba concebido como una persona ajena al centro escolar con experiencia en evaluación y que pudiera colaborar con cada centro y fomentar el establecimiento de una red de centros. El marco teórico de este amigo crítico era demasiado amplio, y en el caso español, sus tareas se han visto reducidas, colaborando más ampliamente con aquellos centros que así lo han deseado.


        En cuanto a los materiales, cada centro contaba con una guía del participante, una guía de autoevaluación y completó al comienzo del proyecto un perfil de candidatura y un cuestionario inicial sobre su experiencia y puntos de vista en la evaluación interna y externa. Al final del proyecto los centros contestaron a otro cuestionario final sobre cómo se había desarrollado el proceso en el centro y lo que había supuesto la dimensión europea.
        En la página Internet de la comisión europea dedicada al proyecto había información general sobre el proyecto y se podían extraer todos los documentos relacionados con el proyecto según iban siendo elaborados y distribuidos.
        A lo largo del proyecto los centros pudieron escribir acerca de su experiencia con contribuciones muy variadas: ideas, claves y pistas útiles en autoevaluación, relatos de alumnos sobre su experiencia en los centros, visitas a otros centros, solicitar consejos y orientaciones de los autores del diseño técnico del proyecto, plantear preguntas y dudas. Se publicaron tres boletines de noticias, en los dos primeros España realizó aportaciones de profesores, alumnos, y del amigo crítico.
        Como formación en autoevaluación, el INCE coordinó en colaboración con la Subdirección General de Institutos de Educación Secundaria (IES) un curso impartido por asesores técnicos del MEC sobre el Modelo europeo de gestión de calidad, curso al que asistieron dos representantes de cada centro.
        Los resultados del proyecto piloto europeo se pusieron en común en la conferencia final celebrada en Viena, donde los centros tuvieron ocasión de compartir sus impresiones sobre el proyecto en su conjunto.
        Aunque el proyecto no va a continuar globalmente, los centros pueden solicitar ayudas Comenius, dentro del programa Sócrates, uniéndose a centros de otros países para poder avanzar en la mejora de la calidad.
        La Comisión europea ha publicado un informe, con los datos y la experiencia de los 101 centros. Con este informe nacional se pretende dar a conocer el proyecto, su desarrollo, los obstáculos y dificultades, los aciertos y las conclusiones extraídas para que otros puedan capitalizar en el trabajo realizado.

Historia del Proyecto

Selección de centros

        La comisión europea elaboró un perfil de candidatura para los centros participantes. Quedaban excluidos centros sin interés en la autoevaluación, o con menos de 150 alumnos. Los criterios de inclusión en el proyecto fueron:

- tener una experiencia positiva en autoevaluación y algo que ofrecer en este aspecto a los restantes centros
- si no tenían experiencia, que hubiera un clima favorable a las ideas nuevas y voluntad innovadora

Además para seleccionar un grupo amplio de centros, se tomaron como criterios:

- la edad de los alumnos (ISCED)
- el nivel socioeconómico de los alumnos
- la distribución geográfica de los centros

        Los criterios debían ser tenidos en cuenta según el orden citado: en el caso de España, se respetaron los dos primeros, ya que, debido al escaso tiempo disponible para seleccionar los centros, y a problemas iniciales sobre la financiación del proyecto, los centros elegidos fueron todos de Madrid, sin hacer intervenir el criterio de la distribución geográfica y con el visto bueno de la comisión europea; se seleccionaron 4 centros privados y 5 públicos. Considérese que representantes de los centros tenían que reunirse para intercambiar ideas sobre el proyecto, la subvención para el proyecto aún no había sido solicitada, y así habría sido muy difícil poner en marcha el proyecto sin disponer de la ayuda económica necesaria para reunir a los representantes de los centros. Más adelante, ya una vez iniciado el proyecto, se unió a los centros el IES Pérez Galdós, de Las Palmas de Gran Canaria, como representante de 12 centros que participantes en un proyecto de autoevaluación en la Comunidad Autónoma Canaria (Evaluación interna y desarrollo de centros), coordinado por el Instituto Canario de Evaluación y Calidad Educativa (ICEC).

El perfil de candidatura

        Los centros completaron un perfil de candidatura respondiendo a preguntas sobre información básica del centro: nombre, emplazamiento, número de alumnos y profesores, estructura por edades, perfil socioeconómico y perfil étnico, a preguntas sobre la evaluación interna (realizada por el centro) y externa (realizada por otras personas u organismos) de la calidad de la enseñanza escolar, sobre aspectos de la escuela evaluados recientemente tanto en evaluación interna como externa, sobre el compromiso con el proyecto y sobre la posibilidad de acceso a Internet.
        La evaluación interna de la calidad escolar es entendida y formulada en el perfil de candidatura propuesto por la comisión europea como la práctica de alguna de las siguientes actividades [1], que aparecen acompañadas de los datos del proyecto para Europa (EU) y España (ES). (Ver cuadro más adelante).
        Evaluar la calidad a nivel interno no es una actividad muy común en los centros europeos. A nivel europeo todas las actividades propuestas están entre un 29% y un 52% de centros que dicen llevarlas a cabo. La menos frecuente es la observación en clase por miembros del personal.
        En el caso de España prima la redacción de informes, ya sea de la evaluación del personal docente por sí mismo de la calidad de la enseñanza del centro para un organismo local o nacional, informes que parecen corresponderse con la Memoria del departamento y la Memoria fin de curso para la administración.
        Las actividades que en el caso de España registran un 30% o un 40% alcanzan ese valor con la respuesta afirmativa de 3 o los 4 centros privados del proyecto, los centros públicos dan respuesta negativa a esos apartados.

Actividades

EU

ES [2]

Observación en clase por miembros del personal

29%

30%

El personal docente evalúa por sí mismo la calidad de la enseñanza y redacta un informe

42%

80%

Los profesores se reúnen con otros miembros del personal para evaluar su trabajo

52%

30%

Los alumnos comentan la calidad de la enseñanza

49%

60%

La dirección redacta un informe sobre el centro para un organismo local o nacional

55%

80%

Los profesores evalúan el centro en su conjunto

52%

40%

Otros (alumnos, padres) evalúan el centro en su conjunto

38%

30%


        Resumiendo lo anterior y destacando, cuando existen, las diferencias entre centros privados y centros públicos, sobre la evaluación interna en los centros españoles participantes, los datos reflejan que:

- en ningún centro público hay observación del profesorado por parte del personal (entiéndase el término “personal” en sentido muy amplio, como equipo directivo, jefes de departamento o profesores del centro ya sean del mismo o de otro departamento), en cambio en 3 de los 4 centros privados sí sucede así
- en prácticamente todos los centros la dirección redacta un informe sobre el centro para un organismo local o nacional (memoria fin de curso para la dirección provincial que deben hacer todos los centros sostenidos con fondos públicos, con las conclusiones para el consejo escolar y equipo directivo sobre el grado de cumplimiento de la programación general anual)
- en casi todos los centros participantes el personal docente evalúa por sí mismo la enseñanza y redacta un informe (la memoria fin de curso de cada departamento)
- en todos los centros públicos los alumnos comentan la calidad de la enseñanza (en las tutorías o juntas de evaluación)

        La evaluación externa también es poco común en Europa, un 37% o menos de los centros europeos afirman haberse encontrado en alguna de las siguientes situaciones: autoridades externas observan al profesorado para evaluar la calidad de la enseñanza, autoridades externas evalúan algunos aspectos de los centros (con vistas a la política de igualdad de oportunidades) o autoridades externas evalúan la calidad o la eficacia de la escuela en su conjunto. El caso español es parecido, a lo más un 30% de centros responde sí a alguna de las situaciones propuestas.

Objeto de la evaluación

Se sugerían ocho aspectos posibles de evaluación interna y/o externa:

- logros del alumnado
- actitud del alumnado con respecto al centro
- actitud de los padres con respecto al centro
- actitud del profesorado con respecto al centro
- eficacia de la enseñanza y el aprendizaje
- gestión o dirección
- clima escolar
- eficacia del centro

        Las respuestas afirmativas mayoritarias tanto en Europa como en los centros españoles participantes son para los dos primeros aspectos y en lo referente a la evaluación interna. Se evalúa pues los logros del alumnado y la actitud del alumnado con respecto al centro y de modo interno.
        En 3 de los 4 centros privados españoles participantes en el proyecto hay evaluación interna de casi todos los aspectos enumerados.
        Un 80% de los centros europeos estaban conectados a Internet y el mismo porcentaje de centros españoles también lo estaba.

Coordinación. Reuniones

        En la coordinación y seguimiento del proyecto distinguiremos entre

- seguimiento a nivel nacional
- seguimiento a nivel europeo
- visitas a otros centros

        El trabajo ha sido realizado por los centros, el INCE ha facilitado la cooperación entre centros y el intercambio de experiencias entre ellos.
        En uno de los documentos facilitados por la comisión europea se dice que "en el aprendizaje e intercambio de las mutuas experiencias está la clave del valor y la perdurabilidad del proyecto". A nivel nacional, y teniendo en cuenta el objetivo citado, se han celebrado un total de 9 reuniones en el INCE para poner en marcha el proyecto, hacer un seguimiento, intercambiar ideas, materiales y experiencias, y planificar la elaboración de este informe nacional para dar a conocer los resultados del proyecto. Además de las reuniones se han realizado visitas a los centros para conocer el clima de trabajo y las dificultades y obstáculos que el proyecto planteaba.
        A nivel europeo, la comisión europea en colaboración con el país que al que correspondía la presidencia del Parlamento europeo en ese periodo, ha organizado dos conferencias internacionales: la conferencia de Luxemburgo a mediados de noviembre del 97, que sirvió de lanzamiento al proyecto y la conferencia de Viena, a últimos de noviembre del 98, conferencia final del proyecto.
        Además ha habido contactos de carácter internacional, parte de los recursos económicos del proyecto, una vez conseguida la subvención de la comisión, se invirtieron en la realización de visitas a otros centros escolares europeos también participantes en el proyecto y con una mayor experiencia en autoevaluación que los centros españoles.

Seguimiento a nivel nacional

        En la página siguiente figura el calendario de reuniones a nivel nacional y el motivo central de cada una de ellas.
        Las reuniones fueron de tres tipos: reuniones informativas de las pautas dadas por la comisión europea, reuniones de información sobre los instrumentos de evaluación elaborados por los centros, reuniones de resumen del trabajo realizado.
        Entre estas últimas resumimos el resultado del coloquio sobre el desarrollo del proyecto en los centros.

Reunión de intercambio de experiencias sobre el proyecto piloto

        Al principio hubo confusión y falta de información. En general hay recelo a la participación de padres y alumnos, aunque han ido incorporándose poco a poco al proyecto.
        Ha prevalecido la evaluación mediante cuestionario como modo más tangible de medir además de por su carácter de anonimato.
        Evaluaciones de carácter cualitativo (grupos de discusión) o con un componente personalizado como la evaluación de profesores o la evaluación fotográfica no se han intentado.
        Se echa en falta la formación. Junto con la necesidad de hacer propios los instrumentos para que sean aceptados, se lucha con la falta de experiencia en este campo.
        Hay cierto nivel de autoexigencia del profesorado, y cierta ambición de metas que no está en concordancia con las metas pretendidas por la guía de autoevaluación del proyecto ni con lo que se puede conseguir cuando se aborda un trabajo por primera vez.

Fecha

Motivo de la reunión

9 de octubre del 97

"Guía de autoevaluación" y cuestionario inicial

4 de noviembre del 97

Discusión sobre el presupuesto del proyecto

2 de diciembre del 97

Perfiles de autoevaluación y selección de áreas

20 de enero del 98

Propuestas de materiales de evaluación

10 de febrero del 98

Intercambio de materiales entre los centros

21 de abril del 98

Informe sobre la reunión de coordinadores nacionales (Bruselas). Propuesta del curso "Modelo europeo de gestión de calidad". Comentarios al primer boletín de noticias del proyecto y propuestas de contribución al segundo

9 de junio del 98

Cuestionario final

23 de junio del 98

Coloquio sobre el desarrollo del proyecto en los centros

6 de octubre del 98

Plan de elaboración de este informe final


a) acogida del proyecto en el centro


- los comienzos fueron muy confusos por falta de información y hubo recelo de los profesores al proyecto y en algunos casos, a la participación de padres y alumnos. No hubo implicación de todo el centro
- convencer de que la autoevaluación es necesaria, y evitar que después de la fase inicial de recelo, se pase a una situación de indiferencia, y ausencia de compromiso

b) ¿han estado todos los sectores informados? Equipo directivo, profesores, padres, alumnos

- sí, aunque no todos han participado. En la mayoría de los centros ni padres ni alumnos ni un sector del profesorado han participado activamente, han sido sujetos pasivos a los que se les ha pedido opinión a través de una encuesta dentro de las áreas evaluadas pero no han formado parte del grupo conductor del proyecto
- se informó en claustro al comienzo y era un punto en el orden del día de todas las reuniones en claustro

c) ¿es el grupo de dirección del proyecto suficiente para lanzar un proyecto de autoevaluación?

- no, son necesarias reuniones de orientación para aprender a elaborar herramientas (cuestionarios trabajados) y/o discutirlas
- en general, se pide formación en autoevaluación

d) resistencia al proyecto y posibles causas

- la desinformación y confusión iniciales
- el miedo a la autoevaluación, el miedo a juzgarse o ser juzgado
- el rechazo al ministerio o lo que venga de él (en algunos centros el plan EVA fue una mala experiencia); la necesidad de una persona independiente que haga la presentación de la idea o el proyecto

e) ejemplos de buen funcionamiento

- el intercambio de opiniones entre los centros a través de las reuniones en el INCE
- el consejo escolar ha estado informado
- alumnos involucrados en momentos puntuales, a través de un interés que surja de ellos o como trabajo englobado en alguna materia
- información a disposición de todos en un tablón para el seguimiento del proyecto

f) regularidad en el trabajo o en las reuniones

- reuniones semanales, subcomisiones para trabajar de 3 en 3 y puestas en común mensuales. Encajar reuniones fijas en horario lectivo, eso se puede hacer pero es difícil si no está fijado previamente al confeccionar los horarios del profesorado
- fijar reuniones por la tarde a posteriori es complicado porque los componentes del grupo no tienen la misma disponibilidad de tiempo libre

g) cuestionarios y cómo se ha tratado la información recogida a través de ellos (muestra, forma de recuento, gráficos, porcentajes) ¿a quién ha correspondido esta tarea?

- en la mayoría de los centros se ha preguntado a todos los sectores, aunque padres y alumnos sean sujetos pasivos colaboran en la tarea dando su opinión
- dificultad de hacer cuestionarios que gusten a todos
- la tarea de recuento de respuestas ha correspondido a algún objetor de conciencia con servicio en el centro

h) otras formas de evaluación que no sean cuestionarios y su uso o razón de su ausencia

- observación de procesos y observación de funcionamiento
- preferencia de métodos que miden a la evaluación cualitativa
- en el área de dificultades de aprendizaje: organización y revisión de procesos utilizados con los alumnos de integración

i) comentarios

- la iniciativa de la autoevaluación tiene que partir del centro; el proyecto ha servido en algunos centros de trampolín para sensibilizarse a la autoevaluación
- el proyecto cobra vida al acabar, ha despertado conciencias o propuesta de elaborar un Plan de Acción de Mejora (PAM) con un grupo numeroso de profesores haciendo un informe del centro
- el (los) cuestionario(s) debe surgir del centro. Hacer los instrumentos convierte el proyecto en propio
- debe haber una participación activa por parte del centro pero surge con la paradoja de la dificultad de empezar; un proyecto como este puede servir de arranque, de motor para crear conciencia de la necesidad de la autoevaluación
- el proceso empieza por la pregunta ¿qué queremos evaluar?, se necesita la ayuda de un experto para diseñar el instrumento, e interpretar los resultados. Esta necesidad, en parte justificada, en parte debida a querer hacer más de lo que se puede y aunque sea de modo inconsciente es también una excusa para la parálisis
- salir del ámbito del centro sirve y ayuda al aprendizaje de la autoevaluación. Es compartir con otros motivación o frustraciones, es una terapia de grupo evaluador
- casi todos los instrumentos son cuestionarios: conviene hacer un autoexamen y ver por qué no se han usado otros procedimientos como observaciones de clase realizadas por profesores, o evaluación fotográfica de seguimiento de la vida del centro a lo largo de un día
- hay también un factor de autoexigencia y ambición que parece querer abarcar más de lo que se pide o de lo que se puede o se espera que los centros hagan, ese factor es contraproducente, es un freno, no motiva sino que desmotiva. Hay que entender que algo que está naciendo está muy lejos de ser perfecto, reconocer que el método de prueba y error es una manera de aprender y la guía de autoevaluación no pretende en ningún caso un estudio de investigación como el que realizaría un especialista

NOTAS
1. El porcentaje debe entenderse como una forma breve de referirse a los centros, no como un número representativo de la población de centros. Los centros no son en ningún caso representativos ni por países ni a nivel europeo, son centros elegidos para un ensayo. Es decir los centros no son una muestra que represente a una población.
2. Uno de los centros no completó esta pregunta y sus respuestas ausentes son contadas como negativas.