La medición del aprendizaje de los alumnos

200 Pages·2011·2.8 MB·Spanish

La medición
del aprendizaje
de los alumnos
MEJORES PRÁCTICAS PARA EVALUAR
EL VALOR AGREGADO
DE LAS ESCUELAS

La medición del aprendizaje
de los alumnos
Mejores Prácticas Para evaluar
el valor agregado de las escuelas
Este trabajo se publica bajo la responsabilidad del Secretario General de la OCDE. Las opiniones
expresadas y las conclusiones formuladas en este informe no necesariamente corresponden a las de
los gobiernos de los países miembros de la OCDE.
Por favor, cite esta publicación de la siguiente manera:
OCDE (2011), La medición del aprendizaje de los alumnos: Mejores prácticas para evaluar el valor agregado de las escuelas,
OECD Publishing.
http://dx.doi.org/10.1787/9789264090170-es
ISBN 978-92-64-09016-3 (impreso)
ISBN 978-92-64-09017-0 (PDF)
Esta publicación es producto del acuerdo de cooperación celebrado entre el Gobierno de los Estados
Unidos Mexicanos y la Organización para la Cooperación y el Desarrollo Económicos, que busca
mejorar la calidad de la educación en México.
Ilustración de la portada: ©UNESCO/José Gabriel Ruíz Lembo.
Las erratas de las publicaciones de la OCDE se encuentran en línea en www.oecd.org/publishing/corrigenda.
© OCDE 2011
Usted puede copiar, descargar o imprimir los contenidos de la OCDE para su propio uso y puede incluir extractos de publicaciones, bases de datos y
productos de multimedia de la OCDE en sus propios documentos, presentaciones, blogs, sitios web y materiales docentes, siempre y cuando se dé el
adecuado reconocimiento a la OCDE como fuente y propietaria del copyright. Toda solicitud para uso público o comercial y derechos de traducción
deberá dirigirse a [email protected]. Las solicitudes de permisos para fotocopiar parte de este material con fines comerciales o de uso público deben
dirigirse al Copyright Clearance Center (CCC), [email protected] o al Centre français d’exploitation du droit de copie (CFC), [email protected].
3
Prefacio
La evaLuación deL vaLor agregado de Las escueLas
La prosperidad de los países ahora se deriva, en gran medida, de su capital humano, y para
alcanzar el éxito en un mundo cambiante, las personas necesitan desarrollar sus conocimientos y
habilidades durante toda su vida, empezando por su paso por la educación primaria y secundaria.
Conforme los países miembros y asociados de la OCDE buscan mejorar sus sistemas educativos
en este sentido, se otorga más importancia a las medidas efectivas de desempeño y desarrollo de
alumnos y, por ende, de desempeño escolar. Con este enfoque en los resultados de aprendizaje,
las medidas confiables y válidas de desempeño escolar pueden servir como base para políticas
y programas educativos para la rendición de cuentas, los procesos de mejora escolar y para que
familias y la sociedad en su conjunto cuenten con mayor información sobre la efectividad de
escuelas.
El éxito de estas iniciativas reside en la precisión de la medida de desempeño escolar. Varios
países han dejado de emplear puntuaciones brutas de exámenes como medida única del
desempeño escolar, pues estas puntuaciones reflejan en gran parte los factores contextuales y
de antecedentes de los alumnos, y no representan del todo el desempeño de las escuelas. Esto
resulta problemático: sin una medida precisa del desempeño, sin resultados equitativos y sin
respuestas eficaces de políticas e intervenciones educativas, se corre el riesgo de que los recursos
no se canalicen a los alumnos, escuelas y docentes que más los necesitan para mejorar sus
resultados. Por otra parte, no se pueden mejorar políticas y prácticas educativas si no se conoce
lo que ha demostrado ser eficaz en el contexto local del país o de la entidad (estatal, municipal
o zona escolar, por ejemplo).
Medidas más precisas y confiables aumentan la confianza que los actores del sistema educativo,
incluyendo a directores y docentes, depositan en evaluaciones y políticas educativas. Los
indicadores de valor agregado también son una herramienta importante para identificar buenas
prácticas en el sistema educativo. Relativamente pocos países miembros y asociados de la OCDE,
sin embargo, cuentan actualmente con mecanismos para proporcionar alguna información de
valor agregado en el ámbito escolar. Para los países que ya cuentan con exámenes a grande
escala para medir el desempeño de los alumnos, pero que aún no utilizan modelos de valor
agregado, los requisitos técnicos que a continuacíon se presentan podrán servir como elementos
importantes en la planeación en el corto y mediano plazos.
En este contexto, este informe presenta los múltiples desafíos en el proceso de diseñar, aplicar
y mejorar sistemas basados en modelos de valor agregado. Estos retos incluyen el desarrollo
adecuado de los instrumentos para obtener datos de desempeño, la elaboración de las bases de
datos adecuadas, el diseño de técnicas estadísticas apropiadas y el diseño y puesta en marcha
de las políticas y programas correspondientes, incluyendo iniciativas de mejora escolar. Los
retos técnicos pueden tener repercusiones sustanciales en las políticas e imponen limitaciones
La medición del aprendizaje de los alumnos: Mejores prácticas para evaluar el valor agregado de las escuelas © OCDE 2011
4
Prefacio
a la aplicabilidad de modelos de valor agregado en la elaboración de políticas y programas
educativos. Por tanto, este informe dedica una considerable atención a los aspectos técnicos de
la elaboración de modelos de valor agregado debido a su importancia en el proceso de diseñar
políticas eficaces en esta área.
Este informe ofrece a los responsables de formular políticas educativas, administradores,
directores escolares, docentes, y a otros actores clave, información y orientación sobre cómo
entender y diseñar modelos de valor agregado en beneficio del sistema educativo. El informe se
divide en tres partes: la Parte I analiza los objetivos y el uso de un sistema basado en modelos
de valor agregado. El enfoque de estos capítulos reside en las principales aplicaciones para
políticas y programas que beneficien las iniciativas de mejora escolar, los sistemas de rendición
de cuentas, y la elección de escuelas. Al final del Capítulo 3, se presenta un resumen titulado
“Establecimiento de un sistema basado en modelos de valor agregado: Pasos básicos en la fase de
implementación” dirigido a las autoridades educativas que esperan comprender con rapidez
el proceso requerido para establecer un sistema de evaluación basado en modelos de valor
agregado. La Parte II aborda aspectos técnicos propios de los modelos de valor agregado.
Se centra en aspectos de su diseño, el tipo de modelos posibles y los aspectos estadísticos y
metodológicos pertinentes. La Parte III se centra en la puesta en marcha de sistemas basados en
modelos de valor agregado, y abarca tanto los aspectos políticos e institucionales que deben
abordarse como las consideraciones técnicas que necesitan resolverse.
El informe original se elaboró bajo la coordinación de Ben Jensen del Secretariado de la OCDE
y reunió a expertos e investigadores en modelos de valor agregado de 12 países: Bieke De Fraine
y Eva Van de Gaer (Bélgica, Fl.), Sine Frederiksen y Poul Schjørring (Dinamarca), Gasper Cankar
(Eslovenia), Rosario Martínez Arias (España), Claudie Pascal (Francia), Torbjørn Hægeland
(Noruega), Wim van de Grift (Países Bajos), Maria Eugénia Ferrão (Portugal), Andrew Ray
(Reino Unido), Radim Ryska (Rep. Checa), Anders Broberg (Suecia), Henry Braun (invitado), y
Maciej Jakubowski de la OCDE. Daniel McCaffrey, reconocido experto en el análisis de valor
agregado, realizó una revisión técnica e hizo una contribución sustancial al informe original.
María Castro Morera (España) realizó la revisión técnica y la actualización de referencias y citas
para la versión en español.
La presente edición en español y el trabajo sobre políticas de evaluación e incentivos llevado
a cabo como parte del acuerdo con el gobierno mexicano se produjeron bajo los auspicios
de la División de Indicadores y Análisis del Directorado de Educación de la OCDE, bajo
la responsabilidad de Andreas Schleicher, Michael Davidson, Alejandro Gómez Palma,
Marlene Gras, Elisabeth Villoutreix, Niccolina Clements, Marika Boiron, Isabelle Moulherat,
Fionnuala Canning, Juliet Evans y Shayne MacLachlan. Laura Milena Valencia E. realizó el
trabajo de traducción y Fung Kwan Tam realizó la diagramación.
© OCDE 2011 La medición del aprendizaje de los alumnos: Mejores prácticas para evaluar el valor agregado de las escuelas
5
Índice
IntroduccIón..........................................................................................................................................................................9
Parte I – objetIvos y uso de modelos de valor agregado........................................17
CapÍtulo 1 ObjetivOs de pOlíticas para el desarrOllO de un sistema basadO
en mOdelOs de valOr agregadO...........................................................................................................................19
Usodemodelosdevaloragregadoparaprocesosdemejoraescolar.....................................................22
•Tomadedecisionesbasadaendatos...................................................................................................................22
•Precisióndelasmedicionesdedesempeño...................................................................................................24
•Usodelascaracterísticassocioeconómicasenlosmodelosdevaloragregado...................27
Rendicióndecuentasdelasescuelasmediantelosmodelosdevaloragregado.................................30
•Incentivosyresultadosindeseados.......................................................................................................................35
Eleccióndeescuelaconinformacióndevaloragregado..................................................................................37
Conclusión........................................................................................................................................................................................40
CapÍtulo 2 presentación e interpretación de lOs mOdelOs de valOr agregadO......43
Presentacióndelainformacióndevaloragregado...............................................................................................45
•Estudiodecaso:ReinoUnido..................................................................................................................................46
Identificacióndecambiossignificativosdeldesempeñoescolar................................................................53
Creacióndeestándaresypuntosdereferenciaconinformacióndevaloragregado......................54
Presentaciónenlosmedios...................................................................................................................................................57
CapÍtulo 3 aplicaciOnes de lOs mOdelOs de valOr agregadO para prOcesOs
de mejOra escOlar................................................................................................................................................................63
Escuelascomoorganizacionesdeaprendizaje........................................................................................................64
•Análisisdelosperfilesdevaloragregadodelasescuelas....................................................................66
•Aplicacióndemodelosdevaloragregadoparaayudaralasiniciativas
demejoraescolar.............................................................................................................................................................68
•Aplicacióndemodelosdevaloragregadoparaproyeccionesdedesempeño.......................71
Usodirigidodelosmodelosdevaloragregadoyequidad..............................................................................74
Aplicacióndemodelosdevaloragregadoparamejorarelsistemadeevaluaciónescolar............77
apéndice establecimiento de un sistema basado en modelos de valor agregado:
pasos básicos en la fase de implementación...............................................................................................................83
La medición del aprendizaje de los alumnos: Mejores prácticas para evaluar el valor agregado de las escuelas © OCDE 2011
6
Índice
Parte II – el dIseÑo de modelos de valor agregado.........................................................91
CapÍtulo 4 cOnsideraciOnes de diseñO...........................................................................................................97
Datosdelaevaluacióndealumnos.................................................................................................................................99
•Conceptodevalidez.....................................................................................................................................................100
•Errordemedición...........................................................................................................................................................102
•Escalasdepuntuaciones............................................................................................................................................103
•Resultadosdeevaluaciónenunaescalaordinal......................................................................................104
•Estructuradeevaluacionesdelosalumnosenpaísesparticipantes.............................................106
Filosofíadelajusteycaracterísticascontextuales..................................................................................................110
•Importanciadelascaracterísticascontextuales.........................................................................................111
•¿Quécaracterísticascontextualessocioeconómicas?............................................................................114
•Datosdelniveldeescuela........................................................................................................................................119
CapÍtulo 5 mOdelOs ilustrativOs de valOr agregadO................................................................121
Modelosdevaloragregado:Brevereseñahistórica............................................................................................122
Modelosdevaloragregadoderegresiónlineal.....................................................................................................124
Modelosdecomponentesdevarianzaodeefectoaleatorio.......................................................................125
Modelosdeefectosfijosdevaloragregado.............................................................................................................126
ElmodeloDallas,TX................................................................................................................................................................127
Modelosderespuestadeefectoaleatoriomultivariado...................................................................................129
Análisisdelacurvadecrecimiento...............................................................................................................................131
Conclusión......................................................................................................................................................................................133
CapÍtulo 6 elección de mOdelO: aspectOs estadísticOs y metOdOlógicOs...........135
Criterioestadístico:Varianzayestabilidadintertemporal...............................................................................137
Criterioestadístico:Sesgo.....................................................................................................................................................140
Criterioestadístico:Errorcuadráticodelamedia................................................................................................142
•Datosperdidos...................................................................................................................................................................142
Eleccióndemodeloenanálisisdevaloragregado..............................................................................................144
Conclusión......................................................................................................................................................................................147
Parte III – ImPlementacIón de un sIstema basado en modelos
de valor agregado......................................................................................................................................................151
CapÍtulo 7 establecer ObjetivOs de pOlíticas y elegir el mOdelO adecuadO
de valOr agregadO...........................................................................................................................................................153
Determinacióndelavariableconlacualmedirelvaloragregado.........................................................155
•Medidascategóricasycontinuas.........................................................................................................................156
Identificacióndelmodeloadecuadodevaloragregadoqueabordemejor
losobjetivosdepolíticas...........................................................................................................................................................157
Elaboracióndeunabasededatoseficaz...................................................................................................................160
Importanciadelprogramapilotoparalosmodelosdevaloragregado.................................................165
CapÍtulo 8 desarrOllO y usO de lOs mOdelOs de valOr agregadO................................169
Usoderesultadosdeunamediamóvildetresaños..........................................................................................173
Comunicaciónycompromisoconactoresclave..................................................................................................174
Desarrollodeunprogramadeformación...................................................................................................................178
Presentaciónyusodelainformacióndevaloragregado...............................................................................182
bIblIografía..........................................................................................................................................................................185
© OCDE 2011 La medición del aprendizaje de los alumnos: Mejores prácticas para evaluar el valor agregado de las escuelas
7
Índice
lista de cuadros, gráficas y recuadros
Cuadros
Cuadro2.1 Cantidaddeescuelasporañoconcambiosanualesconsecutivossignificativos
enpuntuacionesdevaloragregadocontextualizadoentre2005y2006....................................56
Cuadro4.1 Exámenesdealumnosenpaísesparticipantesqueenpotenciaseusarían
paramodelosdevaloragregado..................................................................................................................107
Cuadro4.2 Datoscontextualesrecopiladosenpaísesparticipantesqueenpotenciaseusarían
enmodelosdevaloragregado......................................................................................................................118
Cuadro6.1 Cambiosabsolutosenvaloragregadocontextualizado(VAC),valoragregado(VA)
yresultadosbrutos(APS):Resumendeestadísticas,Etapa4,2005-06(RU)............................138
GráfiCas
Gráfica2.1 EjemplodecálculodelalíneademedianadelvaloragregadoenelReinoUnido................47
Gráfica2.2 EjemplodelsitiodeInternetdelosCuadrosdeDesempeñoEscolardelvaloragregado...........48
Gráfica2.3 Ejemplodeinformacióndevaloragregadocontextualizadoproporcionada
paraunaescuelasecundariadelReinoUnido.........................................................................................50
Gráfica2.4 Cambiosdevaloragregadocontextualizado(VAC)comparadosconcambios
enlosresultadosbrutosdelogros..................................................................................................................53
Gráfica2.5 ExtractodelperiódicoThe Guardian(19deenerode2006)quepresentadatos
devaloragregadoydeotrostipos.................................................................................................................57
Gráfica2.6 ExtractodeThe Times(19deenerode2006)quepresentauna“tabladeliga”
devaloragregado..................................................................................................................................................58
Gráfica2.7 ResultadosdevaloragregadodeunaescueladelReinoUnidodisponiblesenelsitio
deInternetdelaBBC,2008.............................................................................................................................60
Gráfica3.1 EjemplodelperfildematemáticasdeunaescuelaenelTVAAS.....................................................67
Gráfica3.2 EjemplodeunInformeEscolarTVAAS,2006...........................................................................................70
Gráfica3.3 EjemplodeunInformedeProyecciónTVAAS.........................................................................................72
Gráfica3.4 EjemplodelInformeEscolardelTVAAS(Álgebra)..................................................................................73
Gráfica3.5 EjemplodetrayectoriasdedesempeñocomparativasdeTVAAS.....................................................75
Gráfica4.1 Ilustracióngráficadelprocesodeajusteestadístico............................................................................110
reCuadros
Recuadro2.1DescripcióndelvaloragregadocontextualizadoenlosmediosdelReinoUnido..................59
Recuadro3.1Interésenprocesosdeenseñanzayaprendizajeespecíficosdeinspeccionesescolares
enlosPaísesBajos................................................................................................................................................79
Recuadro8.1ProgramasdeformaciónenPolonia...........................................................................................................179
La medición del aprendizaje de los alumnos: Mejores prácticas para evaluar el valor agregado de las escuelas © OCDE 2011