evaluation of usaid/peru's education program: aprendes and cett-andino

273 Pages·2010·2.07 MB·English

EVALUATION OF USAID/PERU’S
EDUCATION PROGRAM: APRENDES AND
CETT-ANDINO

FINAL EVALUATION REPORT

April 2010 

This publication is made possible by the generous support of the American people through the United States Agency 

for International Development (USAID/Peru) under the ABE/BE IQC, Contract Number EDH‐I‐09‐05‐00035‐00. The 
contents are the responsibility of the authors and do not necessarily reflect the views of USAID or the United States 

Government.
EVALUATION OF USAID/PERU’S EDUCATION PROGRAM: APRENDES 
AND CETT‐ANDINO 

CONTRACT NUMBER: EDH‐I‐09‐05‐00035‐00 
Under ABE/BE IQC 

Report Submitted to: USAID/Peru 

Report Prepared By: 
Marcia Bernbaum, Ph.D. 
Jose Rivero Herrera 
Ernesto Schiefelbein, Ph.D. 

April 2010 

The Mitchell Group, Inc. 
1816 11th Street N.W. 
Washington, D.C. 20001 
Telephone: (202) 745‐1919 
Facsimile: (202) 234‐1697 
Internet: the‐mitchellgroup.com
TABLE OF CONTENTS 
ACRONYMS ............................................................................................................................... i 
ACKNOWLEDGEMENTS .......................................................................................................iii 
EXECUTIVE SUMMARY ........................................................................................................ v 
I.  BACKGROUND ................................................................................................................ 1 
A.  Evaluation Objectives .................................................................................................. 1 
B.  Evaluation Methodology .............................................................................................. 1 
C.  Overview of the Education System and Decentralization in Peru ............................... 2 
D.  Overview of USAID/Peru’s Education Strategy and Programs ................................... 3 
E.  Contents of this Report ................................................................................................. 4 
II.  KEY FINDINGS ................................................................................................................. 6 
A.  Extent to which Programs Met their Objectives .......................................................... 6 
B.  Contributions to Improving the Quality of Education in Peru ..................................... 8 
C.  Factors that Contribute to the Success of the Models. ............................................... 10 
D.  Limits to the Effective Functioning of the Approaches ............................................. 12 
E.  Contributions of Experiences and Best Practices ....................................................... 13 
F.     Efforts to Replicate ..................................................................................................... 15 
G.  Prospects for Sustainability ........................................................................................ 16 
H.  Cost-effectiveness ...................................................................................................... 19 
I.   Support for Regionalization in Peru ........................................................................... 20 
J.     Contributions to Democratic Behaviors and Respect for Diversity ........................... 25 
III.  ISSUES .......................................................................................................................... 27 
A.  AprenDes .................................................................................................................... 27 
B.  CETT-Andino ............................................................................................................. 28 
C.  USAID’s New Project, SUMA .................................................................................. 29 
IV.  RECOMMENDATIONS ............................................................................................... 33 
A.  Improving and Maintaining Quality and Relevance .................................................. 33 
B.  Ensuring Sustainability .............................................................................................. 33 
C.  CETT-Andino ............................................................................................................. 34 
D.  Education Policy Reform and Regionalization: ......................................................... 34 
V.  LESSONS LEARNED AND BEST PRACTICES........................................................... 35 
A.  Support of Effective Practices at the School/Community Level ................................ 35 
B.  Achieving Sustainability with Quality ....................................................................... 37 
C.  Support of Policy Reform and Regionalization ......................................................... 38

TOPICAL ANNEXES
ANNEX A: Questions in Evaluation SOW .............................................................................. 40 
ANNEX B: Data Collected ....................................................................................................... 71 
ANNEX C: Influence on Public Policy in Peru ........................................................................ 98 
ANNEX D: Illistrative Analysis of Cost-Effectiveness .......................................................... 116 
ANNEX E: Key Findings for Strategic Program for Learning Results .................................. 126 
ANNEX F: Experience from Public Investment Projects ....................................................... 129
ANNEX G: Success Stories .................................................................................................... 156
REFERENCE ANNEXES
ANNEX H: Evaluation Questions .......................................................................................... 162 
ANNEX I: Individuals Interviewed ........................................................................................ 165 
ANNEX J: Documents Consulted .......................................................................................... 173 
ANNEX K: Protocols for School Visits ................................................................................. 181 
ANNEX L: Interview Protocols.............................................................................................. 217
ACRONYMS 

ABE/BE     Assistance to Basic Education 
AECI  Agency  Española  de  Cooperación  Internacional  (Spanish  International 
Cooperation Agency) 
AED  Academy for Educational Development 
ANGR  Asamblea National de Gobiernos Regionales (National Assembly for Regional 
Governments) 
AprenDes    Innovations in Decentralization and Active Schools 
CEPCO  Centro de Estudios y Promoción Comunal del Oriente 
CETT      Centers of Excellence for Teacher Training 
CIDA  Canadian International Development Agency 
CNE      Consejo Nacional de Educación (National Education Council) 
CONEI      Consejo Educativo Institucional 
COPAL      Consejo Participativo Local 
COPARE    Consejo Participativo Regional 
COTR      Contracting Officer’s Technical Representative 
DRE  Dirección General de Educación (Regional Office of Education) 
GOP  Government of Peru 
GRADE  Grupo de Análisis para el Desarrollo (Analysis Group for Development) 
GTZ  German Technical Cooperation 
IQC      Indefinite Quantity Contract 
IR      Intermediate Result 
ISP  Instituto Superior de Educación (Teacher Training Institute) 
LAC      Latin America & the Caribbean 
LAP      Logros de Aprendizaje (Learning Outcomes) 
LOF  Ley Orgánica de Funciones (Law of Organization and Functions) 
MED  Ministry of Education 
MEF      Ministry of Economy and Finance 
NGO  Non Government Organization 
PAT  Plan Annual de Trabajo (Yearly Work Plan) 
PCM  Presidencia del Consejo de Ministros (Presidency of the Council of Ministers) 
PEI  Proyecto Educativo Institucional (School Vision) 
PELA  Programa Estratégico de Logros de Aprendizaje (Strategic Program for Learning 
Results) 
PEN      Proyecto Educativo Nacional (National Education Project) 
PER  Proyecto Educativo Regional (Regional Education Project) 
PIP  Proyecto de Inversión Pública (Public Investment Project) 
PLANCAD  Plan Nacional de Capacitación Docente 
PMP      Performance Management Plan 
i
PMPE  Programa de Mediano Plazo de Educación (Medium Term Education Plan) 
PROMEB  Programa de Mejoramiento de la Educación Básica de Piura (Piura Program to 
Improve Basic Education) 
PRONAFCAP             Programa   Nacional   de  Formación  y  Capacitación  Permanente    (National 
Program for Ongoing Teacher Formation and Training) 
SD  Secretaría de Descentralización (Decentralization Secretariat) 
SINEACE Sistema Nacional de Evaluación, Acreditación y Certificación de la Educación 
Superior (National System for Evaluation, Accreditation, and Certification for 
Superior Education)
SO      Strategic Objective 
TMG      The Mitchell Group 
UGEL  Unidad de Gestión Educativa Local (Provincial Education Unit) 
UNESCO  United Nations Educational, Scientific and Cultural Organization 
UPCH      Universidad Peruana Cayetano Heredia (Cayetano University of Peru) 
USAID      United States Agency for International Development 
UMC  Unidad de Medición de Calidad (Quality Measurement Unit) 

ii
ACKNOWLEDGEMENTS 
The evaluation team would like to take this opportunity to acknowledge and thank the many 
individuals that made this evaluation possible. 
Our thanks, to begin with, to the staff in the Education Office of USAID/Peru – Cristina Olive, 
Fernando Bolaños, and Yolanda Platón – for developing an excellent scope of work for the 
evaluation and for providing sufficient time for the evaluators to be able to delve into the many 
topics addressed in the scope of work.  Our thanks also to Ms. Olive, Mr. Bolaños, and Dr. 
Platon for the amount of time they spent with us over the many meetings we held with them. 
We would also like to extend our thanks to Libertad Barraza, the USAID education office 
assistant, who helped us to schedule a number of important meetings inside and outside of 
USAID. We would like to extend a very special thanks to Dr. Platón, who was our direct 
backstop, for her time, interest and invaluable guidance to us as we carried out the evaluation. 
We would also like to express our sincere appreciation to the staff of SUMA/former AprenDes 
and CETT‐Andino and, in particular to: Marita Palacios, Cecilia Ramirez, Teocrito Pinedo, Jaime 
Niño Diez, Antonieta Harwood, Oscar Mogollón, Marina Solano, Carmen Salazar, and Kristin 
Brady  (SUMA/former  AprenDes);  as  well  as  Dr.  Manuel  Bello  and  Raquel  Villaseca  (CETT‐
Andino).  Thanks to these individuals the team was able to: obtain the documentation that it 
needed in order to carry out the evaluation; identify and receive support in organizing visits to 
schools; and answer our many questions posed over the course of many meetings. 
We would like to extend our thanks to officials and staff from the Ministry of Education (MED), 
and in particular Vice‐Ministers of Education Idel Vexler and Victor Raul Diaz Chavez, for taking 
time from their busy schedules to meet with us.  In addition we are very grateful to members of 
the staff and former staff of the office of the Presidency of the Council of Ministers (PCM), 
counselors and former counselors as well staff and former staff of the National Education 
Council (CNE), and staff and former staff of the National Assembly of Regional Governments 
(ANGR) for taking the time to meet with us, providing excellent insights that were invaluable in 
carrying out the analyses required to prepare our report.  The team also met with many 
education opinion leaders in Peru, representatives from several donors, and representatives of 
companies  that  have  agreements  with  CETT‐Andino.    All  of  these  individuals  provided 
invaluable background and insights that were of great use in helping us to come up with our 
evaluation findings. 
In  the  regions,  we  had  the  opportunity  to  meet  with  several  regional  presidents,  vice‐
presidents, and other staff from the regional governments of San Martin, Ucayali, Amazonas 
and Junín.  We also met with Directors and staff from the Regional Education Offices (DRE) of 
San Martin, Amazonas and Junin as well as various Provincial Education Offices (UGEL) of San 
Martin, Piura, and Lima Provinces.  Our sincere thanks to them for their time and insights. 
A real highlight of the evaluation was having the opportunity to visit AprenDes, CETT‐Andino 
and non‐project primary schools in the regions of Lima, Piura, San Martin, Ucayali where we 
observed classes and interviewed school directors, teachers, students and parents.  This was a 
iii
rich experience and we thank each and every one of the individuals that we met with for their 
time and contributions. 
Finally,  our  sincere  thanks  to  staff  of  The  Mitchell  Group  (TMG)  –  Mary  Fontaine,  Sara 
Roswurm, Julie Wilson, and Eric Crane for their invaluable backstop support – and to Silvia 
Macchiotta who in a highly professional fashion made all of our appointments and logistical 
arrangements in Peru. 
Marcia Bernbaum 
Jose Rivero Herrera 
Ernesto Schiefelbein 

iv
EXECUTIVE SUMMARY 
Background 
Between November 22 and December 10, 2009 and January 18 and March 3, 2010 a three 
person  team,  under  contract  to  The  Mitchell  Group  (TMG),  carried  out  an  evaluation  of 
USAID/Peru’s  two  education  programs:  Innovations  in  Decentralization  and  Active  Schools 
(AprenDes) and the Andean Center for Excellence in Teacher Training (CETT‐ Andino. AprenDes 
was a $15,450,780 bilateral program that began in early July, 2003 and ended on August 31, 
2009. CETT‐Andino was a $14,826,507 regional program, managed by USAID/Peru that covered 
Bolivia, Ecuador, and Peru and was part of a broader Latin America regional initiative. CETT‐
Andino began in 2002 and ended on January 31, 2010; approximately half of the funding was 
for Peru.  The evaluation focused on CETT‐Andino’s activities in Peru. 

The principal evaluation objectives were to:  (1) Determine to what extent the two USAID 
education projects achieved their respective objectives; (2) Determine the prospects for their 
sustainability and their further replication; (3) Document lessons learned and best practices as a 
contribution to the development knowledge in education; (4) Determine the extent of technical 
and  programmatic  synergy  between  the  two;  and  (5)  Identify  success  stories  based  on 
evaluation findings. Accompanying these five objectives were 31 questions. Several focused on 
both programs. There were also specific questions for AprenDes and CETT‐Andino. 

In order to address the evaluation objectives and answer the specific questions members of the 
evaluation team visited 25 primary schools: 12 AprenDes, 10 CETT‐Andino, and 3 non‐project 
schools.  They also reviewed materials designed for teachers, teacher training curricula, student 
guides,  program  evaluations,  case  studies,  and  systematizations  along  with  many  other 
reference documents.  The team interviewed a total of 240 individuals including: students, 
teachers, parents, community leaders, regional government staff including education staff in 
four regions (San Martin, Ucayali, Amazonas, and Junín), education opinion leaders in Lima, 
senior staff and technical staff from the Ministry of Education (MED), the National Education 
Council (CNE), the Ministry of Education & Finance (MEF), the office of the President of the 
Council of Ministers (PCM), the National Assembly of Regional Governments (ANGR), and staff 
from USAID/Peru.  In addition, the evaluation team reviewed over 170 documents. 

A brief overview of AprenDes and CETT‐Andino  
AprenDes  was  designed  as  USAID/Peru’s  principal  vehicle  for  implementing  its  “Local 
Management  of  Quality  Basic  Education”  strategic  objective.   This   objective  focuses  on 
influencing policy and management practices to support decentralization of the education 
system and assure strong local management of quality basic education in selected geographic 
areas.  AprenDes was designed and carried out through a Cooperative Agreement with the 
Academy for Educational Development (AED) in priority regions of Peru that were identified 
based on the broader objective of the USAID Mission which focused activities on the seven 
coca‐growing  regions  of  Peru  and  as  part  of  USAID/Peru’s  response  to  a  sweeping 
decentralization law that went into effect in late 2002.  AprenDes developed an innovative 
model to strengthen decentralized management of primary public education working closely 
v
with  Peru’s  new  regions  created  under  the  decentralization  law,  complemented  with  a 
pedagogical approach to improving learning, participation, and democratic behavior in rural, 
multi‐grade schools.  AprenDes, working with schools for up to five years, benefitted more than 
16,577 students and 811 teachers from 364 communities, and 10,000 parents to participate in 
their children’s education.  

The CETT‐Andino program, which covers Bolivia, Ecuador, and Peru, began in 2002 as part of a 
broader Latin America regional initiative of former President Bush.  The program focuses on 
improving reading and writing instruction at the primary level, with a focus on grades 1 – 3, to 
reduce high rates of illiteracy and school underachievement. In Peru, CETT‐Andino has trained 
5,777  teachers,  939  principals,  through  one  and  two‐year  programs,  and  has  benefitted 
163,809 primary school students since 2003.  Schools are located primarily in Lima (poor and 
peri‐urban  and  rural  communities),  Callao,  Cuzco,  Piura,  and  Ucayali.   The   project  is 
implemented in partnership with the Universidad Peruana Cayetano Heredia (UPCH) based in 
Lima.  

Quality and cost‐effectiveness of the AprenDes and CETT‐Andino programs 
The evaluators were very impressed with both programs from a technical perspective.  Both, 
for  the  most  part,  have  developed  excellent  materials  based  on  solid  pedagogical 
underpinnings; effective training programs, and accompaniment to teachers in their classrooms 
and schools to assist them to implement what they have learned in the training programs.   

The two programs differ in that CETT‐Andino focuses on improving reading in early grades 
primarily in larger urban and rural schools where each teacher has one grade; while AprenDes is 
a comprehensive program that works in rural multi grade schools covering all primary grades, 
all subjects, with strong linkages with parents and community members and is part of a larger 
regional initiative.  However, both share many important aspects in common that are examples 
of good pedagogy. These include: teachers who are themselves treated with respect and who 
have a horizontal relationship with their students; comprehensive teacher training programs 
that include: workshops, accompaniment in the classroom, teacher circles to share experiences 
and problem solve, and visits to other schools; a focus on reading fluency based on a similar 
approach to reading; and teachers who are encouraged to constantly reflect on and improve 
their performance. 

Special characteristics of the AprenDes program include: interactive guides that permit children 
to  learn  in  a  cooperative  fashion  and  at  the  group’s  own  pace;  the  emphasis  given  to 
Municipios  Escolares  to  encourage  student  leadership,  decision‐making  and  cooperative 
behavior;  and  the  active  role  of  parents  in  classrooms  and  in  the  formation  of  CONEIs  
(organizations comprised of the Director, student representatives, parents, and community 
members that play an important role overseeing the school including identifying needs and 
addressing them); the formation of networks among schools; and the availability of resource 
centers (CRA) that teachers can use. 

vi