evaluación final externa del proyecto “combatir la anemia en la sierra central del perú”

57 Pages·2015·1.19 MB·Spanish

Consultoría para el desarrollo de la:

EVALUACIÓN FINAL EXTERNA
DEL PROYECTO
“COMBATIR LA ANEMIA EN LA SIERRA
CENTRAL DEL PERÚ””

Informe Final de Evaluación

Empresa Consultora : Centro de Asesoría Estratégica para la Intervención Social –
INTERSOCIAL S.A.C.
Equipo consultor : Raúl P. Ruiz Escurra (Coordinador)
Verónica Salirrosas Rodríguez (Especialista en evaluación)
Fiorella Paredes Cauna (Especialista en nutrición)

INTERSOCIAL
Mayo, 2015
INDICE

INTRODUCCION. ......................................................................................................... 1

1. METODOLOGÍA. ................................................................................................... 3

2. HALLAZGOS DE LA EVALUACIÓN. ................................................................... 13
2.1. PERTINENCIA. ............................................................................................ 13
2.2. EFICACIA. .................................................................................................... 19
2.3. IMPACTO. .................................................................................................... 44
2.4. SOSTENIBILIDAD. ....................................................................................... 47

3. CONCLUSIONES. ............................................................................................... 51

4. ANEXOS. ............................................................................................................. 55
4.1. Matriz de planificación de la evaluación. ....................................................... 55
4.2. Instrumentos de recojo de información. ........................................................ 55
4.3. Bases de datos de la encuesta a madres. .................................................... 55
Evaluación Final Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú”

EVALUACIÓN FINAL EXTERNA DEL PROYECTO
“COMBATIR LA ANEMIA EN LA SIERRA CENTRAL DEL
PERÚ”

INFORME FINAL

INTRODUCCION.

El presente informe corresponde al cuarto producto de la consultoría Evaluación Final
Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú””, realizado por
el equipo consultor de INTERSOCIAL, por encargo de la Fundación Acción Contra el
Hambre.

El Proyecto es ejecutado por el Grupo la Fundación Acción Contra el Hambre, en
cuatro distritos de la provincia de Huanta en el departamento de Ayacucho, con una
población beneficiaria de 1256 niños y niñas de 6 a 35 meses de edad.

El Proyecto tiene como propósito

“Contribuir a la disminución de la anemia en niños y niñas de 6 a 36 meses que habitan en el
áreas rurales andinas fortaleciendo las capacidades de autoridades nacionales, regionales,
locales, y ONGs, a través de aportar soluciones alternativas, viables económicamente,
adecuadas culturalmente y sostenibles basadas en la evidencia generada por acciones
enfocadas en incrementar el consumo de hierro”,

Para ello, propone una estrategia que involucra cinco componentes:

- Componente/Resultado 1: INCIDENCIA EN POLÍTICAS
Se han analizado y presentado recomendaciones de mejora a las actuales
políticas públicas, programas estatales e iniciativas privadas, centralizadas en la
Estrategia Nacional CRECER y sus referentes regionales (CRECER Wari en
Ayacucho y CRECER Allin Wiñanapaq en Apurímac) enfocadas en combatir la
anemia, a través de una evaluación de su estado actual en el Perú.

- Componente/Resultado 2: ESTRATEGÍA COMUNICACIONAL.
Se ha mejorado la adherencia al consumo de multimicronutrientes (chispitas,
actual política de estado en la región andina), a través de desarrollar una
estrategia de comunicación de carácter integral (regional, distrital y comunitaria)
con un enfoque en adecuación cultural y género.

- Componente/Resultado 3: BIOFORTIFICACIÓN DE PRODUCTOS LOCALES.
Se ha mejorado el consumo de hierro en las áreas de intervención a través de la
biofortificación con micronutrientes de cultivos locales como una estrategia a
largo plazo de menor costo dado su carácter de conservación de la agro
diversidad de productos andinos bajo criterios de adaptación a su valor
nutricional con el ánimo de incrementar el consumo de hierro.

- Componente/Resultado 4: RECUPERACIÓN DE TÉCNICAS LOCALES.
Recuperación de técnicas ancestrales de mejora del consumo de hierro,
particularmente el Charqui (técnica andina de conservación de carne), como
recurso local de procesamiento y almacén, pudiendo ser una alternativa viable
Informe Final de Evaluación
1
Evaluación Final Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú”

para resolver el consumo de proteína animal, principal causa de anemia en la
sierra.
- Componente/Resultado 5: DIFUSIÓN DE ESTRATEGIAS EN EL COMBATE DE
LA ANEMIA.
Se han mejorado las capacidades de actuación conjunta en el combate de la
anemia de ONGs que trabajan en el sector, autoridades nacionales, locales y
regionales de las áreas de intervención a través de su participación activa en el
desarrollo de los modelos de intervención alternativos propuestos, y de la
adecuada difusión de los resultados de la acción.

El presente estudio tiene como objetivo presentar un análisis evaluativo del proceso de
implementación del Proyecto. Para ello se emplean cuatro criterios de valoración:
pertinencia, eficacia, impacto y sostenibilidad. Para el desarrollo del estudio, se
planteó una metodología basada en la aplicación de técnicas e instrumentos de tipo
cuantitativo y cualitativo. Las principales técnicas utilizadas fue el dosaje de
hemoglobina, la encuesta a madres y entrevistas a actores locales.

El presente documento se estructura en tres partes:

- En el primer capítulo se presenta la metodología aplicada en el estudio, el cual
comprende los objetivos, alcance del estudio, las técnica e instrumentos de
recojo de información y el procedimiento seguido en su aplicación.
- En el segundo capítulo, se presenta los hallazgos del estudio organizados por
los criterios de evaluación. En primer lugar se presenta el análisis de pertinencia
del Proyecto. Seguidamente, se procede con el análisis de la eficacia y la
verificación de los principales resultados del Proyecto. Se continúa con la
verificación del impacto del Proyecto en términos del cumplimiento de su
propósito. Finalmente, se concluye con el análisis de la sostenibilidad de la
estrategia y de los resultados alcanzados.
- En el tercer y último capítulo, se presentan las conclusiones finales del estudio.
Informe Final de Evaluación
2
Evaluación Final Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú”

1. METODOLOGÍA.

1.1. Objetivos de la evaluación.

Evaluar la intervención del Proyecto “COMBATIR LA ANEMIA EN LA SIERRA
CENTRAL DEL PERÚ” y su contribución del Proyecto en la disminución de la anemia
presente en los niños y niñas de las zonas de intervención, al final de su proceso de
ejecución.

Específicos.

OE1. Evaluar la pertinencia del Proyecto en relación con las necesidades/prioridades
de la población sujeto y las características del contexto en la zona de
intervención.
OE2. Determinar y valorar el grado de participación de los colectivos y actores
destinatarios del Proyecto, en el desarrollo de las actividades realizadas.
OE3. Determinar y valorar el grado de eficacia en la consecución de los objetivos y
los resultados planteados.
OE4. Valorar el grado de sostenibilidad de las acciones y efectos del Proyecto,
identificando los factores que aseguran o ponen en riesgo la continuidad de los
procesos y los resultados e impactos generados.

1.2. Alcance de la evaluación.

Ámbito geográfico.

La evaluación tiene como ámbito geográfico de estudio el correspondiente a la zona
de intervención del Proyecto, la cual está conformada por un total de 4 distritos
pertenecientes a la provincia de Huanta en el Departamento de Ayacucho.

Cuadro 1.1: Ámbito geográfico de la Evaluación.
N° de niños de
Distrito Familias Población total
6 a 36 meses
Santillana 1742 8302 447
Iguain 946 3280 184
Luricocha 1496 5974 318
Huamanguilla 2244 5634 307
Total 6428 23190 1256

Horizonte temporal.

La evaluación final abarca el período total de ejecución del Proyecto (48 meses), entre
el 01 de febrero del 2011 al 31 de enero del 2015.

Actores y actoras involucrados/as.

Según la información presentada en los informes de avance del Proyecto y la
entrevista al coordinador del Proyecto, estos actores son los siguientes:

Informe Final de Evaluación
3
Evaluación Final Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú”

Cuadro 2: Actores implicados en el desarrollo del Proyecto
Actor Entidad/Grupo
Dirección de Salud (DIRESA).
Beneficiarios Microred de Salud NORTE- UERSAN
institucionales Establecimientos de salud (centros y postas)
Municipios distritales (Gerencia de Desarrollo Social)
Mujeres líderes residentes de las comunidades de intervención.
Beneficiarios
Familias con niños y niñas de 6 a 35 meses de edad.
finales
Niños y niñas de 6 a 35 meses de edad.
Equipo técnico ejecutor del Proyecto por parte de la Fundación
Entidad ejecutora
Acción contra el Hambre

1.3. Marco conceptual.

Concepto de evaluación (aplicada a los proyectos de desarrollo)

En el ámbito de la cooperación española, la definición de evaluación adoptada por la
AECID1, es la propuesta por la OCDE, según la cual “La evaluación es una función que
consiste en hacer una apreciación, tan sistemática y objetiva como sea posible, sobre
un proyecto en curso o acabado, un programa o un conjunto de líneas de acción, su
concepción, su realización y sus resultados. Se trata de determinar la pertinencia de
los objetivos y su grado de realización, la eficiencia en cuanto a su desarrollo, la
eficacia, el impacto y la viabilidad. Una evaluación debe proporcionar unas
intervenciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los
mecanismos de elaboración de las decisiones, tanto de los países de acogida como de
los donantes”.2

Tomando como base dicha definición y la propia experiencia de trabajo en el tema, el
concepto de evaluación (para proyectos de desarrollo) puede sintetizarse en el
siguiente:

La evaluación de un proyecto es la valoración, reflexiva, crítica y objetiva, sobre el
conjunto de la intervención, desde el origen de la iniciativa y la identificación de la
propuesta, hasta los resultados e impactos logrados con las acciones realizadas. El
propósito de la evaluación es siempre mejorar la calidad de las intervenciones y la
gestión de los diferentes actores implicados.

Hacia la práctica, la evaluación debe ser entendida además como un proceso que
consiste en un conjunto de acciones concretas que se planifican y se ejecutan en uno
o más momentos (predeterminados) a lo largo de la gestión del ciclo de vida de un
proyecto. En ese sentido, la evaluación es una acción y proceso permanente, que se
inserta y transversaliza el conjunto del ciclo de vida de un proyecto.

1 Agencia Española de Cooperación al Desarrollo.
2 Tomado del “Manual de Gestión de Evaluaciones de la Cooperación Española”. Ministerio de
Asuntos Exteriores y de Cooperación, Madrid. 2007, p. 118. Fuente citada: “Manual de la ayuda
al desarrollo. Principios del CAD para una ayuda eficaz”. Comité de Ayuda al Desarrollo-
Organización para la Cooperación y Desarrollo Económico (CAD-OCDE) 1995.
Informe Final de Evaluación
4
Evaluación Final Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú”

Tipo de evaluación.

La presente propuesta se trata de una evaluación final y externa, participativa, de
producto y sumativa. La tipología referida y su descripción, se presenta en la siguiente
tabla.
Cuadro 3: Tipo de evaluación
Tipo de evaluación Descripción
Final La evaluación se realiza al término de la intervención del Proyecto.
Externa La evaluación es conducida por un equipo evaluador externo.
Promueve y garantiza la participación activa tanto del personal de la
entidad ejecutora, como del resto de los actores relevantes implicados
Participativa
(organizaciones y autoridades locales, entidades públicas y beneficiarios
directos).
Incide sobre el análisis de los resultados e impactos en relación con las
De producto
metas establecidas en las líneas de acción del Proyecto.
Evaluación de Se evalúa la consecución de los objetivos y resultados esperados de la
objetivos/resultados intervención.
Las conclusiones extraídas de la evaluación servirán para extraer
conclusiones útiles para la mejora de las políticas de desarrollo llevadas a
Sumativa
cabo por la entidad subvencionada y su contraparte en el país de
ejecución.

Enfoque de la evaluación.

La evaluación está orientada bajo los siguientes enfoques:

- La participación de los actores clave. La evaluación implica activamente a todos
los actores relevantes en el desarrollo del Proyecto, considerando sus
percepciones y juicios de valor respecto del proceso de intervención y de los
resultados e impactos alcanzados por el mismo.

- Enfoque de género. La evaluación busca valorar la distribución de los beneficios
generados por el Proyecto entre hombres y mujeres y los impactos alcanzados
en el empoderamiento de las mujeres y en la transformación de las relaciones de
género. Para tal efecto, la evaluación promueve la participación equitativa de
hombres y mujeres en el proceso, visibilizando las percepciones y juicios de
valor de ambos.

- El aprendizaje de la experiencia. La evaluación tiene como propósito la
generación de nuevos aprendizajes, de forma que se puedan incorporar a la
gestión y a la planificación aquellos elementos que hayan mostrado mayores y
mejores logros, cerrando así el ciclo de la transferencia efectiva de las mejores
prácticas.

- La utilidad de los resultados en la toma de decisiones. La evaluación tiene por
finalidad mejorar la calidad de la intervención en los procesos de desarrollo. En
ese sentido, la evaluación se concibe y aplica como una herramienta que permite
aprender del proceso de la intervención, para mejorar la gestión futura de los
proyectos y de las organizaciones involucradas.

Informe Final de Evaluación
5
Evaluación Final Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú”

1.4. Diseño de evaluación.

El diseño de investigación en la presente evaluación es de tipo No Experimental3,
denominada Antes-Después.

La peculiaridad de este diseño consiste en que permite comparar la situación inicial de
la población objetivo contra la situación final, una vez que el Proyecto ha concluido.

La ventaja de este esquema es que evidencia los cambios que sufre la población
objetivo en función a las variables de interés a lo largo del periodo de implementación
del Proyecto. Sin embargo, no es precisa en atribuir estos cambios a la
implementación del Proyecto, pues, en el análisis no considera la existencia de otros
factores que podrían haber influido en las condiciones de la población objetivo.

El esquema gráfico del diseño es el siguiente:

𝐴0…………𝐼𝑛𝑡𝑒𝑟𝑣𝑒𝑛𝑐𝑖ó𝑛…………𝐴1

𝐶𝑎𝑚𝑏𝑖𝑜 𝑎𝑙 𝑞𝑢𝑒 𝑐𝑜𝑛𝑡𝑟𝑖𝑏𝑢𝑦𝑒 𝑋 = 𝐴1−𝐴0

Donde 𝐴0, representa la situación inicial de la población objetivo y 𝐴1 refleja la
situación final de la misma.

En este diseño cobra importancia la existencia del Estudio de Línea de Base del
Proyecto, pues, por lo general, es este documento el que registra la situación inicial del
público objetivo antes de la intervención.

En ese sentido, la presente evaluación considera como situación de partida de los
beneficiarios del Proyecto la que registre el Estudio de Base del Proyecto y sobre ello
se realizarán las comparaciones con las mediciones finales que realice el proceso de
evaluación.

1.5. Criterios de Evaluación.

Los criterios de la evaluación son:

a. Pertinencia. La evaluación de la pertinencia consiste en valorar la adecuación de la
razón de la intervención con respecto a las prioridades y necesidades del público
objetivo del Proyecto, la comunidad local y la sociedad en general.

b. Eficacia. Grado de alcance de los objetivos, explícitos e implícitos, y de los
resultados planteados sobre los beneficiarios/as sin considerar los costes
incurridos. La determinación de la eficacia se sitúa en un primer nivel
comprobándose los efectos que han tenido las acciones desarrolladas en el
periodo sobre los grupos beneficiarios meta, así como sobre otros beneficiarios no
previstos, si fuese el caso. Se valorará de forma específica la Cobertura del
Proyecto en relación con los beneficiarios/as previstos/as.

c. Impacto. Considerado como un criterio de evaluación restringido, dado que el
objetivo específico de un proyecto se refiere únicamente a los efectos positivos que

3 La elección de este diseño se sustenta en la ausencia de valores iniciales para un grupo
control.
Informe Final de Evaluación
6
Evaluación Final Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú”

el mismo tiene en los agentes implicados. El concepto de impacto es más amplio,
al incluir tanto consecuencias positivas como negativas, se hayan previsto o no, e
incluir a otros sujetos y no sólo a la población beneficiaria sino a todos los grupos
de interés del proyecto. En el marco de la presente evaluación se considera medir
el impacto en los participantes directos del proyecto.

d. Sostenibilidad/Viabilidad. Probabilidad de continuidad de los procesos de desarrollo
más allá del tiempo de acción del Proyecto, con el mantenimiento y gestión de los
resultados obtenidos e incluso con la puesta en marcha de nuevas actuaciones
complementarias. A diferencia de criterios anteriores que se centraban
específicamente en la intervención y sus consecuencias, el análisis de
sostenibilidad es una cuestión del proceso de desarrollo mismo proyectado en el
tiempo.

1.6. Preguntas centrales de la evaluación.

Cada uno de los criterios de evaluación considerados se operacionalizaron a través
del planteamiento de preguntas específicas a ser respondidas en el proceso.

Cuadro 4: Preguntas centrales de la Evaluación del Proyecto.
Criterio Preguntas propuestas
- ¿Son coherentes los objetivos generales y el objetivo específico con las políticas del
Gobierno y las apoyan?
- ¿Apoyan dichos objetivos las estrategias europeas de desarrollo y cooperación del
Pertinencia sector específico (considerando especialmente el Documento de Estrategia País
(DEP)/Plan Indicativo Nacional (PIN); la Declaración de París; la Agenda Europea de
la Eficacia de la Ayuda)?
- ¿Sigue el proyecto respondiendo a las necesidades de los grupos meta?
- ¿Se han alcanzado la mayoría de los resultados previstos?
- ¿Tienen todos los grupos meta acceso y hacen uso de los resultados logrados y
entregados por el proyecto?
- ¿Existen algunos factores que impidan el acceso de los grupos meta a los
- resultados/servicios entregados por el proyecto?
- ¿Se están consiguiendo los efectos esperados a través de las actividades
Eficacia implementadas en todos los ámbitos que cubre el proyecto
- ¿Se ha alcanzado el objetivo específico de la intervención?
- ¿La intervención se quedó estancada en alguna de sus fases “repitiendo más de lo
mismo” o ha ido proporcionando nuevos avances cada año?
- ¿Se capitaliza sistemáticamente sobre las lecciones aprendidas de cada actividad y
se modifica el sistema de toma de decisiones para mejorarlo?
- ¿Se han logrado otros efectos no previstos?
- Cuál ha sido la contribución del Proyecto a la mejora del principal indicador de
impacto (anemia).
- ¿Algún mejoramiento fue el resultado directo del proyecto o se habría producido de
todas formas?
- ¿El Proyecto es eficaz?
Impacto - ¿Cuáles son los resultados de la intervención, alcance de los principales indicadores
del proyecto?
- ¿La intervención ha contribuido al logro del objetivo propuesto?
- ¿Se ha logrado un impacto positivo sobre los beneficiarios directos?
- ¿Se han producido impactos positivos no previstos sobre los beneficiarios?
- ¿Se han producido impactos negativos no previstos sobre los beneficiarios?
- ¿Encajan las soluciones técnicas propuestas con el contexto local y la cultura del
lugar?
- ¿Las soluciones abordadas para el proyecto, son sostenibles más allá de los límites
Sostenibilidad
temporales del mismo?
- ¿Se ha realizado un correcto estudio de cuales componentes puedan presentar
problemas de sostenibilidad?
Informe Final de Evaluación
7
Evaluación Final Externa del Proyecto “Combatir la Anemia en la Sierra Central del Perú”

Criterio Preguntas propuestas
- ¿Se ha influido positivamente sobre la capacidad institucional?
- ¿Existe coordinación con otros actores internacionales en las áreas de la intervención
para seguir fortaleciendo la misma?
- ¿Se están generando los recursos necesarios para el mantenimiento de las
actividades?
- ¿Se está beneficiando a los colectivos más vulnerables?
- ¿Se ha actuado sobre la desigualdad de género?
- ¿Se ha velado por la protección del medio ambiente?
- ¿Cuál es el nivel de apropiación del proyecto por parte de los grupos meta?
- ¿En qué medida está el proyecto insertado en estructuras locales?
- ¿En qué medida han estado involucrados los grupos meta y posiblemente otros
grupos de interés relevantes u actores en la planificación y en el proceso de
ejecución?
- ¿En qué medida están involucrados activamente los grupos meta relevantes en la
toma de decisiones concerniente a la orientación y ejecución del proyecto?
- ¿Cuál es la probabilidad de que los grupos meta continúen haciendo uso de los
resultados relevantes?
- ¿Tienen los grupos meta algún plan de dar continuidad a los beneficios? Si es así,
¿cuál es la probabilidad de que lo materialicen?
- ¿Cómo está contribuyendo el proyecto a la capacidad institucional y de gestión?
- ¿Hasta qué punto está insertado el proyecto en estructuras institucionales que
probablemente sobrevivirán más allá de la vida del proyecto?
- ¿Están formados los socios del proyecto en términos técnicos, financieros y de
gestión para continuar con los beneficios/servicios del proyecto?
- ¿Habrá un nivel adecuado de recursos humanos apropiados y cualificados
disponibles para continuar con los beneficios del proyecto?
- ¿Existen buenas relaciones con nuevas instituciones o con las ya existentes?
- ¿Existen planes para dar continuidad a algunas o a todas las actividades del
proyecto?

1.7. Fuentes de información consideradas.

Las fuentes de información se identificaron a partir de la matriz de planificación de la
evaluación (Ver Anexo 4.1). Así, se identificaron fuentes de información primarias y
secundarias las cuales se detallan a continuación.

Fuentes primarias.

Se contemplaron como fuentes primarias a los actores involucrados y considerados
como relevantes en el desarrollo del proceso de intervención del Proyecto.

A continuación se presenta el listado de actores participantes del proceso de
evaluación.

Cuadro 5: Informantes del proceso de evaluación.
Actor Informante
Directora de la Dirección de Salud Pública
Encargado de la Subdirección de Promoción de la
Dirección de Salud (DIRESA). Salud
Miembro de la Subdirección de Promoción de la
Salud
Beneficiarios
institucionales Directora de la Dirección de Salud Pública de la
UERSAN
Encargado de la Subdirección de Promoción de la
Red de Salud NORTE- UERSAN
Salud
Miembro de la Subdirección de Promoción de la
Salud
Informe Final de Evaluación
8