Noticias ReLAC

Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe

Estimados colegas, 

con la siguiente reflexión damos inaugurado el foro que anunciamos para esta semana en relación a los Estándares de Evaluación para América Latina y el Caribe. Los invitamos a reaccionar ante estos comentarios y visitar la encuesta online que en los mismos es mencionada.

Sus comentarios y aportes son desde ya muy bienvenidos. 

saludos cordiales, 

Equipo de Trabajo de los Estándares de Evaluación 

---------------------------------------

Las reflexiones siguientes han sido elaboradas a partir de la gentil colaboración de los siguientes colegas, quienes compartieron su experiencia de evaluación en los siguientes casos:

  • Adriana Calderón (Costa Rica). Evaluación intermedia de la Asociación de Emprendedores Belemitas: condiciones de sostenibilidad y aportes a la calidad de vida de sus asociados y asociadas.
  • Guiselle Rodríguez Muñoz (Costa Rica). Evaluación de resultados del programa de Abastecimiento Institucional (PAI) del Consejo Nacional de Producción (CNP)
  • Juan Manuel Mendoza (Colombia). Programa Jóvenes + Emprendedores
  • Dolores Castro (Bolivia). Evaluación del Proyecto de Fortalecimiento de la capacidad resolutiva, acceso y calidad en la red de servicios de salud Corea, Municipio de El Alto -

 

Tras realizar una sucinta presentación de la experiencia evaluada, los colegas completaron lo que resultó el principal instrumento de relevamiento en esta instancia de análisis: la encuesta online sobre los Estándares de Evaluación. La encuesta recorre las cinco dimensiones de los estándares: Evaluación rigurosa; Adecuada evaluabilidad; Evaluación conducida de acuerdo con principios éticos y jurídicos; Adecuada comprensión cultural; Relevancia y utilidad, y presenta en cada dimensión a cada uno de los estándares a modo de interrogante.

 

Una vez la encuesta estuvo completa, se mantuvo una entrevista vía Skype a fin de valorar la utilización ex - post de los estándares en general, así como de la encuesta online en particular. La utilización fue en todos los casos ex – post, abordando experiencias de evaluación ya terminadas.

 

Dos ideas centrales pueden reseñarse del análisis de estos casos con el cuestionario online, brevemente comentadas a continuación con explicaciones generadas por los colegas que completaron el mismo:

 

1) Las preguntas del cuestionario (que presentan cada uno de los estándares) funcionan como una guía de reflexión la cual despliega su potencialidad al ser tomada en cuenta desde el inicio del proceso evaluativo.

1.1. Las preguntas superan un mero ejercicio de chequeo, permitiendo una verdadera reflexión sobre la práctica, funcionando como “cable a tierra” y abordar desde otra mirada a los estándares. Muchas veces las respuestas eran largas como fruto de dicha reflexión, e insumían más tiempo del considerado originalmente justamente  por dicho carácter reflexivo.

1.2. Si bien el ejercicio de análisis retrospectivo es valioso, el uso de los estándares manifiesta su mayor potencialidad en el antes y el durante del desarrollo de una evaluación.

1.3. Los Estándares de Evaluación se presentan con un cariz más prácticos y operativos a partir de los interrogantes plasmados en la encuesta.

1.4. El cuestionario presenta a los estándares de evaluación de un modo completo y estructurado que facilita el abordaje tanto general como particular de las vivencias del proceso de evaluación. Esto es así tanto en las instancias previas, concomitantes y posteriores al desarrollo de una evaluación.

 

2) Los estándares de evaluación facilitan valorar la pertinencia de los diseños de evaluación empleados y señalar más claramente sus debilidades.

2.1. El repaso detallado que facilita el recorrido por las dimensiones y estándares permite identificar y explicitar aspectos en ocasiones obviados por los evaluadores.

2.2. Particularmente relevantes resultan en cuanto permiten y facilitan la identificación y seguimiento de actores relevantes involucrados en la intervención bajo evaluación.

2.3. El trabajo con los estándares al inicio del proceso evaluativo permite clarificar y concretizar diferentes aspectos, acotando aristas sociales y culturales que son pertinentes conocer. De no tenerlos en cuenta, se incrementa el riesgo de no focalizar la información y ampliar en demasía el radio de información. La revisión de aspectos metodológicos y los de evaluabilidad en el diseño de la evaluación se ven particularmente iluminados a partir de distintos de los estándares de evaluación.

 

Sugerencias o inquietudes

  1. a) Uno de los comentarios apuntó a la relevancia de considerar y abordar de manera explícita los resultados y logros alcanzado por la evaluación misma. ¿Correspondería incluir este tópico en el marco de los estándares de evaluación?

 

  1. b) ¿Están dejando espacio los estándares para el abordaje de resultados no planificados de la intervención?

 

 

 

 

Visitas: 157

Respuestas a esta discusión

otro elemento que hay que tomar en cuenta es crear estatndares para el desarrollo de la evaluacion de campo o participativa en donde se involucren los participantes o beneficiarios directos e indirectos de los programas y los proyectos.

me temo que los estandares aun estan limitados hay situaciones no planeadas que los estandares deberian considerar mediante un enfoque de escenarios, tambien las evaluaciones participativas y con enfoque de genero 

un saludos 

Hernan Rodriguez Minier 

UASD Republica Dominicana 

Gracias Hernán por tus aportes. Tus ideas plantean el crítico tema de cuánto es posible y deseable exigir a los estándares de evaluación, lo cual resulta un tema central en el debate sobre los mismos.

Los riesgos potenciales de exigirles mucho, abarcando diversos y detallados campos, es que nunca será suficiente cualquier esfuerzo al respecto y se habrá de estar atento a su revisión y actualización constante. Más crítico resulta a mi ver que un planteo en extremo detallado haga más difícil su utilización fácil y amigable. 

Por el contrario, un planteo generalista y que se mantiene a un nivel alto de abstracción puede conllevar en algunos casos la dificultad de aplicabilidad en caso que la formulación resulte muy despegada de la realidad evaluativa a abordar. 

Entiendo que tu visión de los Estándares de Evaluación que ahora analizamos los ubica más cerca de este segundo riesgo que del primero. Veamos si aparecen otras opiniones al respecto. 

Saludos cordiales,

Pablo

 ¿Correspondería incluir este tópico en el marco de los estándares de evaluación? NO

Creo que los resultados alcanzados dependen en gran medida del manejo adecuado de los estándares mencionados y algunos otros no incluidos; y por ello no creo que se deban abordar los resultados obtenidos por la evaluación "evaluada" en esta encuesta. Me parece que la encuesta propone un tipo de  metaevaluación. 

 ¿Están dejando espacio los estándares para el abordaje de resultados no planificados de la intervención? no me queda muy claro a qué se refieren, pero si la encuesta es sobre estándares utilizados y considerados como imprescindibles, quizás la pregunta que se podría incluir es si se utilizó algún otro estándar no mencionado en la encuesta y que debería incluirse en toda evaluación. 

Pablo creo que como dices es un equilibrio difícil pero deseable, comparto con Hernán las limitaciones de los actuales estándares, y creo que la encuesta permite incorporar preguntas sobre otros estándares sin que se abra demasiado. Como digo el/la encuestada podría ordenarlos según su criterio de importancia por ejemplo.

Pablo Rodriguez-Bilella dijo:

Gracias Hernán por tus aportes. Tus ideas plantean el crítico tema de cuánto es posible y deseable exigir a los estándares de evaluación, lo cual resulta un tema central en el debate sobre los mismos.

Los riesgos potenciales de exigirles mucho, abarcando diversos y detallados campos, es que nunca será suficiente cualquier esfuerzo al respecto y se habrá de estar atento a su revisión y actualización constante. Más crítico resulta a mi ver que un planteo en extremo detallado haga más difícil su utilización fácil y amigable. 

Por el contrario, un planteo generalista y que se mantiene a un nivel alto de abstracción puede conllevar en algunos casos la dificultad de aplicabilidad en caso que la formulación resulte muy despegada de la realidad evaluativa a abordar. 

Entiendo que tu visión de los Estándares de Evaluación que ahora analizamos los ubica más cerca de este segundo riesgo que del primero. Veamos si aparecen otras opiniones al respecto. 

Saludos cordiales,

Pablo

Estimadas y estimados colegas, 

nos hemos percatado que en la invitación inicial a este foro colocamos Noviembre en lugar de OCTUBRE como el mes de su desarrollo. Atentos a que eso puede haber confundido a algunos, vamos a extenderlo una semana más. Agradecemos los aportes ya realizados e invitamos a sumar nuevas ideas y reflexiones. 

saludos cordiales, 

Pablo

Gracias María Victoria por tus aportes. Esta idea de que las personas encuestadas puedan oredenar los estándares según su criterio de importancia sería una innovación valiosa y, de reunir suficiente masa crítica, brindaría datos muy interesantes sobre el uso real y la percepción real de los evaludores respecto a los estándares, su jerarquía y su relevancia. 

María Victoria Whittingham dijo:

Pablo creo que como dices es un equilibrio difícil pero deseable, comparto con Hernán las limitaciones de los actuales estándares, y creo que la encuesta permite incorporar preguntas sobre otros estándares sin que se abra demasiado. Como digo el/la encuestada podría ordenarlos según su criterio de importancia por ejemplo.

Pablo Rodriguez-Bilella dijo:

Gracias Hernán por tus aportes. Tus ideas plantean el crítico tema de cuánto es posible y deseable exigir a los estándares de evaluación, lo cual resulta un tema central en el debate sobre los mismos.

Los riesgos potenciales de exigirles mucho, abarcando diversos y detallados campos, es que nunca será suficiente cualquier esfuerzo al respecto y se habrá de estar atento a su revisión y actualización constante. Más crítico resulta a mi ver que un planteo en extremo detallado haga más difícil su utilización fácil y amigable. 

Por el contrario, un planteo generalista y que se mantiene a un nivel alto de abstracción puede conllevar en algunos casos la dificultad de aplicabilidad en caso que la formulación resulte muy despegada de la realidad evaluativa a abordar. 

Entiendo que tu visión de los Estándares de Evaluación que ahora analizamos los ubica más cerca de este segundo riesgo que del primero. Veamos si aparecen otras opiniones al respecto. 

Saludos cordiales,

Pablo

 loa estandares son una herramienta muy importante para los procesos evaluativos pero no deben de ser una camisa de fuerza que limite la cratividad y el accionar del evaluador las nuevas tecnologias de la informacion habren el abanico de posibilidades de hacer un proceso de evaluacion mas participativos y a muchas distancias. Este mismo Foro es un ejemplo de ellos como profesionales interesados en la evaluacion pueden discutir temas y metodos para mejorar las capacidades. en ese sentido estos mismo instrumentos tecnologicos nos pueden servir para hacer evaluaciones y entrevistas de manera virtual o remota eso es un aspectos que los estandares muchas veces no asimilan pero que a pesar de todo son una realidad 

saludos 

hernan 

Hola colegas. Muy interesantes las reflexiones planteadas.

Nos dan luces sobre cómo hacer uso de los Estándares y el momento en el que los debemos aplicar: al inicio del proyecto para la formulación anticipada de la evaluación, al momento de trabajar los términos de referencia para la evaluación, y luego de la evaluación ya realizada. Los Estándares nos pueden servir de marco en parte para las preguntas de evaluación y en parte para los criterios a tomar en cuenta para responderlas. 

En lo que concierne a la participación, me parece que los Estándares tienen un carácter orientador. Varios de los estándares, desde diversas dimensiones tienen relación con la participación: 1.5 ; 3.1 ;  4.1 ;  5.1 No obstante dejan bastante abierto el tema. La pregunta es si cabe en el marco de los Estándares el requerimiento de que la evaluación sea participativa, o que se incluya una recomendación en tal sentido.

Saludos cordiales.   

 

Hola, qué tal?  Un comentario a partir de la experiencia propia de este año 2018. Estoy realizando una consultoría para la evaluación participativa de dos experiencias en Chile, contratado por DEval. Entre los documentos y papeles que se incluyen en la convocatoria y -luego de la selección del consultor- en el contrato, aparecen los Estándares de Evaluación como requisito a cumplir, junto a otros propios del caso. me llamó positivamente la atención que se incluyan desde un principio, como lineamientos a cumplir, exigibles y no voluntarios, por parte de quienes participamos del proceso, en mi caso contratado como responsable de la evaluación. Conversando con otros colegas, me doy cuenta que esta no es la práctica habitual. En la mayoría de los casos los estándares de evaluación no aparecen como documento guía ni como herramienta para velar por a calidad del trabajo. Estos colegas, con quienes he intercambiado, conocen del documento y dicen aplicarlos en su práctica evaluativa, pero lo hacen como propia motivación y no exigencia de quien los contrata.

Creo que todos los esfuerzos en esta etapa, además de actualizar y mejorar el documento original, deben apuntar a que quienes contratan evaluaciones los incluyan como parte del acuerdo de trabajo. Esto ayudará a realizar mejores evaluaciones, fortalecer la cultura de evaluación en la región y contribuir con la profesionalización de la práctica evaluativa. Sería muy valioso conocer, por parte de DEval, su visión del tema, luego de haber apoyado el proceso de realización de los estándares y haber incorporado como 'condición' el tener en cuenta éstos en cada contrato realizado. 

Saludos

Esteban 

 

Queridos colegas, un saludo desde el DEval, en Bonn, donde queremos desde ya agradecer el comentario de Esteban y su invitación a participar en tan interesante debate.

En efecto, en julio de 2014 tuvimos la fortuna de ser invitados por ReLAC para embarcarnos en esta aventura para elaborar, difundir y aplicar unos estándares de evaluación para América Latina y el Caribe.

No es fácil recordar ahora exactamente qué es lo que nos animó más en el momento de entrar al baile, pero releyendo sus entradas, me animo a destacar dos elementos. Uno de formas, otro de fondos.

Sobre la forma, siempre nos gustó la propuesta metodológica de ReLAC, planteada en términos de reflexión y construcción colectiva y que, como queda claro en este debate, se ha logrado mantener incluso en esta fase de aplicación del documento.

En cuanto al fondo, nos atrajo el valiente y necesario compromiso que entendimos que asume la comunidad evaluadora con un documento cuyo mensaje central vendría a ser: “somos profesionales de la evaluación, esto es lo que hacemos y este es nuestro compromiso con la excelencia de nuestro trabajo”.

Es por ello que cuando requerimos de un trabajo de evaluación -como en el caso que plantea Esteban-, encontramos muy valioso que exista un documento tan ampliamente consensuado por la comunidad evaluadora, que podamos señalar como referente de calidad desde los Términos de Referencia. Y no es solo en DEval, nos consta que otras entidades, como el MIDEPLAN de Costa Rica, también lo entienden así y lo incorporan en sus procesos de contratación.

Esta misma idea se refleja en la misma presentación (resumen) de los estándares. Pero ante la entrada de Esteban en que nos presenta casi a modo de excepción, cabría quizás preguntarse si todas las partes lo interpretan de la misma forma.

Saludos!

Juan  Sanz- DEval

 

Estimados todos, 

luego de un par de semanas de apertura del Foro sobre los Estándares de Evaluación, ha llegado el momento de dar cierre al mismo. Más de ciento treinta visualizaciones de este debate dan cuenta del interés que algunos de los temas planteados han tenido. Agradecemos a cada uno de los colegas que pudieron intervenir y comentar ideas y reflexiones. 

Confiamos poder retomar algunas de estas nociones aquí conversadas y elaborar un breve reporte que de cuenta de los avances realizados. Junto a ello, esperamos también presentar una propuesta de agenda de trabajo para el año 2019 que se inscriba en el marco global de la agenda ReLAC.

En los próximos días recibirán un mensaje dando cuenta que este espacio de NoticiasReLac (en la plataforma Ning) será cerrado y ReLac mudará sus instancias de trabajo virtuales a otros escenarios. Nos despedimos entonces, nuevamente agradecidos por su interés en los Estándares de Evaluación para América Latina y el Caribe y confiados en que seguiremos en contacto. 

un saludo cordial, 

Pablo 

(en nombre del Equipo de Trabajo de los Estándares de Evaluación para América Latina y el Caribe)

RSS

© 2018   Creado por ReLAC.   Tecnología de

Emblemas  |  Reportar un problema  |  Términos de servicio