Noticias ReLAC

Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe

Estimados colegas, 

con la siguiente reflexión damos inaugurado el foro que anunciamos para esta semana en relación a los Estándares de Evaluación para América Latina y el Caribe. Los invitamos a reaccionar ante estos comentarios y visitar la encuesta online que en los mismos es mencionada.

Sus comentarios y aportes son desde ya muy bienvenidos. 

saludos cordiales, 

Equipo de Trabajo de los Estándares de Evaluación 

---------------------------------------

Las reflexiones siguientes han sido elaboradas a partir de la gentil colaboración de los siguientes colegas, quienes compartieron su experiencia de evaluación en los siguientes casos:

  • Adriana Calderón (Costa Rica). Evaluación intermedia de la Asociación de Emprendedores Belemitas: condiciones de sostenibilidad y aportes a la calidad de vida de sus asociados y asociadas.
  • Guiselle Rodríguez Muñoz (Costa Rica). Evaluación de resultados del programa de Abastecimiento Institucional (PAI) del Consejo Nacional de Producción (CNP)
  • Juan Manuel Mendoza (Colombia). Programa Jóvenes + Emprendedores
  • Dolores Castro (Bolivia). Evaluación del Proyecto de Fortalecimiento de la capacidad resolutiva, acceso y calidad en la red de servicios de salud Corea, Municipio de El Alto -

 

Tras realizar una sucinta presentación de la experiencia evaluada, los colegas completaron lo que resultó el principal instrumento de relevamiento en esta instancia de análisis: la encuesta online sobre los Estándares de Evaluación. La encuesta recorre las cinco dimensiones de los estándares: Evaluación rigurosa; Adecuada evaluabilidad; Evaluación conducida de acuerdo con principios éticos y jurídicos; Adecuada comprensión cultural; Relevancia y utilidad, y presenta en cada dimensión a cada uno de los estándares a modo de interrogante.

 

Una vez la encuesta estuvo completa, se mantuvo una entrevista vía Skype a fin de valorar la utilización ex - post de los estándares en general, así como de la encuesta online en particular. La utilización fue en todos los casos ex – post, abordando experiencias de evaluación ya terminadas.

 

Dos ideas centrales pueden reseñarse del análisis de estos casos con el cuestionario online, brevemente comentadas a continuación con explicaciones generadas por los colegas que completaron el mismo:

 

1) Las preguntas del cuestionario (que presentan cada uno de los estándares) funcionan como una guía de reflexión la cual despliega su potencialidad al ser tomada en cuenta desde el inicio del proceso evaluativo.

1.1. Las preguntas superan un mero ejercicio de chequeo, permitiendo una verdadera reflexión sobre la práctica, funcionando como “cable a tierra” y abordar desde otra mirada a los estándares. Muchas veces las respuestas eran largas como fruto de dicha reflexión, e insumían más tiempo del considerado originalmente justamente  por dicho carácter reflexivo.

1.2. Si bien el ejercicio de análisis retrospectivo es valioso, el uso de los estándares manifiesta su mayor potencialidad en el antes y el durante del desarrollo de una evaluación.

1.3. Los Estándares de Evaluación se presentan con un cariz más prácticos y operativos a partir de los interrogantes plasmados en la encuesta.

1.4. El cuestionario presenta a los estándares de evaluación de un modo completo y estructurado que facilita el abordaje tanto general como particular de las vivencias del proceso de evaluación. Esto es así tanto en las instancias previas, concomitantes y posteriores al desarrollo de una evaluación.

 

2) Los estándares de evaluación facilitan valorar la pertinencia de los diseños de evaluación empleados y señalar más claramente sus debilidades.

2.1. El repaso detallado que facilita el recorrido por las dimensiones y estándares permite identificar y explicitar aspectos en ocasiones obviados por los evaluadores.

2.2. Particularmente relevantes resultan en cuanto permiten y facilitan la identificación y seguimiento de actores relevantes involucrados en la intervención bajo evaluación.

2.3. El trabajo con los estándares al inicio del proceso evaluativo permite clarificar y concretizar diferentes aspectos, acotando aristas sociales y culturales que son pertinentes conocer. De no tenerlos en cuenta, se incrementa el riesgo de no focalizar la información y ampliar en demasía el radio de información. La revisión de aspectos metodológicos y los de evaluabilidad en el diseño de la evaluación se ven particularmente iluminados a partir de distintos de los estándares de evaluación.

 

Sugerencias o inquietudes

  1. a) Uno de los comentarios apuntó a la relevancia de considerar y abordar de manera explícita los resultados y logros alcanzado por la evaluación misma. ¿Correspondería incluir este tópico en el marco de los estándares de evaluación?

 

  1. b) ¿Están dejando espacio los estándares para el abordaje de resultados no planificados de la intervención?

 

 

 

 

Visitas: 92

Respuestas a esta discusión

otro elemento que hay que tomar en cuenta es crear estatndares para el desarrollo de la evaluacion de campo o participativa en donde se involucren los participantes o beneficiarios directos e indirectos de los programas y los proyectos.

me temo que los estandares aun estan limitados hay situaciones no planeadas que los estandares deberian considerar mediante un enfoque de escenarios, tambien las evaluaciones participativas y con enfoque de genero 

un saludos 

Hernan Rodriguez Minier 

UASD Republica Dominicana 

Gracias Hernán por tus aportes. Tus ideas plantean el crítico tema de cuánto es posible y deseable exigir a los estándares de evaluación, lo cual resulta un tema central en el debate sobre los mismos.

Los riesgos potenciales de exigirles mucho, abarcando diversos y detallados campos, es que nunca será suficiente cualquier esfuerzo al respecto y se habrá de estar atento a su revisión y actualización constante. Más crítico resulta a mi ver que un planteo en extremo detallado haga más difícil su utilización fácil y amigable. 

Por el contrario, un planteo generalista y que se mantiene a un nivel alto de abstracción puede conllevar en algunos casos la dificultad de aplicabilidad en caso que la formulación resulte muy despegada de la realidad evaluativa a abordar. 

Entiendo que tu visión de los Estándares de Evaluación que ahora analizamos los ubica más cerca de este segundo riesgo que del primero. Veamos si aparecen otras opiniones al respecto. 

Saludos cordiales,

Pablo

 ¿Correspondería incluir este tópico en el marco de los estándares de evaluación? NO

Creo que los resultados alcanzados dependen en gran medida del manejo adecuado de los estándares mencionados y algunos otros no incluidos; y por ello no creo que se deban abordar los resultados obtenidos por la evaluación "evaluada" en esta encuesta. Me parece que la encuesta propone un tipo de  metaevaluación. 

 ¿Están dejando espacio los estándares para el abordaje de resultados no planificados de la intervención? no me queda muy claro a qué se refieren, pero si la encuesta es sobre estándares utilizados y considerados como imprescindibles, quizás la pregunta que se podría incluir es si se utilizó algún otro estándar no mencionado en la encuesta y que debería incluirse en toda evaluación. 

Pablo creo que como dices es un equilibrio difícil pero deseable, comparto con Hernán las limitaciones de los actuales estándares, y creo que la encuesta permite incorporar preguntas sobre otros estándares sin que se abra demasiado. Como digo el/la encuestada podría ordenarlos según su criterio de importancia por ejemplo.

Pablo Rodriguez-Bilella dijo:

Gracias Hernán por tus aportes. Tus ideas plantean el crítico tema de cuánto es posible y deseable exigir a los estándares de evaluación, lo cual resulta un tema central en el debate sobre los mismos.

Los riesgos potenciales de exigirles mucho, abarcando diversos y detallados campos, es que nunca será suficiente cualquier esfuerzo al respecto y se habrá de estar atento a su revisión y actualización constante. Más crítico resulta a mi ver que un planteo en extremo detallado haga más difícil su utilización fácil y amigable. 

Por el contrario, un planteo generalista y que se mantiene a un nivel alto de abstracción puede conllevar en algunos casos la dificultad de aplicabilidad en caso que la formulación resulte muy despegada de la realidad evaluativa a abordar. 

Entiendo que tu visión de los Estándares de Evaluación que ahora analizamos los ubica más cerca de este segundo riesgo que del primero. Veamos si aparecen otras opiniones al respecto. 

Saludos cordiales,

Pablo

Estimadas y estimados colegas, 

nos hemos percatado que en la invitación inicial a este foro colocamos Noviembre en lugar de OCTUBRE como el mes de su desarrollo. Atentos a que eso puede haber confundido a algunos, vamos a extenderlo una semana más. Agradecemos los aportes ya realizados e invitamos a sumar nuevas ideas y reflexiones. 

saludos cordiales, 

Pablo

Gracias María Victoria por tus aportes. Esta idea de que las personas encuestadas puedan oredenar los estándares según su criterio de importancia sería una innovación valiosa y, de reunir suficiente masa crítica, brindaría datos muy interesantes sobre el uso real y la percepción real de los evaludores respecto a los estándares, su jerarquía y su relevancia. 

María Victoria Whittingham dijo:

Pablo creo que como dices es un equilibrio difícil pero deseable, comparto con Hernán las limitaciones de los actuales estándares, y creo que la encuesta permite incorporar preguntas sobre otros estándares sin que se abra demasiado. Como digo el/la encuestada podría ordenarlos según su criterio de importancia por ejemplo.

Pablo Rodriguez-Bilella dijo:

Gracias Hernán por tus aportes. Tus ideas plantean el crítico tema de cuánto es posible y deseable exigir a los estándares de evaluación, lo cual resulta un tema central en el debate sobre los mismos.

Los riesgos potenciales de exigirles mucho, abarcando diversos y detallados campos, es que nunca será suficiente cualquier esfuerzo al respecto y se habrá de estar atento a su revisión y actualización constante. Más crítico resulta a mi ver que un planteo en extremo detallado haga más difícil su utilización fácil y amigable. 

Por el contrario, un planteo generalista y que se mantiene a un nivel alto de abstracción puede conllevar en algunos casos la dificultad de aplicabilidad en caso que la formulación resulte muy despegada de la realidad evaluativa a abordar. 

Entiendo que tu visión de los Estándares de Evaluación que ahora analizamos los ubica más cerca de este segundo riesgo que del primero. Veamos si aparecen otras opiniones al respecto. 

Saludos cordiales,

Pablo

 loa estandares son una herramienta muy importante para los procesos evaluativos pero no deben de ser una camisa de fuerza que limite la cratividad y el accionar del evaluador las nuevas tecnologias de la informacion habren el abanico de posibilidades de hacer un proceso de evaluacion mas participativos y a muchas distancias. Este mismo Foro es un ejemplo de ellos como profesionales interesados en la evaluacion pueden discutir temas y metodos para mejorar las capacidades. en ese sentido estos mismo instrumentos tecnologicos nos pueden servir para hacer evaluaciones y entrevistas de manera virtual o remota eso es un aspectos que los estandares muchas veces no asimilan pero que a pesar de todo son una realidad 

saludos 

hernan 

RSS

© 2018   Creado por ReLAC.   Tecnología de

Emblemas  |  Reportar un problema  |  Términos de servicio