El impacto y su medición es uno de los temas que con mayor frecuencia suelen captar la atención quienes trabajamos con proyectos socioambientales. Muy probablemente muchos de nosotros hayamos tenido una conversación para tratar de entender que significa impacto y sobre el cómo saber si lo estamos logrando. Muchas veces motivados por un auténtico compromiso con la rendición de cuentas sobre nuestras acciones y otras veces por que aparece como un nuevo requisito de quienes apoyan con recursos nuestras actividades. Impacto es ya una palabra con mucho peso en el mundo de las organizaciones de la sociedad civil.

El significado de esta palabra y los múltiples "cómos" a su alrededor cambian dependiendo del grupo de trabajo de origen. Por ejemplo, es posible hablar de al menos tres perspectivas diferentes sobre el tema. En un primer lado, están quienes hablan del impacto alrededor de las evaluaciones aleatorizadas y del cambio atribuible causalmente a una intervención, donde quizá uno de sus proponentes más conocidos es el J-PAL del MIT (1). En un segundo lado, aparecen quienes al hablar de la evaluación del impacto social y ambiental lo hacen alrededor de proyectos de desarrollo como minas, fábricas, perforación de pozos de petróleo, aeropuertos, carreteras, como por ejemplo la Asociación Internacional para la Evaluación de Impactos (IAIA) (2). Por último, pero no por ello menos importante también está la medición del impacto de los fondos de inversión y de las empresas sociales, cuya noción está enfocada en el reporte del desempeño social, ambiental y financiero de una organización y donde uno de los actores más conocidos es Social Value UK y su propuesta de medición del Social Return On Investment (SROI) (3) o el Impact Reporting andInvestment Standard (IRIS) propuesto por el GlobalImpact Investment Network(4).

Tantas nociones al respecto del tema pueden generar confusión y frustración alrededor de la tarea primordial detrás de cada una de estas propuestas: la rendición de cuentas. Al final del día la pregunta que nos hacemos la mayoría es ¿Cómo podemos mejorar nuestras acciones socioambientales?

Muy probablemente ninguna de las opciones mencionadas se ajuste adecuadamente a la realidad delas organizaciones de la sociedad civil de nuestro país. Por ejemplo, la realización de una evaluación aleatorizada requiere de muchas precondiciones de difícil alcance a la realidad de la implementación que se viven en el territorio (5). Gugerty y Karlan han compartido una amplia reflexión sobre este tema y sobre las razones por las cuales no implementar un ensayo aleatorizado; nos hacen preguntas como ¿Podemos generar un buen contrafactual?¿Podemos obtener mediciones de buena calidad? ¿Puedo prevenir la mortalidad experimental? entre muchas otras (6).

En una línea similar, el tipo de evaluación de impacto ejemplificado por la IAIA está pensado en ayudar a las organizaciones a predecir y mitigar los impactos negativos y las oportunidades para mejorar los beneficios dentro de una comunidad que un proyecto de tipo industrial o de infraestructura puedan desencadenar (7). En muy contadas ocasiones la magnitud de un proyecto implementado por una organización de la sociedad civil es de esta naturaleza.

Luego entonces, ¿Cómo podemos hacerle para caminar hacia intervenciones de impacto? o en otras palabras ¿Qué opciones tenemos para aprender y mejorar nuestras acciones socioambientales como una organización de la sociedad civil en México?

También Gugerty y Karlan ya nos da luz sobre hacia dónde mirar (6). En su reflexión, una de las alternativas a la evaluación aleatorizada es la evaluación de procesos. El argumento es que en la medida en que una acción social sea implementada con mejor calidad y estabilidad, en esa medida también podrá ser más fácil de evaluar a futuro bajo una lógica de ensayo aleatorizado.

Desde Centro de Innovación Social de Alto Impacto (CISAI) del ITESO y en equipo con Corporativa de Fundaciones pensamos que implementation science puede ser de gran utilidad para responder ante este reto. Existen múltiples herramientas que sirven para mejorar una intervención. Por ejemplo, el Consejo de Investigación Médica de Reino Unido propone un marco de validación de intervenciones complejas que ofrece una guía muy sencilla sobre el proceso a seguir para contar con una acción que dé resultados (8).

De manera simplificada en el trabajo que realizamos con organizaciones de la sociedad civil desde el CISAI hay tres aspectos que en nuestra opinión pueden ayudarnos a acumular evidencia y a mejorar consistentemente nuestras acciones socioambientales. Primero, pensamos que corresponde generar y validar una teoría de cambio (TC) de nuestras intervenciones. Segundo, es identificar el nivel de aceptabilidad de nuestras intervenciones y los aspectos del territorio y de los participantes que la influyen. Finalmente, la propuesta es identificar la fidelidad conque implementamos nuestras intervenciones, así como los aspectos que la reducen o la consolidan. Si bien, medir los resultados es fundamental y parte del proceso que proponemos desarrollar a las organizaciones, nuestro énfasis es hacia la construcción de evidencia de factibilidad.

La construcción, revisión y validación de una TC de una intervención es para nosotros el primer paso, porque en ella se hacen explicitas las cadenas causales que deben llevara la consecución del impacto que deseamos. Una teoría de cambio cuyas actividades, resultados a corto, mediano y largo plazo están sólidamente articulados se vuelve en una herramienta con la que probamos muestras ideas contra la implementación (9).

De la mano con la TC se encuentra el trabajo de revisión sobre los niveles de aceptabilidad de una intervención. Como el nombre lo sugiere, consiste en el grado en que nuestras acciones sociales o ambientales son pertinentes tanto a los ojos delos participantes como de los implementadores antes, durante, o después de un proyecto. Un buen nivel de aceptabilidad suele ser un buen predictor del involucramiento de las partes interesadas, del abandono de un proyecto, e incluso de la fidelidad con que este se implementa un proyecto (10).

El grado en que un proyecto ocurre tal y como se diseñó cuando se lleva al territorio tiene diversas implicaciones. De forma simplificada esto se llama fidelidad de la implementación (11). Es importante porque en distintos estudios se ha encontrado como un predictor del beneficio que experimentan los participantes (12), pero, además, si algo no ocurre como se diseñó se presentan dos potenciales problemas. Por un lado, pudiera ser que la forma en que ideamos no sea realmente compatible con la realidad del campo, pero también podría ser que el equipo implementador carezca de la supervisión y/o entrenamiento para su realización. En cualquier caso, su monitoreo nos da pistas muy concretas de aspectos de nuestras acciones que pueden mejorarse.

Desde CISAI la perspectiva es acompañar estas tres acciones con la medición de resultados de corto y mediano plazo, pero recordando las limitaciones propias de un diseño observacional en comparación de un enfoque experimental. Es decir, ser conscientes de que independientemente de lo que observemos, no estaremos en posición de establecer causalidad. Pero si en posición de mejorar nuestras acciones.

Este enfoque permite generar un círculo virtuoso, primero porque la TC se vuelve verificable en campo, segundo porque podemos saber qué acciones son pertinentes a los ojos de los involucrados, tercero porque podemos identificar qué aspectos de nuestra ideación no son operativamente viables en campo, y cuarto, porque en este punto podemos validar empíricamente nuestra TC al revisar si valores de aceptabilidad predicen la fidelidad, y estos a su vez los resultados observados, de forma que podamos darnos cuenta donde poner atención para mejorar y cerrar el círculo.

En suma, caminar hacia intervenciones de impacto no implica forzar la adopción de enfoques como IRIS o el hacer evaluaciones aleatorizadas. Involucra entre otras cosas y particularmente en el ambiente mexicano, mirar críticamente nuestras acciones y ser capaces de saber qué mejorar en ellas y de poder ligarlo a los resultados observados en campo. Es posible generar un mayor impacto si primero nos enfocamos en consolidar la calidad con que se implementan nuestras acciones socioambientales.

Glosario

Evaluación aleatorizada: Es una forma de medir si una intervención tuvo efecto a partir de comparar a quienes recibieron un tratamiento con quienes no. Un detalle fundamental es que quienes reciben el tratamiento se decide en un lotería, lo cual sirve para repartir igualmente los distintos factores de la población que podrían modificar el resultado.

Contrafactual: Es un grupo que representa lo que hubiera pasado con la población objetivo si no hubiera existido la intervención. En otras palabras, un grupo control creado a través de la asignación aleatoria del tratamiento.

Implementation science: Deforma simplificada es un área que estudia como promover la adopción de los resultados de la investigación en los servicios de atención social, organizaciones o de políticas públicas.

Aceptabilidad: se puede considerar como la medida en que quienes implementan y quienes participan en una intervención consideran lo experimentado como adecuada a nivel cognitivo, emocional.

Fidelidad: De manera amplificada significa que tanto fuimos capaces de realizarlas actividades que planificamos y si la forma en que se llevaron acabo fue de acuerdo a lo diseñado.

Factibilidad: Es una fase del proceso de construcción de la evidencia que se enfoca en revisar si una propuesta de intervención se puede operar en campo tal y como se planeó. Usualmente ayuda a saber si la intervención resulta adecuada desdela perspectiva de los participantes y si podemos realizar las actividades que diseñamos. Ayuda a mejorar el proceso de implementación y a planear evaluaciones aleatorizadas.

Algunas herramientas sugeridas:

Un marco para validar intervenciones complejas (8)

Un marco orientador para conocer métodos de diseño de intervenciones (13)

Un ejercicio para validar las cadenas causales de la TC (14)

Un marco para abordar la aceptabilidad (10)

Un marco para abordar la fidelidad de implementación (11)

Referencias

1.            Gibson M, Sautmann A. Introduction to randomized evaluations [Internet]. The Abdul Latif Jameel Poverty Action Lab (J-PAL). [citado 23 de noviembre de 2022]. Disponibleen:https://www.povertyactionlab.org/resource/introduction-randomized-evaluations

2.           Vanclay F. Evaluación de impacto social. Lineamientos Para Eval Gest Impactos Soc Proy.2015;

3.            Millar R, Hall K. Social Return on Investment (SROI) and Performance Measurement. Public Manag Rev. 1 de septiembre de 2013;15(6):923-41.

4.            NetworkGII. IRIS+ and the five dimensions of impact. Glob Impact Invest Netw. 2019;10.

5.            MeasuringImpact Isn’t for Everyone (SSIR) [Internet]. [citado 23 de noviembre de2022].Disponibleen:https://ssir.org/articles/entry/measuring_impact_isnt_for_everyone

6.            TenReasons Not to Measure Impact—and What to Do Instead (SSIR) [Internet]. [citado23 denoviembre de 2022]. Disponible en:https://ssir.org/articles/entry/ten_reasons_not_to_measure_impact_and_what_to_do_instead

7.            WilsonE. What is Social Impact Assessment? febrero de 2017;

8.           Skivington K, Matthews L, Simpson SA, Craig P, Baird J, Blazeby JM,et al. A newframework for developing and evaluating complex interventions:update ofMedical Research Council guidance. BMJ. 30 de septiembre de2021;374:n2061.

9.            RogersP. Theory of change. Methodol Briefs Impact Eval. 2014;2(16):1-14.

10.          Sekhon M,Cartwright M, Francis JJ. Acceptability of healthcare interventions: anoverviewof reviews and development of a theoretical framework. BMC Health ServRes.26 de enero de 2017;17(1):88.

11.          Carroll C,Patterson M, Wood S, Booth A, Rick J, Balain S. A conceptual frameworkforimplementation fidelity. Implement Sci. 30 de noviembre de 2007;2(1):40.

12.         Rojas-Andrade R, Bahamondes LL. Is Implementation Fidelity Important? A Systematic Review onSchool-BasedMental Health Programs. Contemp Sch Psychol. 1 de diciembrede2019;23(4):339-50.

13.          O’Cathain A,Croot L, Duncan E, Rousseau N, Sworn K, Turner KM, et al. Guidance on howto develop complex interventions to improve health and healthcare. BMJ Open. 1de agosto de 2019;9(8):e029954.

14. GuijtI. ToC reflection notes 3: Working with assumptions in atheory of changeprocess. The Hague: Hivos; 2013.

‍