¿Es útil el cambio más significativo para evaluar la gestión del conocimiento? Cinco cosas que aprendimos

Como profesionales de la gestión del conocimiento, a menudo nos preguntan por qué los programas de planificación familiar y salud reproductiva y otros programas de salud pública deberían invertir en intervenciones de gestión del conocimiento. En concreto, la gente quiere saber qué tipos de resultados Demostrar el impacto de la gestión del conocimiento en resultados de nivel superior (como el uso de datos e información para fundamentar la toma de decisiones sobre programas o políticas o la aplicación de conocimientos para mejorar los sistemas de salud) puede ser un desafío, porque puede resultar difícil determinar el impacto específico de las herramientas y técnicas de gestión del conocimiento cuando se utilizan en conjunto con otras actividades de salud pública.

Aquí es donde Monitoreo y evaluación conscientes de la complejidad Los métodos (M&E) entran en juego. Hemos utilizado las preguntas de la Cambio más significativo (MSC), un método de M&E consciente de la complejidad, para contribuir a la evaluación de varias iniciativas de gestión del conocimiento que hemos liderado y descubrimos que es un método útil para demostrar los beneficios (resultados) de estas intervenciones de gestión del conocimiento.

¿Qué es MSC?

MSC es un método de M&E participativo basado en historias en vez de indicadores (ver figura). Fue diseñado para ser utilizado a lo largo del ciclo de vida de un proyecto con el fin de informar sobre las correcciones del curso en curso (en otras palabras, para el seguimiento continuo y la gestión adaptativa), pero también puede aportar datos cualitativos sobre los resultados y el impacto de un proyecto.

Las historias de MSC se basan en las respuestas de los encuestados a tres preguntas clave de MSC:

• ¿Cuál cree usted que fue el cambio más significativo?
• ¿Por qué fue esto importante para usted?
• ¿Qué diferencia ha supuesto esto ahora o supondrá en el futuro?

Las preguntas, a primera vista, parecen simples, ¡quizás demasiado simples! Pero a medida que usamos las preguntas del MSC en evaluaciones de iniciativas de gestión del conocimiento tan diversas como la nuestra, Programa Círculos de Aprendizaje, El tono, nuestro Intervenciones de fortalecimiento de la capacidad de gestión del conocimiento en Asia y África Oriental, y nuestra asociación con cinco países africanos francófonos para Integrar la gestión del conocimiento en los planes de implementación presupuestados (CIP), ¡descubrimos que MSC es realmente poderoso!

Cinco lecciones que aprendimos sobre MSC

1. Las preguntas del MSC son bastante amplias y permiten que surjan diferentes perspectivas a partir de diversas experiencias.

Nos preocupaba utilizar únicamente las preguntas de MSC en nuestras entrevistas y grupos de discusión. No creíamos que obtendríamos datos sobre determinados resultados (positivos o negativos) porque las preguntas de MSC eran muy amplias, así que también les hicimos preguntas más específicas a nuestros encuestados. Descubrimos que las respuestas de las personas a las preguntas más específicas eran, en general, una duplicación de lo que habían compartido en las preguntas de MSC y, a veces, menos enriquecedoras.

Por ejemplo, en respuesta a las preguntas del MSC, un participante de los Círculos de Aprendizaje Africanos Francófonos compartió:

PAGParticipando en esto [Círculos de aprendizaje] La sesión me permitió aprender nuevos conocimientos y realmente tuvo un impacto en mi vida porque en primer lugar, nos permitió conocer nuevas experiencias de nuestros pares que están en otros países. … A través de esta oportunidad, entendimos que hay prácticas que existen en otros países pero que no están en nuestro país y … ¿Por qué no duplicar estas hermosas experiencias también en nuestro país?? … yoLa segunda cosa … Esta sesión nos ha permitido construir este vínculo y estas relaciones entre nosotros. [participantes de otros países africanos]. Y lo tercero es que nos permitió aprender a gestionar nuestro conocimiento. Porque hay que decir que hacemos mucho en el terreno: hacemos actividades, hacemos iniciativas. Pero la sostenibilidad y sobre todo la documentación de estas iniciativas, estas sesiones nos permitieron, en todo caso, [aprender] a documentar y a gestionar el conjunto de conocimientos que podemos obtener de las experiencias.. 

Cuando se les preguntó más específicamente a explicar si El formato de Círculos de Aprendizaje fue útil para generar y compartir lecciones sobre lo que funciona y lo que no. no en planificación familiar programas, el mismo participante remitido de nuevo aprender de las experiencias de otros participantes como una indicación de la utilidad del formato Círculos de Aprendizaje:  

Yo diría que el formato fue bastante útil en términos de gestión, de compartir lecciones y programas, sobre lo que funciona y lo que no. no. … Nos permitió ver, Por ejemplo, en Guinea aquí, ¿cuáles son los elementos o cuáles son las iniciativas? Ese trabajo en el área de FP? Y que no ¿Trabajamos? Nosotros compartimos y otros jóvenes de otros países también. Cuotad sus experiencias.

2. Las preguntas del MSC También ayuda descubrir resultados inesperados.  

Las formas estructuradas de seguimiento y evaluación son útiles para las vías causales lineales y claras, pero en entornos o intervenciones complejos, se necesita algo con más flexibilidad. Esta flexibilidad le ayuda a descubrir aspectos que no necesariamente se tenían en cuenta en el diseño. Una vez que descubra estos aspectos, puede tenerlos en cuenta en su diseño para fortalecer aún más esos componentes o abordar áreas problemáticas.

Por ejemplo, en nuestra evaluación de Círculos de Aprendizaje, nos sorprendió gratamente saber que varios participantes dijeron que su participación en Círculos de Aprendizaje contribuyó a su avance profesional, algo que no habíamos tenido en cuenta intencionalmente en el diseño inicial del programa: 

Puedo verlo [Learning Circles] como algo realmente bueno para mi carrera, hasta tal punto que ahora mismo creo que me estoy moviendo a posiciones aún más altas solo por el conocimiento. – Participante del África anglófona

“… También fui parte de toda esta red regional y el impacto que [mi participación en Learning Circles] ha creado fue que antes solo me ocupaba de la red a nivel de India, pero después de intercambiar los conocimientos [de Learning Circles] que proporcioné a la alta dirección de la organización, también me pidieron que liderara esta red regional del sudeste asiático. – Participante de Asia

3. Es is útil Para emparejar Los ricos datos cualitativos del MSC con datos cuantitativos.  

Hemos descubierto que las citas de MSC (y los datos cualitativos en general) brindan descripciones tan detalladas de las experiencias de las personas y un nivel de comprensión de los resultados y el impacto del trabajo que se está evaluando que simplemente no se puede obtener con datos cuantitativos. Sin embargo, también es bueno combinar los datos cualitativos con números y estadísticas, cuando sea posible, para demostrar hasta qué punto esas experiencias y resultados pueden ser representativos de un grupo más grande de personas.

Por ejemplo, en nuestra evaluación de los Círculos de aprendizaje, combinamos una encuesta más tradicional de los participantes con entrevistas centradas en los MSC, y descubrimos que una mayoría de los encuestados dijo que aplicaba los conocimientos adquiridos en los Círculos de aprendizaje para informar el diseño de programas, las mejoras o las políticas. Nuestras entrevistas de los MSC pintaron un panorama de cómo se veía la adaptación y el uso de los conocimientos:  

… como implementador de un programa de salud reproductiva en Uganda, aprendí cómo podíamos Aprovechar las diferentes redes para hacer más incidencia … Estaba aprendiendo de los participantes de Kenia cómo lo estaban haciendo por su parte, especialmente usando las redes sociales, cómo podíamos identificar actores clave para la planificación familiar que también pudiéramos utilizar en Uganda.

… Realmente me ayudó a cambiar mi forma de pensar, especialmente en la programación sobre violencia de género y ahora puedo comprender mejor qué hacer con respecto a la violencia de género, incluso Desarrollar propuestas de financiación, Construir un caso más sólido Dentro de mi organización para la violencia de género [programación].

4. Aún necesitas experimentado Investigadores recopilarán y analizarán datos de MSC. 

Aunque las personas en general entendieron las preguntas del MSC y respondieron en consecuencia, sigue siendo importante contar con entrevistadores experimentados que puedan indagar cuando sea necesario. Una vez que se recopilan los datos, también se necesitan personas con cierta experiencia en análisis de datos cualitativos para analizarlos y sintetizarlos. ATLAS.ti para codificar y analizar los datos, pero también hay disponibles opciones de software gratuitas y más sencillas, como Minero QDA Lite, Etiqueta, o incluso Google Docs/Sheets o Microsoft Word/Excel.

5. ¡MSC es un gran método para contribuir a la evaluación de las intervenciones de KM!

Nuestro equipo tenía experiencia en el uso de MSC para Seguimiento continuo de las intervenciones del programa de planificación familiar y salud reproductiva en el marco de la Iniciativa DesafíoPensamos que también podría ser útil para el seguimiento y evaluación de las intervenciones de gestión del conocimiento, pero no teníamos ninguna experiencia ni evidencia que respaldara esa suposición. Después de utilizar MSC en cuatro evaluaciones de diferentes intervenciones de gestión del conocimiento, ahora nos sentimos seguros de alentar a otros profesionales de la gestión del conocimiento a que prueben MSC.