Un experimento de inteligencia colectiva para asimilar los aprendizajes de las personas operadoras de programas presupuestales y quienes están en la primera línea de la implementación de programas públicos.

En este blog te contamos sobre el experimento de minería de texto que realizamos en el Laboratorio de Aceleración del PNUD en México. El ejercicio combina el monitoreo de indicadores para resultados del Sistema de Evaluación del Desempeño, ciencia de datos, Programación Natural de Lenguaje y los principios de inteligencia colectiva. Estos datos permitieron asimilar, de forma colectiva, los principales aprendizajes a los que llegan las personas que están en primera fila de la implementación de programas públicos.

¿De dónde surgen los textos que minamos?

¿Cómo sabemos si lo que hace el gobierno se hace bien? Para comenzar a contestar esta pregunta es importante contar con mecanismos de transparencia y rendición de cuentas como con los que cuenta el Gobierno de México. De ahí, revisar si las metas establecidas en los programas de gobierno tienen una relación clara de causalidad con las actividades que realizan los programa y su propósito. También, conocer si los avances se monitorean con regularidad, que la información esté al alcance de cualquier persona, y que se reflexione continuamente sobre lo que impide alcanzar las metas, entonces, se estará en la senda de la mejora continua.

Uno de los elementos del Presupuesto basado en Resultados implica justo eso, las personas a cargo de operar un Programa presupuestal definen objetivos y metas específicas de desempeño, las capturan en matrices y fichas de indicadores para resultados a partir de la aplicación de la Metodología de Marco Lógico. En este sentido, establecen una clara relación de causalidad entre las actividades que realizan y su propósito, así como su contribución a un fin superior que es a la política busca abonar. Esta información es la base para el seguimiento y monitoreo del desempeño de los programas en el Sistema de Evaluación del Desempeño, además de que  todo esto genera datos que son de acceso libre en el portal de transparencia del Gobierno de México.

Pero, hay más, ya que además de monitorear el avance de indicadores y cumplimiento de metas, las personas también suben al sistema, una vez al año, una reflexión por cada indicador. En un párrafo breve, las personas responsables deben describir, a su saber, las principales causas que explican la diferencia entre el avance del indicador y la meta. Estos son los registros que nos dimos a la tarea de minar pues contienen información valiosa sobre los aprendizajes a los que llegan quienes están en la primera línea de implementación de los programas, así como los retos que enfrentan en la implementación. Esta es información que, por la dificultad que implica su agregación y sistematización, difícilmente se utiliza para identificar patrones más allá del nivel individual de cada programa.

¿Cuáles son las causas que explican un buen o mal desempeño?

Este experimento es el primer ejercicio del que se tiene cuenta para hacer sentido y encontrar patrones de forma agregada sobre aquello que las personas mencionan en los textos de justificación de las diferencias entre los avances y las metas. Lo que las personas escriben tiene el potencial de arrojar luz sobre los factores que hay detrás de que algunos Programas presupuestales no alcancen sus metas. Toda la información que se utilizó para realizar este ejercicio se encuentra en la base de datos del avance de indicadores del Sistema de Evaluación del Desempeño de 2013 a 2019 y contiene registros del avance de 97,515 indicadores a lo largo de este periodo. Los textos de justificación se tienen gracias a miles de personas que trabajan en la función pública y constituyen el depósito de conocimiento y aprendizajes aplicados mas importante del país sobre lo que implica operar políticas púbicas.

La Secretaría de Hacienda y Crédito Público envía cada año a las dependencias una Guía para reportar el avance final respecto de las metas comprometidas en los indicadores de desempeño, la cual  describe nueve causas predefinidas por la Unidad de Evaluación del Desempeño que son el punto de partida de este experimento. Ocho específicas y una novena que incluye situaciones que, por su naturaleza, no es posible agregar.

1. Programación original deficiente.
2. Emergencias provocadas por accidentes y/o fenómenos naturales adversos y/o riesgos sanitarios.
3. Menor demanda de bienes y servicios.
4. Retrasos en los trámites para el ejercicio presupuestario por parte de la Unidad Responsable.
5. Incumplimiento o retraso en trámites para el ejercicio presupuestario por parte de instancias gubernamentales diferentes a la UR.
6. Incumplimiento o inconformidades de proveedores y contratistas, así como por oposición de grupos sociales.
7. Modificación de atribuciones institucionales por disposiciones normativas.
8. Incumplimiento por situaciones normativas extrapresupuestarias ajenas a la UR de la meta.
9. Otras causas que, por su naturaleza, no es posible agregar.

Para traducir la información textual y poderla aprovechar de forma cuantitativa, se diseñaron dos algoritmos de minería de texto. El primero es un algoritmo capaz de ordenar los textos de acuerdo con su complejidad lingüística para poder distinguir entre los que son de fácil lectura de los más sofisticados. El segundo es un algoritmo capaz de evaluar la similitud de cada uno de los textos con cada una de las nueve causas predefinidas por la Unidad de Evaluación del Desempeño.

¿Cómo se construye una inteligencia colectiva?

La inteligencia colectiva es la capacidad ampliada para el aprendizaje, toma de decisiones y resolución de problemas que pueden alcanzar las sociedades cuando utilizan de forma adecuada la tecnología. Se da cuando se logra crear una arquitectura tecnológica que ayude a la sociedad a asimilar más perspectivas y utilizarlas para tomar decisiones de forma más participativa y plural, a favor de un bien común.

Gracias al análisis que propone este experimento se pueden extraer tendencias de forma agregada sobre las causas por las que algunos Programas presupuestarios no alcanzaron sus metas. Todo, a partir de los aprendizajes individuales a los que llegan las personas que están en la primera línea de la implementación de las políticas del país, y sin pedirle a las personas realizar ninguna tarea adicional a las labores de monitoreo que ya realizan en marco del Sistema de Evaluación del Desempeño.

Esto contribuye a moldear la arquitectura del Sistema de Evaluación del Desempeño como una inteligencia colectiva en la que los aprendizajes de las personas en lo individual se agregan para crear algo que es más que la suma de sus partes. Esta es la premisa básica bajo la cual los Laboratorio de Aceleración proponen la creación de sistemas de inteligencia colectiva en su reporte https://smartertogether.earth/

En el próximo blog, te contamos los principales resultados de un primer ejercicio de análisis de los datos obtenidos en el experimento. 

¿Tienes experiencia en ciencia de datos y minería de textos? ¿Conoces el Sistema de Evaluación del Desempeño del Gobierno de México? o quieres compartir con nosotros ideas de cómo se puede incorporar tecnología para el diseño de mejoras en el Presupuesto basado en Resultados ¡Escríbenos, queremos escucharte!