Hace unos días, el Instituto de Evaluación de Políticas Públicas de Cataluña (IVÀLUA) hacía públicos el conjunto de documentos sobre el diseño del plan piloto de la Renta Básica Universal (RBU) que estaba originalmente incluido a los presupuestos de la Generalitat por este año 2023. Como ya sabemos, la partida presupuestaria por este plan piloto no contó con el apoyo mayoritario del Parlament y, por lo tanto, no fue aprobada.
Aun así, la lectura de estos documentos es relevante, puesto que permiten zambullirnos en un diseño de evaluación riguroso y de alto nivel científico. Evaluar de manera precisa una política como la Renta Básica no es tarea fácil, dada el alta complejidad de las esferas a las que afecta y el cambio que supone en la vida de las personas que la recibirían, pero los documentos preparados por IVÀLUA presentan los diversos elementos, tanto de la intervención como de la evaluación, de manera detallada, algo que tendría que ser el habitual en las políticas públicas que se implementan en casa nuestra.
Las características principales del plan piloto se pueden resumir en dos grandes ejes: las preguntas que intenta responder y como las intenta responder. Respeto las preguntas que intenta responder, el plan piloto se focaliza en cuáles serían los efectos (i) de una transferencia monetaria suficientemente elevada como para garantizar la subsistencia material de las personas y (ii) que tenga un carácter universal. El diseño se focaliza en estas cuestiones, puesto que, tal y como apuntan desde IVÀLUA en su revisión de la evidencia científica sobre la RBU, son dos cuestiones sobre los cuales no se tiene evidencia empírica en países desarrollados cómo Cataluña. Por lo tanto, solo dar una respuesta rigurosa a estas preguntas ya sería una contribución importante del estudio.
El qué y el cómo de la Renta Básica
Sobre cómo se intentan responder estas dos preguntas, el diseño del plan piloto especifica dos aproximaciones complementarias: por un lado, se diseña un experimento de control aleatorizado a escala de domicilio para estudiar los efectos de carácter individual (¿Por ejemplo, las personas que reciben la RBU dejan de trabajar?). Por otro lado, se diseña un experimento de control sintético para evaluar efectos con respecto a un municipio con carácter de equilibrio general (¿Por ejemplo, hay un incremento de la actividad asociativa en los municipios que reciben la RBU?)
Los experimentos de control aleatorizado se basan, tal como indica el nombre, en un principio de aleatorización. Primeramente, se selecciona una muestra aleatoria y representativa de la población de interés para después asignar, también de manera aleatoria, los individuos de esta muestra entre los diversas intervenciones que se quieran evaluar. En su forma más básica, se asignaría aleatoriamente la mitad de la muestra a recibir un tratamiento, mientras que la otra mitad no recibiría nada y actuaría como grupo de control.
El elemento clave es que gracias a las propiedades estadísticas de la aleatorización – tanto en la fase de selección de muestra como de asignación a la intervención – se puede demostrar que cualquier diferencia que se observe entre los grupos después de implementar la intervención seria a causa del tratamiento recibido.
¿Ha funcionado, el experimento?
En el ámbito de las evaluaciones de políticas públicas, los experimentos de control aleatorizado están muy bien valorados, puesto que, si están muy diseñados e implementados cómo parece el caso de la propuesta de IVÀLUA, permiten estimar con precisión los efectos de la política pública que se quiera evaluar. Aun así, si se quieren evaluar efectos en una escala más general, el foco a nivel individual que tienen estos experimentos los limitan en este aspecto.
Así, para intentar evaluar los efectos de la RBU a un nivel más agregado como el municipio, desde IVÀLUA proponen diseñar un experimento de control sintético. Los experimentos de control sintético – originados a principios de la década de los 2000 en los estudios de Alberto Abadie, economista español profesor al MIT, y refinados a lo largo de las dos décadas posteriores – se basan en la agregación ponderada de unidades diferentes para crear una unidad de control sintética que pueda servir de comparación con la unidad que se encuentra tratada. Una de las claves metodológicas es seleccionar una muestra ponderada de observaciones que permitan replicar de manera lo más exacta posible la evolución temporal que han tenido las variables de interés en la observación tratada en los periodos previos a recibir la intervención.
En el caso de la evaluación de la RBU, el elemento inicial sería la elección aleatoria de dos pueblos entre 1200 y 1400 habitantes en Cataluña donde todos los habitantes empadronados recibirían la RBU durante el periodo establecido. Previamente, pero, se habría agregado de manera ponderada datos del resto de pueblos entre 1200 y 1400 habitantes de Cataluña para intentar replicar de manera sintética los pueblos seleccionados. Así, al final de la evaluación, y después de la recogida de datos en los pueblos que han recibido la RBU, se podrían comparar los datos recogidos con los datos sintéticos y estimar el efecto de la RBU a escala municipal, cosa que los experimentos de control aleatorizado no permiten.
La inclusión de un experimento de control sintético en la propuesta del plan piloto tiene un doble valor: Por un lado, demuestra una aproximación rigurosa a la evaluación, proponiendo métodos de evaluación complementarios entre sí para tener una visión más completa de los varios niveles donde la RBU podría tener un efecto. Y adicionalmente, se usa un método que se encuentra en la frontera metodológica más avance de la literatura especializada – los detalles técnicos del control sintético han sido diseñados por un doctorando catalán actual del propio Abadie – en un contexto de una intervención de importante impacto.
Evaluar y no devaluar
Unir en una misma evaluación elementos de contrastada eficacia como los experimentos de control aleatorizado y que representen una importante contribución científica, como el uso del control sintético, en un contexto de alta relevancia social, como una prueba piloto de una RBU es algo que no se ve cada día. Es por eso que sorprenden las voces que se levantaron en el debate público, y especialmente en Twitter, desbarrando sobre la propuesta y sin parecer entender, espero que no de manera intencionada, las virtudes del diseño de evaluación que se proponía. No fue una sorpresa agradable ver que diversas de estas voces provenían de individuos de contrastada solvencia académica, de los cuales sería esperable que el rigor que promueven en su trabajo también se extrapolara a sus intervenciones públicas.
Es totalmente legítimo y respetable no estar de acuerdo en la implementación de una renta básica por el motivo que sea. Pero a poder tener un debate público informado sobre los efectos concretos de las políticas públicas, es importante tener organismos como IVÀLUA, especialmente cuando el trabajo se hace bien, como en el caso de la evaluación de la RBU.
