Fa uns dies, l’Institut d’Avaluació de Polítiques Públiques de Catalunya (IVÀLUA) feia públics el conjunt de documents sobre el disseny del pla pilot de la Renda Bàsica Universal (RBU) que estava originalment inclòs als pressupostos de la Generalitat per aquest any 2023. Com ja sabem, la partida pressupostària per aquest pla pilot no va comptar amb el suport majoritari del Parlament i, per tant, no va ser aprovada.
Tot i això, la lectura d’aquests documents és rellevant, ja que permeten capbussar-nos en un disseny d’avaluació rigorós i d’alt nivell científic. Avaluar de manera precisa una política com la Renda Bàsica no és tasca fàcil, donada l’alta complexitat de les esferes a les que afecta i el canvi que suposa en la vida de les persones que la rebrien, però els documents preparats per IVÀLUA en presenten els diversos elements, tant de la intervenció com de l’avaluació, de manera detallada, quelcom que hauria de ser l’habitual en les polítiques públiques que s’implementen a casa nostra.
Les característiques principals del pla pilot es poden resumir en dos grans eixos: les preguntes que intenta respondre i com les intenta respondre. Respecte les preguntes que intenta respondre, el pla pilot es focalitza en quins serien els efectes (i) d’una transferència monetària suficientment elevada com per garantir la subsistència material de les persones i (ii) que tingui un caràcter universal. El disseny es focalitza en aquestes qüestions ja que, tal i com apunten des d’IVÀLUA en la seva revisió de l’evidència científica sobre la RBU, són dues qüestions sobre els quals no es té evidència empírica en països desenvolupats com Catalunya. Per tant, només donar una resposta rigorosa a aquestes preguntes ja seria una contribució important de l’estudi.
El què i el com de la Renda Bàsica
Sobre com s’intenten respondre aquestes dues preguntes, el disseny del pla pilot especifica dues aproximacions complementàries: d’una banda, es dissenya un experiment de control aleatoritzat a escala de domicili per estudiar els efectes de caràcter individual (per exemple, les persones que reben la RBU deixen de treballar?). D’altra banda, es dissenya un experiment de control sintètic per avaluar efectes a nivell de municipi amb caràcter d’equilibri general (per exemple, hi ha un increment de l’activitat associativa als municipis que reben la RBU?)
Els experiments de control aleatoritzat es basen, tal com indica el nom, en un principi d’aleatorització. Primerament, es selecciona una mostra aleatòria i representativa de la població d’interès per després assignar, també de manera aleatòria, els individus d’aquesta mostra entre els diverses intervencions que es vulguin avaluar. En la seva forma més bàsica, s’assignaria aleatòriament la meitat de la mostra a rebre un tractament mentre que l’altra meitat no rebria res i actuaria com a grup de control.
L’element clau és que gràcies a les propietats estadístiques de l’aleatorització – tant en la fase de selecció de mostra com d’assignació a la intervenció – es pot demostrar que qualsevol diferència que s’observi entre els grups després d’implementar la intervenció seria a causa del tractament rebut.
Ha funcionat, l’experiment?
En l’àmbit de les avaluacions de polítiques públiques, els experiments de control aleatoritzat estan molt ben valorats, ja que, si estan ben dissenyats i implementats com sembla el cas de la proposta d’IVÀLUA, permeten estimar amb precisió els efectes de la política pública que es vulgui avaluar. Tot i això, si es volen avaluar efectes a una escala més general, el focus a nivell individual que tenen aquests experiments els limiten en aquest aspecte.
Així, per intentar avaluar els efectes de la RBU a un nivell més agregat com el municipi, des d’IVÀLUA proposen dissenyar un experiment de control sintètic. Els experiments de control sintètic – originats a principis de la dècada dels 2000 en els estudis d’Alberto Abadie, economista espanyol professor al MIT, i refinats al llarg de les dues dècades posteriors – es basen en l’agregació ponderada d’unitats diferents per crear una unitat de control sintètica que pugui servir de comparació amb la unitat que es troba tractada. Una de les claus metodològiques és seleccionar una mostra ponderada d’observacions que permetin replicar de manera el més exacta possible l’evolució temporal que han tingut les variables d’interès en l’observació tractada en els períodes previs a rebre la intervenció.
En el cas de l’avaluació de la RBU, l’element inicial seria l’elecció aleatòria de dos pobles entre 1200 i 1400 habitants a Catalunya on tots els habitants empadronats rebrien la RBU durant el període establert. Prèviament, però, s’hauria agregat de manera ponderada dades de la resta de pobles entre 1200 i 1400 habitants de Catalunya per intentar replicar de manera sintètica els pobles seleccionats. Així, al final de l’avaluació, i després de la recollida de dades als pobles que han rebut la RBU, es podrien comparar les dades recollides amb les dades sintètiques i estimar l’efecte de la RBU a escala municipal, cosa que que els experiments de control aleatoritzat no permeten.
La inclusió d’un experiment de control sintètic en la proposta del pla pilot té un doble valor: D’una banda, demostra una aproximació rigorosa a l’avaluació proposant mètodes d’avaluació complementaris entre si per tenir una visió més completa dels diversos nivells on la RBU podria tenir un efecte. I addicionalment, es fa servir un mètode que es troba en la frontera metodològica més avançada de la literatura especialitzada – els detalls tècnics del control sintètic han estat dissenyats per un doctorand català actual del propi Abadie – en un context d’una intervenció d’important impacte.
Avaluar i no devaluar
Unir en una mateixa avaluació elements de contrastada eficàcia com els experiments de control aleatoritzat i que representin una important contribució científica, com l’ús del control sintètic, en un context d’alta rellevància social com una prova pilot d’una RBU és quelcom que no es veu cada dia. És per això que sorprenen les veus que es van aixecar en el debat públic, i especialment a Twitter, desbarrant sobre la proposta i sense semblar entendre, espero que no de manera intencionada, les virtuts del disseny d’avaluació que es proposava. No va ser una sorpresa agradable veure que diverses d’aquestes veus provenien d’individus de contrastada solvència acadèmica, dels quals seria esperable que el rigor que promouen en la seva feina també s’extrapolés a les seves intervencions públiques.
És totalment legítim i respectable no estar d’acord en la implementació d’una renda bàsica pel motiu que sigui. Però a poder tenir un debat públic informat sobre els efectes concrets de les polítiques públiques és important tenir organismes com IVÀLUA, especialment quan la feina es fa ben feta com en el cas de l’avaluació de la RBU.
7 
