BCN SCIENCE CORNER

La major part dels gestors que apliquen una acció política tenen intenció de millorar les condicions dels beneficiaris; però no és freqüent que es dediqui una partida pressupostària a avaluar si realment s’han assolit els resultats. Segons Daniel Levy, professor de polítiques públiques a la universitat de Harvard, habitualment només s’estudien esforços i recursos esmerçats en el programa. Ara bé, estudis del Banc Mundial detecten una tendència global creixent que, per a prendre decisions i valorar si els programes realitzats han assolit els seus resultats, se n’avaluï l’impacte.

L’avaluació d’impacte forma part d’un programa més ampli que promou polítiques basades en l’evidència; però aquest mètode d’anàlisi canvia el focus: d’estudiar les inversions emprades, passa a analitzar els resultats obtinguts pels beneficiaris. Tant per confirmar si s’assoleixen els Objectius de Desenvolupament Sostenible de Nacions Unides 2030, signats pels estats membres el 2015, com per a valorar les accions més locals, aquesta tendència mundial està canviant la manera que es planifiquen les polítiques públiques.

Estudiar els resultats d’un programa no només s’empra per transparència, rendiment de comptes o l’orientació de les accions públiques; sinó que les conclusions dels programes d’avaluació ofereixen la capacitat de prendre millors decisions d’utilització dels recursos i millorar els programes per, si s’escau, redireccionar-los.

L’evidència en les polítiques públiques

Sense entrar a valorar si «el nom fa la cosa», molts especialistes propugnen no fer servir el terme «evidència» traduït directament de l’anglès, ja que és un «fals amic». Suggereixen en canvi de fer servir el terme «observació científica», que és la traducció correcta i que remet a l’aplicació del mètode científic en el procediment avaluador de la pràctica de les polítiques públiques. El terme, però, ha arrelat amb força i s’ha generalitzat. Amb aquest nom es coneix el procediment que va començar per avaluar les polítiques en salut pública, i ha arribat a la política i la gestió.

Medicina basada en l’evidència

Per validar l’efectivitat de la pràctica mèdica, l’epidemiòleg britànic Archibald Cochrane preocupat pel desconeixement dels resultats de la seva aplicació, argumentava que els recursos destinats a la salut pública només podien ser utilitzats eficientment si se sabia quins tractaments eren efectius i quins no. En el seu llibre del 1972 «Efectivitat i eficàcia: Reflexions aleatòries en els serveis de salut» va ressaltar la importància dels assajos clínics com la font d’informació més fiable, ja que comparen aleatòriament dos grups amb tractaments diferents. Aquest treball pioner en l’establiment de la medicina basada en l’evidència, no era més que l’aplicació del mètode científic a la pràctica mèdica i superava l’anterior aplicació de les decisions «ex cathedra» de l’expert mèdic. Va revolucionar la pràctica mèdica.

La Col·laboració Cochrane, fundada el 1993 a Anglaterra, ofereix revisions sistemàtiques de recerca primària en salut humana i política de salut per a tots els implicats en la cura del benestar físic i psíquic dels ciutadans; i són abastament aplicades en els protocols de salut pública de la major part dels països del món.

Royal Naval Hospital. Oil painting by Godfrey Jervis Gordon, Wikimedia Commons

Política basada en l’evidència
 

Poc després, davant el ràpid creixement de les despeses en els serveis públics, activistes polítics van començar a demandar informació sobre la naturalesa dels problemes socials i quins efectes tenien les polítiques públiques especialment de les accions socials i educatives. I es va emprar el terme «política basada en l’evidència». S’hi van sumar altres requeriments com la transparència, la rendició de comptes i la demostració de resultats, que han emergit en els darrers anys. El concepte va prendre força durant el govern de Toni Blair, quan defensava una modernització de l’estat que limités el pes de la ideologia i produís polítiques que es basessin en resultats, més que en respostes derivades de pressions a molt curt termini.

Formular polítiques basades en l’evidència vol dir que es fa el seguiment i l’avaluació de les accions. Un conjunt d’eines d’anàlisi que se sustenten en l’avaluació empírica verifiquen i milloren la qualitat, l’eficiència i l’efectivitat en l’elaboració de propostes tècnicament correctes i políticament acceptables. Amb els procediments metodològics, els gestors proposen programes i els governs volen convèncer els ciutadans que les inversions amb els seus diners han obtingut rendiments positius. La tendència ha esdevingut tan central, que molts investigadors han d’acreditar que la seva recerca té impacte polític.

Tot i l’impuls, encara hi ha molt camí a recórrer per a generalitzar la pràctica. Un estudi realitzat a Gal·les revela que, tot i que al Regne Unit la formulació de polítiques sempre es desenvolupa en un entorn en el qual es verifica l'evidència, no s’ha articulat una base institucional que tingui en compte les rutines mitjançant les quals treballen els polítics. Per tant, es proposa d’involucrar la comunitat acadèmica en base a tres criteris: comprendre l'enfocament del tempo dels polítics; establir ponts de confiança entre els polítics i els que decideixen la política acadèmica, i configurar un entorn de recolzament més ampli, en què s’incloguin els mitjans de comunicació, ja que contribueixen a l'elaboració de debats polítics clau.

Eixamplant l’avaluació de la política científica

Entre la comunitat científica és habitual de mesurar i avaluar el rendiment acadèmic; dels resultats obtinguts en depèn el finançament dels grups de recerca i de les universitats. Tanmateix, els sistemes de mesura clàssics són insuficients perquè no valoren el ventall d'activitats que transmeten idees científiques; en el recompte no hi entren activitats diverses com poden ser les tutories a alumnes externs, la redacció de blogs influents o la participació en programes dels mitjans de comunicació; i en tots ells es transmet coneixement científic a la ciutadania. Per això –i traient lliçons d’experiències de camps com ara el dels negocis– els indicadors han anat evolucionant des de quantificar les aportacions que s’hi fan per implantar una acció (inputs) i els efectes posteriors (outputs); fins a avaluar els resultats (outcomes) i els impactes haguts en la societat (impacts), alguns dels quals es veuran en el futur.

Als Estats Units, durant el govern Obama es va promoure el consorci STAR METRICS (Science and Technology for America’s Reinvestment), un marc empíric interdisciplinar que valora l’impacte de la inversió assignada a programes polítics públics, que en aquell moment tenien per a objectiu estimular la recerca per generar llocs de treball –ja que el govern d’aleshores considerava que aquesta fórmula permetria sortir de la crisi financera. En el consorci hi participen les institucions de l’administració relacionades amb la recerca: l'Oficina de Política Científica i Tecnològica de la Casa Blanca (OSTP), els Instituts Nacionals de Salut (NIH), la National Science Foundation (NSF), el Departament d'Agricultura dels Estats Units (USDA) i la Protecció del Medi Ambient dels Estats Units Agència (EPA).

Per a recollir i fer pública la informació es va desenvolupar una infraestructura única amb els resultats del món científic, que, més enllà de publicacions, cites i patents, explicita, estat per estat, els assoliments aconseguits pels investigadors finançats amb fons federals. Certament hi havia repositoris similars però parcials, com ara la Web of Knowledge, de Thomson Reuters, o la base de dades de patents. STAR METRICS va més enllà: és oberta i compatible. L’aprenentatge d’una prova pilot realitzada a sis universitats va validar les eines per a facilitar la entrada d’informació.
 

L’impacte de les accions en política socials

Sense dubtar de la bona intenció dels projectes socials, cal verificar si s’assoleixen els objectius. Avaluar l’impacte de les polítiques públiques de forma rigorosa ajuda a identificar els programes que funcionen bé, els que no ho fan i els aspectes que poden ser millorats. Els estudis permeten, per tant, de prendre millors decisions a l’hora de dissenyar accions, perquè contribueixen a racionalitzar l’ús dels recursos públics. Essencialment, per a valorar l’impacte, el mètode obliga a fer-se preguntes, encara que de vegades semblin òbvies, i a comparar els resultats obtinguts en el grup diana beneficiari de l’acció i en el grup control. Veiem uns exemples.

La intuïció no sempre coincideix amb la realitat

Bona part de les ajudes que s’adrecen a països en desenvolupament posen el focus en l’educació infantil. Una avaluació va trobar, contràriament al que mantenien la intuïció i la literatura prèvia, que proporcionar llibres de text a escoles de primària en la Kenia rural no feia augmentar els resultats dels exàmens de la major part dels estudiants.

En l’època en que es va realitzar l’estudi, el Ministeri d'Educació de Kenya havia establert el currículum escolar i els exàmens que calia realitzar en educació primària, i contractava els professors. Les principals despeses, com la construcció de les escoles, es van finançar amb grans operacions de recaptació de fons. Els costos recurrents de l'escola (reparacions menors, guixos, llibres per a professors, etc.) els havien d’assumir les associacions de pares locals. En algunes ocasions hi havia llibres de text per als alumnes sufragats per organitzacions no governamentals.

Escola rural africana. Foto: Marina Mir

Per a conèixer si la despesa invertida en la donació de llibres de text era efectiva, es va valorar la qualificació dels alumnes abans i després de la seva utilització. Els estudiants que van treure bones notes, si van millorar la qualificació; però, en la gran majoria dels altres estudiants els llibres proporcionats no van tenir efecte. Per què? Doncs, perquè d’una banda, eren escrits en anglès, que, tot i ser la llengua vehicular en l’escola, és la tercera llengua dels alumnes. Això va fer que la major part d’ells no els pogués llegir. D’una altra banda, perquè encara que els poguessin llegir, la major part no en comprenia el contingut.

Estudis similars en altres llocs han posat de relleu que els alumnes, en principi beneficiaris de donacions de llibres de text, en realitat no en treuen cap profit amb l’aportació. S’han reportat donacions en què els exemples aportats són molt centrats en el primer món, més que en la realitat de les poblacions receptores. Cal doncs redireccionar els esforços per a impulsar l’educació de països en desenvolupament. Els estudis de seguiment escolar de la UNESCO mostren que en aquests països repeteix curs el 6,2% dels alumnes, a diferència del 0,8% del que succeeix als països desenvolupats. I que deixen els estudis a la primària un 25,5% dels alumnes, a diferència del 2,3% dels països desenvolupats. Tot i que, a Kenia per exemple, gairebé tots els nens comencen l'escola primària.

La inferència causal

En els resultats d’avaluació d’impacte d’una acció política és obligat d’establir sense dubte que la causa del canvi ha estat el programa. Per això els avaluadors busquen la diferència entre la factual i la contrafactual; què ha succeït amb el programa i que hagués succeït si no s’hagués implantant el programa. Aquesta comparació s’aconsegueix estudiant dos grups. En medicina assajos clínics proposen dos grups similars de pacients, un rep un determinat tractament i l’altre és el grup control que no el rep; el resultat diferencial en permet d’inferir l’efecte. Però, de vegades, per validar polítiques socials es mesuren els efectes de l’aplicació d’un programa amb les dades recollides a priori i a posteriori. Aquestes mesures no són sempre correctes perquè deixen fora altres factors que hi poden intervenir.

Imaginem que es vol avaluar un programa de microfinances en què s’atorguen microcrèdits a agricultors rurals amb recursos baixos per a comprar fertilitzants i millorar així la producció d’arròs. Si l’any anterior la collita va ser d’una tona d’arròs per hectàrea i l’any de la collita la producció augmenta fins a mil cent quilos per hectàrea, es pot pensar que el programa ha millorat la collita en cent quilos per hectàrea. Ara, poden haver intervingut factors, com són el règim de pluges, que no s’han considerat; si l’any del finançament hi va haver sequera, en realitat el resultat podria haver estat superior; mentre que si les condicions meteorològiques haguessin estat millors, en realitat els fertilitzants no haurien donat un bon resultat. Cal un grup control.

Veiem un altre cas. Com a molts països, el govern australià ha pres un seguici de mesures per intentar reduir el nombre de fumadors. Va realitzar campanyes de sensibilització sobre els efectes del tabac, va apujar el preu dels paquets i finalment va legislar l’empaquetament genèric. Com valorar l’efecte exclusiu d’aquesta darrera mesura? Les dades obtingudes revelen que abans de l’empaquetat genèric la taxa de fumadors era del 19,4%, i que després, va baixar al 17,2%; per tant, en aquell interval de temps un 2,2% dels fumadors australians ho havien deixat córrer. Però, com saber que no havia estat per la tendència general a abandonar el tabac?

Es va buscar la contrafactual. Quin era la tendència descendent del nombre de fumadors fins aquell moment? La interpolació de la tendència en el temps d’estudi seria la contrafactual de la campanya. I comparant la tendència del descens de fumadors amb els resultats dels que van deixar de fumar el resultat va ser que la campanya si va tenir efecte, però la diferència només era de mig punt per cent els fumadors que s’havien sentit interpel·lats per l’empaquetament genèric. Un percentatge baix pot representar un interessant resultat en nombres globals. Al Regne Unit també s’ha legislat per imposar l’empaquetament genèric, i fa pensar els experts que per aquesta acció deixaran de fumar tres-cents mil britànics.
 

Països del món amb lleis per a l’empaquetament genèric del tabac. Foto Stickee, via Wikimedia Commons.

Avaluacions d’impacte en el món local

A Catalunya, òbviament també es prenen decisions polítiques basades en l’evidència. Ara bé, segons els experts, la presa de decisions a partir d’avaluacions d’impacte continua essent un repte pendent. I sorgeixen propostes de mètodes d’anàlisi que faciliten d’identificar accions que funcionen per a poder-les replicar en altres llocs o aplicar-les a escales majors.

Atesa la dificultat de trobar grups control per establir la contrafactual, els experts troben en el món local una oportunitat per analitzar la contribució real de les polítiques públiques, perquè els municipis ofereixen unes condicions ideals per a generar informació de valor que serveixi per identificar, compartir i replicar polítiques d’èxit. Suggereixen que els municipis d’una regió poden ser agrupats per les característiques comunes que es considerin rellevants en cada cas i convertir-se així en grups comparables. Caldria una estratègia conjunta, però l’exercici permetria saber si una política ha funcionat i en quina mesura ha tingut impacte en la població beneficiària.

Cristina Junyent. Formada com a biòloga, em vaig doctorar en Biologia Humana per la UB. Vaig participar en la creació i dirigeixo la Fundació Ciència en Societat, per a la promoció i l’estímul de la cultura científica. A més de fer d’intermediària del coneixement científic, m’interessa la forma com va aparèixer, els models de transmissió i les polítiques de divulgació, per això participo en diverses comissions que busquen promoure la cultura científica.

cristina@cienciaensocietat.org

http://www.cristinajunyent.net

www.cienciaensocietat.org