El 26 de novembre passat va tenir lloc a Ivàlua una sessió de presentació i intercanvi d’experiències en l’àmbit de l’avaluació de programes d’ajut al desenvolupament, entre el professor Salvador Martí, doctor en Ciències Polítiques i de l’Administració, i avaluador de programes d’ajut al desenvolupament, i un grup de professionals d’aquest àmbit a diferents administracions públiques catalanes. La sessió va consistir en compartir entre els assistents una reflexió sobre els processos de realització d’avaluacions d’aquesta natura des de l’experiència pràctica: els problemes que sorgeixen, contradiccions, dificultats i utilitat pel què fa tant a aspectes tècnics, com de gestió d’equips, com de gestió de la demanda d’avaluació.
Els casos que van servir de base per a aquesta reflexió van ser l’avaluació independent sobre la contribució del Programa de Nacions Unides per al Desenvolupament (PNUD) al desenvolupament a Nicaragua realitzada per l'Oficina d’Avaluació del mateix PNUD, i l’avaluació del programa PROGRESANDO de lluita contra l'extrema pobresa a la República Dominicana, encarregada pel Despatx de la Primera Dama a la República Dominicana (l’informe final encara no està tancat i per tant no està disponible).
L’Informe d’avaluació de transferència del Cicle de formació en avaluació de polítiques públiques 2009, realitzada per un avaluador de formació independent i Ivàlua, està disponible al portal d’Ivàlua. Els resultats mostren que l’impacte del cicle de formació en termes d’increment de l’activitat avaluadora és encara baix, com és d’esperar en una formació introductòria i en una etapa inicial d’impuls de l’avaluació. Sí s’ha detectat, en canvi, que els alumnes un cop tornen al seu lloc de treball fan força difusió dels conceptes i enfocaments d’avaluació apresos al curs, la qual cosa està contribuint a estendre la “cultura de l’avaluació” a les administracions autonòmica i local d’on provenen.
Agraïm molt a tots els antics alumnes d’aquest Cicle que van col·laborar en aquest procés tant a través de les entrevistes personals com responent al qüestionari de transferència. Les conclusions de l’estudi han estat molt útils per la Unitat de formació d’Ivàlua, que anirà incorporant progressivament les recomanacions que se’n desprenen en el marc del pla de treball per al 2011 i següents. Per a qualsevol consulta o suggeriment en l’àmbit de formació en avaluació de polítiques públiques a Ivàlua us podeu adreçar a formacio@ivalua.cat.
A la sessió plenària de la Xarxa d’Unitats d’Anàlisi i Avaluació de les administracions catalanes celebrada el 24 de novembre es va presentar el Memoràndum sobre la realització de plans d’avaluacions, que al llarg de 2010 ha estat elaborant el grup de treball sobre “Definició de plans d’avaluació: requeriments, criteris i mètodes” de la mateixa Xarxa.
Les polítiques i els programes públics són actuacions impulsades amb recursos públics per solucionar o mitigar un determinada problemàtica social, i aquestes actuacions són moltes i diverses. L’avaluació genera informació clau per a la presa de decisions, la millora de l’eficàcia i l’eficiència de l’acció de govern, i el rendiment de comptes a la ciutadania. Tanmateix, no podem avaluar tots els programes alhora ni donar per fet que tots són avaluables: cal fixar prioritats i vetllar per la viabilitat tècnica i econòmica de les avaluacions. A més a més, s’ha de preveure la disponibilitat dels resultats de l’avaluació en el moment oportú.
Per tot plegat, l’avaluació necessita ser planificada. El Memoràndum sobre la realització de plans d’avaluacions, elaborat per la Xarxa d’Unitats d’Anàlisi i Avaluació, identifica els components clau d’aquesta planificació, valoritza els sistemes de monitoratge normalment existents i els posa en relació amb l’avaluació, i proporciona criteris i recomanacions que permetin la definició d’una estratègia d’èxit per al desenvolupament de l’avaluació.
Divendres 26 de novembre es van publicar al DOGC els Estatuts de l’Agència d’Avaluació i Prospectiva de l’Educació, creada per la Llei 12/2009, d’educació. Els Estatuts defineixen l’Agència com un ens de dret públic, amb autonomia funcional, financera i de gestió respecte a l’Administració educativa. S’estableix com objecte de l’Agència l’avaluació, prospectiva i recerca amb la finalitat de contribuir a l’excel·lència i l’equitat del sistema educatiu i a l’èxit educatiu i acadèmic de tot l’alumnat.
Entre altres funcions, la nova Agència ha de definir principis i homologar criteris i mètodes d’avaluació de l’educació; determinar, d’acord amb la Inspecció d’Educació, els models i els protocols per a l’avaluació dels centres, la funció docent i la funció directiva; informar periòdicament el departament competent en matèria d’educació no universitària sobre els resultats i el funcionament del sistema educatiu i de les avaluacions, i informar la societat en general sobre la prestació del servei de l’educació i els recursos que s’hi inverteixen.
Els Estatuts preveuen també que l’Agència posi a disposició de la comunitat científica les dades bàsiques i els resultats de les avaluacions. Així mateix, es preveu la creació d’un registre públic de persones físiques acreditades per participar i col·laborar en els plans, projectes i programes d’avaluació que desenvolupi.
El Govern Basc ha inclòs una línia de treball específica sobre l’impuls de la cultura i la pràctica de l’avaluació en el procés d’elaboració del Pla d’Innovació Pública (PIP).
El PIP té com a visió una Administració oberta i innovadora, amb un desenvolupament ple de l’e-administració i un funcionament més eficient –amb millors resultats i menors costos- dels serveis públics. Per a l’elaboració del Pla s’han creat 4 grups de treball transversals i 15 d’específics, un dels quals és el dedicat a l’avaluació de polítiques públiques.
Al grup de treball específic sobre avaluació participen persones del Govern Basc, de la Universitat del País Basc, el CIDEC i Ivàlua. El treball del grup ha partit d’un inventari i un diagnòstic sobre la situació de l’avaluació de polítiques públiques al govern Basc. D’altra banda, amb el propòsit d’integrar la perspectiva de l’avaluació a la planificació estratègica del Govern, s’ha establert també el "Procedimiento para la elaboración, tramitación, aprobación, seguimiento y evaluación de los Planes y actuaciones significativas del Gobierno".
El resultat del procés ha de ser un Pla d’Implantació de l’Avaluació de Polítiques Públiques al Govern Basc, l’objectiu estratègic del qual ha de ser establir les bases necessàries i les condicions d’avaluabilitat adequades per integrar l’avaluació en cicle de programació, planificació i implantació de les polítiques del Govern Basc com una pràctica habitual.
El full de ruta, aprovat el mes de setembre de 2010 i difós posteriorment a través del portal de l’Associació, s’adreça al Govern Federal dels Estats d’Units d’Amèrica amb l’objectiu de reforçar-hi la pràctica de l’avaluació.
El document parteix de la premisa que “per determinar el mèrit, qualitat i utilitat de les intervencions [dels governs], es necessita informació creïble sobre què és el que el programa o política en qüestió ha aconseguit i a quin cost. Aquesta informació és crucial si els servidors públics volen assegurar que les intervencions escollides funcionen, que els diners dels contribuents s’estan emprant adequadament i que el govern és responsable davant la ciutadania de les intervencions i dels seus resultats”.
Entre altres recomanacions, el full de ruta inclou el desenvolupament de plans d’avaluació plurianuals i el disseny de marcs d’avaluació apropiats a l’inici de nous programes i polítiques; la coordinació i comunicació adequada de les activitats d’avaluació entre diferents agències i programes; garantir la independència de l’avaluació i la utilització i el desenvolupament de metodologies adequades. El document subratlla també la necessitat de difondre els resultats de les avaluacions als responsables polítics, els gestors i el públic en general, i recomana l’establiment d’espais de comunicació on disposar d’informació sobre l’efectivitat dels programes per tal de compartir i garantir la utilitat dels resultats de les avaluacions.
Clou el full de ruta un apartat de consideracions sobre possibles vies d’estructuració organitzativa de l’avaluació. Una alternativa és la creació de centres d’avaluació a cada agència executiva, amb caràcter estable i amb funcions de planificació, realització i/o encàrrec extern d’avaluacions. Una altra possibilitat és la creació de coordinadors de l’avaluació a cada agència, partint d’un model organitzatiu més divers, on cada programa o unitat principals dins d’una agència podria tenir incorporada la funció d’avaluació. Una tercera alternativa seria la combinació d’ambdós models, comptant amb centres d’avaluació per grans programes o agrupacions de programes i mantenint al mateix temps una funció general de coordinació a nivell d’agència.
La 24ena Conferència Anual de l'Associació Americana d’Avaluació (AEA) s’ha celebrat a San Antonio (Texas) els dies 10 a 13 de novembre sota el títol “La qualitat de les avaluacions”. La conferència ha reunit uns 2500 professionals que des del sector públic o privat treballen en l’avaluació de polítiques públiques arreu del món. Al llarg de 4 dies s’han dut a terme 800 sessions destinades a la presentació i a la discussió d’experiències innovadores en un ampli espectre d’aspectes de l’avaluació, com per exemple: els mètodes quantitatius i qualitatius per a les avaluacions de l’impacte; l’ensenyament de l’avaluació de polítiques públiques; la introducció de la cultura de l’avaluació dins l’administració pública; l’avaluació en les fundacions i organitzacions sense afany de lucre; l’avaluació de necessitats; la contractació d’avaluacions; la gestió d’avaluacions; l’experiència de l’avaluació a l’administració dels Estats Units; la política d’impuls de l’avaluació; l’avaluació econòmica; etc. A més de la conferència, s’han realitzat 50 cursos on experts en aquestes àrees han compartit els seus coneixements amb els assistents.
Quatre professionals d’Ivàlua han participat en aquesta conferència i en els cursos paral·lels. L’experiència ha estat molt enriquidora i estimulant. Per això, i donada la magnitud de la informació i aprenentatges obtinguts, està en curs la redacció d’un document amb les principals conclusions de les sessions a les que vàrem poder assistir. Una vegada aquest document estigui disponible, el podreu consultar al portal d’Ivàlua.
Més informació:
Web de l'Associació Americana d’Avaluació
The New social learning: transforming organizations through social media / Bingham, Tony; Conner, Marcia .-- Alexandria, Virginia; San Francisco: ASTD Press : Berrett - Koehler Publishers, 2010.
Aprenentatge social ; Mitjans de comunicació digitals - Aspectes socials ; Xarxes socials en línia ; Canvi organitzatiu
High impact internal evaluation / Sonnichsen, Richard C. .-- Thousand Oaks: Sage, 2000.
Eficàcia organitzativa - Avaluació
