Evalueringer – se til Sverige

Evalueringer har få venner – men de fleste i bistandsbransjen erkjenner at de er nødvendige.

Utenriksdepartementet og Norad – som de fleste andre institusjoner – liker egentlig ikke å bli kikket i kortene og kritisert; konsulentselskaper lever av dem, men liker ikke styringen og tidspresset; forskningsinstitusjoner liker ikke mangelen på ‘akademisk frihet’ og finner dem egentlig litt under deres verdighet; og bistands-partnere i Sør ser på teamene av vestlige ‘kontrollører’ som det endelig bevis på at mottakeransvar er mest tomme ord.

Bistandsevalueringer har samtidig blitt utsatt for til dels sterk kritikk. Ferske ‘evalueringer av evalueringer’ peker på to temmelig grunnleggende forhold, som også erkjennes av Norads evalueringsavdeling: UD-Norad er ikke gode nok til å bruke og lære av evalueringer, og for mange evalueringer – spesielt de desentraliserte – er av for dårlig kvalitet og relevans.

Opptak/læring

Jeg har i snart 40 år kombinert utviklingsforskning, bistandsarbeid og evalueringer – sistnevnte hovedsakelig for Sida og Norad. Rapporter og diskusjoner bl.a. i Bistandsaktuelt peker på flere grunnleggende utfordringer i forhold til UD/Norads vilje og evne til å lære av evalueringer:

• Maktrelasjonen mellom Utenriksdepartementet og Norad er skjev, og gjør at førstnevnte ikke nødvendigvis hører på sistnevnte.
• Evalueringsenheten befinner seg innenfor systemet som skal evalueres, og har ikke nødvendigvis tilstrekkelig autoritet og uavhengighet.
• Personell sirkulerer i stor grad mellom UD, bistands-ambassadene og Norad, og mange møter seg selv i døren når de skal vurdere og kommentere evalueringer.
• Det synes å ha utviklet seg en helt spesiell kultur for (over)styring av evalueringer i Norad – også på innhold og analyse – som begrenser nytenkning.
• En praksis der evalueringers anbefalinger blir reformulert av evalueringsavdelingen for å ‘tilpasses systemet’ før de sendes til UD gjør at anbefalingene kan bli lite utfordrende.
• Og så vil mange på innsiden hevde – med god rett – at hverdagen er for hektisk og systemet for programmert til å følge opp mange av de anbefalingene som gis i praksis.

Kvalitet/relevans

Egne erfaringer, gjennomlesning av ‘evalueringer av evalueringer’ og gjennomgang av evalueringer i forbindelse med Norads serie «Country Evaluation Briefs» tilsier  at det er det store variasjoner i evalueringers kvalitet og relevans – fra de veldig gode til de nokså middelmådige.  Svakhetene inkluderer:

• For ‘mekaniske’ og lite analytiske evalueringer, som i stor grad henger sammen med det store antallet evalueringsspørsmål som normalt skal besvares.
• En for ensidig sammensetning av evalueringsteam – enten med bistands-eksperter (med lite kunnskap om fagtema) eller faglige eksperter (med lite kunnskap om bistand).
• En for ensidig bruk av metode, istedenfor en systematisk kombinasjon av «experimental, statistical, theory-based, case-based and participatory methods» for å si det på fremmedlandsk.
• En for lite systematisk analyse av politisk, økonomisk og sosio-kulturell forhold, som ofte er helt avgjørende for å forstå hvorfor et bistandstiltak lykkes eller ikke.
• Et tilsynelatende totalt fravær av ‘impact-studier’ etter at tiltak er avsluttet, for å forstå programmers og prosjekters langsiktige implikasjoner for utvikling/fattigdomsreduksjon.  
• Anbefalinger som ofte er dårlig underbygget og tar for lite hensyn til det politiske systemet de skal gjennomføres innenfor, og som dermed lett blir avfeid av beslutningstakere.

‘Svenske tilstander’

Svensk bistand skiller seg fra den norske både i forhold til organisering og evalueringer av innsatser: Politikken, økonomien og den faglige kompetansen er samlet i Sida, noe som gjør at avstanden mellom bistandspolitiske beslutninger og bistandsekspertisen er mindre enn i Norge. Og det er – i stor grad som et resultat av dette – et sterkere og mer systematisk fokus på bistandens grunnleggende målsettinger om utvikling, menneskerettigheter og fattigdomsreduksjon.

Jeg har de siste årene vært involvert i flere Sida-evalueringer, blant annet av den omfattende svenske støtten til forskning- og forskningssamarbeid i det Globale Sør med et årlig budsjett på over 850 millioner SEK. Sidas tilnærming til evalueringer synes å skille seg fra den norske på flere områder:

• Desentraliserte evalueringer utlyses og utføres gjennom rammeavtaler. Et hovedkriterie for tildeling av slike oppdrag er kvaliteten på et ‘kjerneteam’ som skal representere både bistands- og fag- ekspertise. Dette sikrer en god balanse mellom bistands- og fagkunnskap (som forsknings-kompetanse).
• Evalueringer utlyses med relativt få evalueringsspørsmål (i en pågående kompleks evaluering av forskningssamarbeidet med fire land-studier er antallet åtte). Gjennom prosessen rundt oppstartsrapporten (‘Inception Report’) videreutvikler evalueringsteamet spørsmålene, som så diskuteres med Sida’s referansegruppe. Dette gir større rom for eksterne innspill.
• ‘Terms of Reference’ ber eksplisitt om kombinasjoner av ulike metoder, med like stor vekt på kvalitative analyser av kontekst, prosesser, og (makt) relasjoner som på kvantitative metoder og målbare størrelser – i erkjennelse av at sistnevnte ikke nødvendigvis er mer ‘rigorøse’ enn førstnevnte.
• ‘Kontekst’ forventes å ikke bare være en obligatorisk ‘bakgrunnsøvelse’, men en systematisk analyse av hvordan politiske, økonomiske og kulturelle forhold påvirker bistandsinnsatsen og dens resultater (forskjeller i resultater av forskningssamarbeid mellom svenske universiteter og henholdsvis Mosambik og Rwanda kan nesten utelukkende tilskrives slike forhold).
• Sida har en tradisjon for å måle langsiktige implikasjoner (‘impact’) av bistandsinnsatser. I den aktuelle evalueringen av forskningssamarbeid er Vietnam inkludert, ni år etter at samarbeidet ble avsluttet. Sida finansierer også forskningsbaserte ‘Reality Checks’, som ser på resultater og bærekraft av avsluttede innsatser blant de fattige som endelig målgruppe.
• Foreløpig rapport (‘Draft Report’) leveres uten anbefalinger (‘Recommendations’). Disse utvikles gjennom et aktivt samspill (møter/seminarer) mellom evalueringsteamet og Sida som oppdragsgiver. Dette sikrer relevans og eierskap, og eksponerer Sida direkte for teamets forslag.
• Sida legger også stor vekt på deltakelse og formidling gjennom hele evalueringsprosessen i forhold til et bredt spekter av interessenter (‘stakeholders’), inklusive innovative metoder overfor bistandens endelige målgrupper i landsbyer og slumstrøk.

Som forsker ser jeg i utgangspunktet på evalueringer som spennende og givende, så vel som faglig og metodisk utfordrende. Evalueringer er også en unik mulighet for en forsker til å påvirke samfunnsforhold. For at UD/Norad skal få full nytte av dem, og de skal bli mer interessante å gjøre, må tilnærmingen videreutvikles. Jeg har i dette innlegget argumentert for at et godt sted å begynne er å se til Sverige og Sida.