Impactmeting: stiefkind of paradox-oplosser?

Volgende week promoveert Kellie Liket op haar proefschrift ‘Waarom ‘goed’ doen, niet goed genoeg is. Essays over maatschappelijke impactmeting'.  Het is een wetenschappelijk pleidooi voor meer aandacht voor impact en meting daarvan door goede doelen. Dat pleidooi lijkt voorlopig aan dovemansoren gericht: veel bestuurders staan uiterst sceptisch tegenover impactmeting. En daarvoor hebben ze een arsenaal aan tegenwerpingen.

Om ervoor te zorgen dat donateurs de juiste goede doelen kunnen selecteren, zouden volgens Liket meer organisaties hun impact moeten meten. Volgens haar gebeurt dit nog veel te weinig. Liket vond in haar onderzoek dat te veel goede doelen niet eens bijhouden hoe veel mensen ze bereiken; laat staan dat ze meten hoe hun programma’s effect hebben (gehad) op de levens van deze mensen. Dit betekent dat ze aan het einde van hun programma niet kijken of de kinderen wel in het klaslokaal zitten en of de malarianetten wel gebruikt worden.

Budgettekort
De voornaamste reden voor niet-meten is volgens Liket een tekort aan budget. ‘Natuurlijk ligt dit ook aan de donateur zelf. Die zet druk op organisaties om geen kosten te maken. Om toch een mate van schijnzekerheid te geven dat het geld goed besteed is, sturen goede doelen op lage administratieve kosten of redelijke directeurssalarissen. Een goed doel zo runnen dat het voor zo min mogelijk geld zo veel mogelijk verschil kan maken, vergt echter juist professionaliteit: richten op urgente problemen, inzetten van unieke talenten, gebruikmaken van de meest recente kennis, achteraf meten of de doelen zijn bereikt en op basis van die impact meting verbeteren.’ Kellie Liket concludeert: ‘Jammer genoeg lijkt de regel te gelden: hoe meer gedegen het onderzoek, hoe minder vaak aangetoond wordt dat programma’s de beoogde impact hebben.’

Dertig levens
Moeten we dan maar niet meer geven? Neen, zegt Liket. ‘Door de groei in het aantal impactmetingen wordt het juist steeds duidelijker welke programma’s wél het verschil maken.’ Haar advies is om beter na te denken hoeveel impact je bereikt met iedere euro die gedoneerd wordt. Dat doe je door te geven aan goede doelen die ‘resultaten meten’ wel serieus nemen. Er zijn websites waar sommige van deze organisaties op staan, zoals www.givewell.org. ‘Het klinkt misschien saai om zo strategisch te denken over je donaties die uit een goed hart komen, maar uiteindelijk gaat het vaak over het verschil van het redden van één leven ten opzichte van dertig levens’, aldus Liket.

Contra-argumenten
De uitkomsten van Likets dissertatie mogen niet verbazen: impact(meting) is en blijft voorlopig het stiefkindje in de filantropie. Haar conclusie dat dit vooral een budgetprobleem is, mag echter betwijfeld, of in elk geval aangevuld worden. Veel bestuurders van goede doelen betwijfelen namelijk openlijk het nut van impactmeting. Het gaat ze dus niet zozeer om de kosten van meting, maar eerder koesteren ze de idee dat dit onmogelijk en zelfs onwenselijk is. Standaard wordt hiervoor het zogenoemde attributieprobleem van stal gehaald: in complexe hulpketens is het onmogelijk om bepaalde effecten te correleren aan de interventie van het betreffende goede doel. Verder zouden er te weinig concrete instrumenten zijn. Maar het meest gehoorde contra-argument ligt niet zozeer in de methodologie, alswel in de emotie. Veel bestuurders zijn bang om het ‘gevoel’ van het goede doel te verstikken in cijfers. Daarop zouden de donateurs volgens velen ook niet zitten te wachten. Die houding roept veel vragen op.

Terechte angst?
Waar de donateur wel of niet op zit te wachten, is geen evidence based opvatting. Verbazingwekkend is vooral waarom een goed doel niet zou willen weten wat haar impact op de samenleving is, buiten ‘het goede gevoel’ dat het ongetwijfeld moet losmaken bij zowel donoren, medewerkers als doelgroepen. Waarom zou je niet willen weten wat de impact is van je interventies? Uit angst dat blijkt dat die interventies heel wat minder effectief zijn dan je altijd hebt beweerd of (oprecht) hebt geloofd?
Die angst lijkt in elk geval niet helemaal onterecht, als we Kellie Liket moeten geloven: ‘Hoe meer gedegen het onderzoek, hoe minder vaak aangetoond wordt dat programma’s de beoogde impact hebben.’

Boemerang
De kans dat impactonderzoek - om het plat te zeggen - als een boemerang in de nek van de bestuurders en het goede doel terugkomt, is dus zeker niet denkbeeldig. Maar is dit reden om dat onderzoek dan achterwege te laten? Dit lijkt me nog eerder een morele, dan een praktische budgettair-bestuurlijke kwestie. Natuurlijk zou je willen weten of het zin heeft wat je doet. Juist en ook als je goed doet met geld van anderen. Natuurlijk zou je willen weten welke methoden, technieken, processen en mensen je dichter bij de realisatie van je doelstelling brengen. En vooral natuurlijk zou je willen weten of je doelgroepen überhaupt zitten te wachten op je interventies. Maar dat wordt wel lastig, zoniet onmogelijk als je niet eens bijhoudt hoeveel mensen je bereikt, aldus Liket. Laat staan dat je ze gaat vragen of ze wel op jouw hulp zitten te wachten…

Dubbele rol
De rol van de donors in dit verhaal is volgens Liket een dubbele (‘Natuurlijk ligt dit ook aan de donateur zelf. Die zet druk op organisaties om geen kosten te maken’), maar dat is zeer de vraag en lijkt ook op de kip-ei-kwestie. Want wie heeft de donateurs opgevoed met het idee dat goed doen een kwestie is van dubbeltjes, kwartjes en liefdewerk-oud-papier? Zijn het niet de goede doelen zelf die dit idee sterk gevoed hebben met veel te roze verhalen over successen, in de slag om de geefeuro? Of zijn het toch de donateurs die instant-successen en ‘waar voor hun geld’ blijven eisen?
Wie hier echter ook de meeste blaam treft: feit is dat donors en goede doelen elkaar stevig gegijzeld hebben in een heuse professionaliseringsparadox. Ontsnappen aan die paradox zou mede kunnen door impactmeting leidend te maken, stelt Liket.

Saai strategisch?
Haar advies aan donateurs is te geven aan goede doelen die ‘resultaten meten’ wél serieus nemen. Liket: ‘Het klinkt misschien saai om zo strategisch te denken over je donaties die uit een goed hart komen, maar uiteindelijk gaat het vaak over het verschil van het redden van één leven ten opzichte van dertig levens’. Een uitspraak van Liket die veel vragen oproept, want hoe ‘saai strategisch’ is het om dertig in plaats van één leven te redden? Is het hier immers niet de schijnbare tegenstelling tussen hoofd en hart zelf die wordt opgelost door impactmeting? En is dat ook niet voor bestuurders van goede doelen een betere motivatie om impact in hun strategie centraal te stellen, dan te wachten tot de geverswal het goede doelenschip gekeerd heeft?

Hoofd en hart
Juist door de effectiviteit van de interventies centraal te stellen kunnen bestuurders voor hun donateurs een heldere relatie leggen tussen kosten en maatschappelijke opbrengsten. Deze relativiteit biedt ook een uitweg uit de eeuwige strijkstokdiscussie. Voorwaarde is echter de oprechte wil om transparant te zijn in wat wel en niet goed werkt. Die eerlijkheid zullen donateurs zeker belonen door met hun portemonnee te stemmen op de doelen die zich waarachtig inspannen om met publieksgeld het onderste uit de maatschappelijke kan te halen. Daarvoor hoeft het hart geenszins uitgeschakeld te worden. Bestuurlijke moed om de impactsleutel in het slot van de eigen organisatie te steken zal zeker beloond worden.

Kellie Liket promoveert op 11 april a.s. Haar PhD-onderzoek is gepubliceerd binnen de ERIM PhD series. ERIM is het gemeenschappelijke onderzoeksinstituut van de Rotterdam School of Management (RSM) en de Erasmus School of Economics (ESE) van de Erasmus Universiteit Rotterdam.