Drie gouden tips voor zinvolle impactrapportages

Photo by Tristan Gassert on Unsplash
Photo by Tristan Gassert on Unsplash
29 april 2021
Opinie | | (Social) Impact

Vorige week was ik uitgenodigd voor de presentatie van het impactonderzoek van een goede doelen organisatie. Ik noem ze Future Focus en ze werken aan het verduurzamen van handelsketens in de koffie- en cacaosector. Met hun programma’s - zo presenteerden ze - hebben arme boeren hun inkomsten zien stijgen met maar liefst 10%! En dat in 1 jaar tijd. Het onderzoeksrapport zat vol met  indrukwekkende grafieken, tabellen en mooie quotes van de boeren.  
 
Gelukkig was ik uitgenodigd om kritische vragen te stellen. Want 10% zegt natuurlijk nog bijzonder weinig. 10% van niets is nog steeds bittere armoede en niet om trots op te zijn. Dus waar vergelijk je het mee? En kan het programma die volledige 10% wel claimen? Wat was eigenlijk het doel van het programma? 
 
Deze situatie kom ik vaak tegen. Steeds meer goede doelen organisaties en hun partners zijn bezig om hun impactmanagement te professionaliseren. En dat is hartstikke positief. Gelukkig is het inmiddels dan ook niet meer de vraag of je je impact ook moet meten, maar vooral hoe je dat doet. 
 
En daar hoort vervolgens natuurlijk een impactrapport bij. Om aan je klanten, partners en financiers te laten zien wat je allemaal bereikt hebt.  We zien dan ook steeds meer glossy impact rapportages en infographics waarin mooie resultaten worden gepresenteerd. Soms bekruipt me het gevoel dat als we al die resultaten van verschillende organisaties bij elkaar op zouden tellen we eigenlijk niet veel problemen meer zouden moeten hebben. 
 
Wanneer mag de champagne open? 
Maar veel van die rapporten geven nog te weinig aanknopingspunten om de champagne open te trekken. ‘60% van de jongeren geeft aan zich na het programma minder eenzaam te voelen’ 
‘30% van de buurtbewoners heeft nieuwe contacten opgedaan’  ‘20% Co2 reductie door vervoer met elektrische taxi’s….’
 
Cijfers worden zonder context gepresenteerd waardoor veel niet van weinig en goed niet van slecht te onderscheiden valt. Kortom, wat zeggen deze cijfers? Dagelijkse kost helaas voor de lezers van het  groeiend aantal impactrapporten. 
 
En daarom is dit ook de impactvraag van de maand; hoe beoordeel ik of iets veel of weinig impact is? Is dat uberhaupt mogelijk?  Dat is het zeker, hieronder meteen drie tips om het beter te doen. 
 
1.     Doelen stellen
Bepaal vooraf wanneer je tevreden bent en waarom dan. Rapporteer daar ook over in je impactrapport. Niet makkelijk, wel nodig. Vaak is daarvoor flink huiswerk nodig om de huidige situatie goed in kaart te brengen en we gaan liever meteen aan de slag. In het voorbeeld hierboven; wat is er eigenlijk nodig voor een leefbaar inkomen waarmee boeren hun kinderen naar school kunnen sturen? Wat zijn de prijsontwikkelingen internationaal voor het soort product dat deze koffie- en cacaoboeren produceren? Hoe definieer je succes voor je programma?
 
2.     Zoek een benchmark 
Bij impact meten willen we weten welke effecten het gevolg zijn van jouw activiteiten. In andere woorden: je moet beredeneren wat er was gebeurd als jij er niet was geweest. Alleen dat verschil kun je jouw impact noemen. Dit ‘ attributievraagstuk’ is soms best lastig vast te stellen, aangezien er zoveel factoren kunnen meespelen. 
 
Voor een zuivere meting van attributie heb je controlegroepen nodig. Dit houdt in dat je de resultaten van jouw programma vergelijkt met de resultaten van een gerandomiseerde steekproef uit een vergelijkbare groep mensen waar jouw project of programma geen activiteiten voor heeft gedaan. Controlegroepen zijn alleen vaak moeilijk te organiseren, duur of simpelweg niet ethisch om te doen.  
 
Als een controlegroep ook voor jou niet haalbaar is ga dan op zoek naar bestaande benchmarks om jouw resultaten mee te vergelijken. In het geval van Future Focus; vergelijk het inkomen en de stijging bijvoorbeeld met het gemiddelde in de landen voor de doelgroep. 
 
Benchmarks zijn er op allerlei terreinen. Denk bijvoorbeeld aan data over de gemiddelde tijd dat het kost om een baan te vinden voor bepaalde doelgroepen of Co2 uitstoot van alternatieve opties. Daar kun je dus jouw uitkomsten mee vergelijken en helpt je om te beredeneren wat jouw project of programma toevoegt. 
 
3.     Zet de cijfers in context 
We hebben het natuurlijk allemaal net ervaren. We begonnen pas laat met vaccineren in Nederland en er zijn inmiddels 5 miljoen Nederlanders gevaccineerd. Maar is dat veel of weinig? Het is maar waar je het mee vergelijkt. In Europa staan we inmiddels op de 5de plaats, dat soort vergelijkingen helpen relativeren. 
 
Voor Future Focus betekent dit het afzetten van de uitkomsten tegen allereerst de armoedegrens die gesteld is door het UNDP en de Wereldbank. Verdienen de boeren daaronder, dan is er echt niet zoveel om te vieren nog. Ook de standaarden voor leefbaar inkomen zijn interessant in dit geval. Wat heeft een boer nodig om van te leven en zijn kinderen naar school te sturen en iets te sparen voor later? 
 
Meer reflectie meer impact!
Impactrapportages zonder doelen, benchmarks en met weinig context zijn verleidelijk en soms een goede eerste stap voor een organisatie. Maar wat we nodig hebben is meer reflectie en duiding van resultaten. Om meer te leren en uiteindelijk nog meer impact te behalen! Ken je goede voorbeelden, of wil je meer weten? Dan hoor ik het graag. 


* Auteur Edith Kroese is toegetreden tot het corps DDB-Experts. Lees hier meer over.

►Ga naar Ediths SELECT-page op deze website: daar worden staan alle artikelen van en over haar, en over impact bij elkaar.