Weten wat werkt

De sociale sector staat voor grote uitdagingen. Bezuinigingen, transities, de Wet maatschappelijke ondersteuning (Wmo) en Welzijn Nieuwe Stijl – het zijn allemaal ontwikkelingen waarop de sector moet inspelen. De grote vraag is hoe de sociale sec- tor in deze turbulente periode verschil kan blijven maken in het leven van individuen en groepen die maatschappelijke ondersteuning nodig hebben. 
Evaluatieonderzoek is een belangrijke manier om bij te dragen aan deze maatschap- pelijke opgave. Via evaluatieonderzoek kunnen we namelijk nagaan of een harde aanpak van overlastgevende jongeren werkt, hoe dak- en thuislozen het beste kun- nen worden geactiveerd, hoe de eenzaamheid onder ouderen effectief kan worden bestreden of welke projecten bijdragen aan de sociale samenhang in een wijk (zie kader). Kortom, evaluatieonderzoek biedt ons de mogelijkheid om te beoordelen welke sociale interventies werken. En kennis over de praktijk van specifieke interven- ties kan daarnaast benut worden om de kwaliteit van het sociaal werk te versterken. We beschrijven een sociale interventie als een ingreep in het sociale domein om een bepaalde verandering teweeg te brengen. Een vergelijkbare definitie is geformu- leerd door Van Dijk en Koekkoek (2011, 9): ‘In essentie is een interventie een ingreep met een maatschappelijk oogmerk, dat een doel en een effect heeft.’1

Effectieve interventies beginnen met Zelfevaluatie. Door de interventie op schrift te zetten en kritisch na te denken over de verschillende onderdelen van de interventie komt de evaluatie op gang. Daarbij is niet alleen de beschrijving van belang, maar zeker ook het proces dat tot die beschrijving leidt. 

Sociale interventies worden ontwikkeld in antwoord op maatschappelijke vraagstuk- ken. De ontwikkeling van interventies gaat vaak gepaard met vallen en opstaan. Doorgaans zijn zij het resultaat van een combinatie van de ervaring, kennis en inzich- ten van de professional; de voorkeuren, behoeften en wensen van de doelgroep en beschikbare vakliteratuur of wetenschappelijke kennis. 
De directe relatie met het maatschappelijke probleem dat zich voordoet en het con- crete en handelingsgerichte karakter maakt de interventie tot een ideale eenheid voor reflectie. Door eigen interventies op schrift te stellen komt zelfreflectie ofwel zelfevaluatie op gang. Door het samen te doen met anderen binnen (en buiten) de organisatie, draagt het bij aan collectieve zelfevaluatie van het eigen werk. Dit leidt tot een gezamenlijke aanscherping en daarmee tot een kwaliteitsimpuls.

‘Het is eigenlijk net een spel’, zo omschrijven gebruikers de Effectenarena wel eens. Een spel waarin de hoofdrolspelers worden uitgedaagd om de belangrijk- ste elementen van hun interventie met elkaar in verband te brengen en tot een logisch verhaal te maken. In een bijeenkomst van drie tot vier uur, ontdekken betrokkenen hoe een interventie in elkaar steekt. Het klinkt ongeloofwaardig, maar de ervaring met de Effectenarena leert dat het kan. Wanneer direct betrok- ken partijen – uitvoerders, investeerders en incasseerders – met elkaar in gesprek gaan, kan er in een dagdeel heel veel duidelijk worden.

Wie de kunst van de Case-study verstaat, vertelt het beste verhaal: een verhaal waaruit we veel kunnen leren en waarmee nooit het laatste woord is gezegd. Dui- delijkheid over gekozen perspectief en ordening zorgt ervoor dat een enkele casus- beschrijving grote relevantie krijgt voor de gehele praktijk.

In een tram krijgen twee mensen ruzie. Vraag aan omstanders om er een verhaal over te schrijven en je krijgt heel verschillende verhalen terug; niet alleen varianten op een oerverhaal met vaste elementen, maar zelfs verhalen die op onderdelen heel verschil- lend zijn.  Dit hoofdstuk gaat over Case-study , over het beschrijven en interpreteren van een casus. We laten zien dat wie de kunst van Case-study verstaat, niet het meest ware, mooiste of overtuigendste verhaal vertelt, maar het beste. Het beste verhaal, ofwel de beste optekening van een casus, is een casusbeschrijving waarin de maker duidelijk is over het perspectief en de veronderstellingen van waaruit hij kijkt en in- terpreteert én open is over de keuzes, stilering en ordening van de gebeurtenissen. Mensen maken intuïtief verhalen. In het geval van een Case-study geldt dat je be- wust procedés inzet bij het optekenen van een casus. Deze procedés staan beschre- ven in de retorica, de kunst van het maken van een betoog en de narratologie: de wetenschappelijk discipline die zich bezighoudt met het analyseren van verhalen.3 Wij spreken hier van een ‘retorisch-narratologische benadering’.

Zonder een goede aansluiting tussen professional en cliënt is zelfs een effectieve interventie tot mislukken gedoemd. Zorgethisch evalueren richt zich op deze relatie en voegt daarmee een belangrijke dimensie toe aan het toetsen van de effectiviteit van een interventie. 
In hoeverre sluit de professional aan bij de hulpvrager? Weet de professional een goede verbinding te leggen?

In dit hoofdstuk introduceren we een evaluatieprincipe dat we aanduiden als Zorgethisch evalueren. Het evaluatieprincipe berust op de uitgangspunten van de zorgethiek, die we hieronder toelichten. We spreken verder kortweg van ‘Zorgethisch evalueren’.

Monitoring is een evaluatiemethode die ‘wat-vragen’ stelt. Wat gebeurt er? Wat heeft zich voorgedaan? Wat is er veranderd? De antwoorden op deze vragen geven inzicht in processen én resultaten van een sociale interventie. Dankzij her- haalde waarnemingen en metingen legt Monitoring trends bloot.

Een monitor kan voor verschillende doeleinden worden gebruikt: om te leren, te signaleren, te sturen en verantwoording af te leggen. Een monitor kan informatie verzamelen over verschillende niveaus in het beleidsproces van een interventie, zoals de middelen die worden ingezet (input), de processen (throughput), de pro- ducten (output) en resultaten en effecten (outcome en final outcome) van een interventie. Waar de nadruk op ligt, is afhankelijk van het doel van een monitor. Bij praktijkmonitoring gaat het om het verzamelen van gegevens over het prak- tisch handelen van een uitvoerder (professional of vrijwilliger) van een interventie, een team, een instelling of een groep instellingen (Van Yperen, 2010). Een vorm van gegevensverzameling die lijkt op Monitoring is benchmarking. Een benchmark is een vergelijking van kwaliteit en prestaties van een organisatie met die van ver- gelijkbare andere organisaties. 

Iedere interventie is gebaseerd op veronderstellingen. Samen vormen die veronder- stellingen een theorie. De Theory of Change-benadering toetst de theorie van de uitvoerders – want niets is zo praktisch als een goede theorie!1

De Theory of Change(ToC)-benadering van evaluatieonderzoek gaat terug op de ideeën van Carol Weiss (1972; 1995) en is nader uitgewerkt door anderen (Connell e.a., 1995; Connell & Kubisch, 1998; Connell, Kubisch e.a., 2001). De kern van de ToC- benadering is dat wordt nagegaan wat de inhoudelijke veronderstellingen achter een interventie zijn en dat vervolgens kritisch wordt onderzocht of deze achterlig- gende veronderstellingen (of ‘veranderingstheorieën’) plausibel en realistisch zijn. Weiss’ uitgangspunt is dat iedere interventie – en ieder beleid – gebaseerd is op bepaalde assumpties over wat de interventie teweeg zal brengen.

Universeel werkende interventies bestaan niet. Realistisch evalueren gaat op zoek naar wat werkt, voor wie en onder welke omstandigheden. Of een interventie werkt, is afhankelijk van de specifieke kenmerken van de situatie waarin ze wordt geïntroduceerd en de specifieke kenmerken van de mensen op wie ze wordt uitgeprobeerd.

Evaluatieonderzoek kent veel gedaantes en er vindt, voorzichtig geformuleerd, nogal wat debat plaats over wat goed evaluatieonderzoek is. In dit hoofdstuk mengen we ons in dat debat door een in Nederland (nog) weinig gebruikte methode van evaluatieonderzoek te bespreken: Realistische evalueren. Deze nogal pretentieuze benaming ontlenen we aan het boek Realistic Evaluation (1997) van de Britse socio- loog Ray Pawson (University of Leeds) en criminoloog Nick Tilley (University College London)

De pragmatische RCT is een uitwerking van de Randomized Controlled Trial. De prag- matische RCT levert ‘hard’ wetenschappelijke bewijs over de effectiviteit van een interventie en sluit tegelijkertijd goed aan bij de complexe werkelijkheid van alledag. Deze vorm van effectonderzoek is daarmee bij uitstek geschikt voor de sociale sector. 
De pragmatische Randomized Controlled Trial, of pragmatische trial   (Schwartz & Lellouch, 2009/1967), is erop gericht een zo sterk mogelijke uitspraak te kunnen doen over het effect van een interventie in de praktijk van alledag. In de regel worden daartoe twee interventies of manieren van begeleiding met elkaar vergele- ken, waarbij de centrale vraag is, of de ene begeleidingswijze betere of gunstigere uitkomsten heeft dan de andere. Mensen die aan de studie deelnemen, worden in twee groepen ingedeeld, waarbij de ene groep begeleid wordt met de interventie waarvan vermoed wordt dat deze effectiever is, en de andere groep begeleid wordt met de benadering die vermoedelijk minder effectief is

In het inleidende hoofdstuk schreven wij dat de sociale sector, met alle bezuinigin- gen en wetswijzigingen van deze tijd, voor de uitdaging staat om verschil te blijven maken in het leven van individuen en groepen in kwetsbare posities. Ook stelden we vast dat evaluatieonderzoek in dit kader bijzonder waardevol is, omdat het praktijkgerichte kennis oplevert over de effecten van sociale interventies en over werkzame mechanismen. Deze stellingen zijn in de daaropvolgende hoofdstukken waargemaakt. De verschillende auteurs laten zien dat evaluatieonderzoek er daad- werkelijk toe doet en veel maatschappelijk relevante kennis oplevert. 
Zoals Marcel Hoogenboom en Trudie Knijn het in hoofdstuk 8 mooi formuleren, is er niet alleen debat nodig over wat nu werkelijk werkt (Uitermark, Gielen e.a., 2012). Om meer evidence-based te kunnen werken in de sociale sector moet ook de cruciale vraag gesteld worden die aan dit debat voorafgaat, namelijk: wat zijn goede evaluatiemethoden die inzicht kunnen bieden in wat werkt? Zonder te pre- tenderen dat we een volledig inzicht geven in mogelijke onderzoeksmethoden, zijn we van mening dat dit boek een rijke diversiteit aan passende evaluatiemethoden voor de sociale sector presenteert. 

Wat levert sociaal werk op? Om daarachter te komen is evaluatieonderzoek noodzakelijk. Weten wat werkt biedt inzicht in uiteenlopende vormen van evaluatie die passen bij de sociale sector. Slimme vormen van onderzoek die te vaak onbenut blijven. De auteurs maken gebruik van waargebeurde voorbeelden uit de dagelijkse praktijk van maatschappelijke ondersteuning in zorg en welzijn. Uit de voorbeelden blijkt dat samenwerking tussen onderzoekers en professionals bijdraagt aan praktisch bruikbare kennis over de doelen, de werkzame mechanismen en de effecten van de interventie.

In de conclusie plaatsen de redacteuren de diverse bijdragen in een breder perspectief. Wat is de waarde van evaluatieonderzoek? Hoe kan kennis over wat werkt in het dagelijks handelen van professionals worden geïntegreerd? En hoe verhouden de opbrengsten van onderzoek zich tot politieke en morele keuzes?

Deze publicatie biedt inspiratie en handvatten voor professionals, onderzoekers, beleidsmakers, docenten en (master) studenten social work die samen willen werken aan het antwoord op de vraag wat werkt in de sociale sector. Met bijdragen van onder meer Trudie Knijn, Radboud Engbersen, Erik Snel, Harry Michon en Anne Goossensen.

Een productie van Movisie.