Copyright Featured Image and Page Header Image: joseph plateau Grafisch Ontwerpers/ Boekmanstichting.
Evaluatie van cultuurbeleid scoort nog steeds een zware onvoldoende
Hoogen, Q. van den (2012) Effectief cultuurbeleid: leren van evalueren. Amsterdam: Boekmanstichting.
Dit boek stimuleert de lezer om na te denken over een terugkerend goed voornemen: laten we eindelijk eens het cultuurbeleid van de overheid op een degelijke manier evalueren. Dat wil zeggen: systematisch en effectief toetsen en wegen, onderbouwd door feiten.
Het kernpunt van de evaluatie van het cultuurbeleid is eenvoudig genoeg te verwoorden als de vraag: Welke input levert welke output? Dit is te classificeren als een vraagstelling naar invloed en samenhang. Hier begint bij mij meteen een alarmbel te rinkelen, want dit soort onderzoeksvragen zijn moeilijk te beantwoorden. Het koppelen van prestaties aan resultaten en effecten vergt immers een valide set van indicatoren en een significante hoeveelheid relevante data (een set van weloverwogen kengetallen over een periode van meerdere jaren, onder andere). Hoe ga je dit meten?
De publicatie van de Boekmanstichting biedt reflectie op dit probleem. De tekst is te beschouwen als een reeks van uitgeschreven hoorcolleges door docent-onderzoeker Quirijn van den Hoogen (Rijksuniversiteit Groningen), bijgestaan door een viertal gastdocenten: Letty Ranshuysen (zelfstandig onderzoeker), Jan Simons (Universiteit van Amsterdam), Teunis IJdens (Cultuurnetwerk Nederland) en Rudi Turksema (Algemene Rekenkamer).
Hoofdauteur Quirijn van den Hoogen komt na een korte inleiding tot de kern van de begripsbepaling, in de vorm van een overzichtelijk schema van de verschillende mogelijke functies van kunst. Dit schema heeft hij gedistilleerd uit een analyse van een omvangrijk corpus van beleidsnota’s van de afgelopen twintig jaar. In zijn schema (p. 33) kruist hij drie perspectieven (kunstenaars, individuele burgers en de samenleving) met twee soorten functies: intrinsiek (de esthetische ervaring) en extrinsiek (de instrumentele functies).
De zes vlakken van dit schema worden vervolgens in hoofdstuk 4 t/m 6 zorgvuldig en geduldig door hem toegelicht. Hij geeft hiermee een didactische en handzame samenvatting van zijn omvangrijke proefschrift uit 2010. Het is indrukwekkend te zien hoe Van den Hoogen erin slaagt een ordening te krijgen in een lawine aan uiteenlopende bronnen: landelijke en lokale beleidsrapporten, beleidsplannen en beleidsadviezen.
Harde waarheden
Het is helaas een onontkoombaar ervaringsgegeven dat het collectief lerend vermogen van beleidmakers (ambtenaren, bestuurders, politici) keer op keer bedroevend laag blijkt te zijn. Het beeld dat ontstaat nadat de lijnen van twintig jaar cultuurbeleid zijn neergezet is eerlijk gezegd nogal ontluisterend. Deze publicatie van de Boekmanstichting biedt een zeer zuivere constatering hiervan, maar vervalt niet in een aanklacht. De auteurs leveren allemaal een constructieve bijdrage aan de mogelijkheid om een verandering ten goede te bewerkstelligen. Hun kritische noten zijn bedoeld als leermomenten.
Aanvullende leermomenten waren er genoeg, bij de boekpresentatie op 10 januari 2013 in het atrium van het VGN-kantoor. De verschillende sprekers durfden harde waarheden uit te spreken, want in de dagelijkse werkelijkheid van cultuurbeleid zijn tal van onvolkomenheden en zelfs misstanden te signaleren:
- Nog steeds is geen eenduidigheid te krijgen over de fundamentele vraag of de beleidsevaluatie moet starten met het verzamelen van ‘theory based evidence’, of juist met het opstellen van een ‘evidence based theory’. De conclusie was dat op beide fronten nog veel pionierswerk is te verrichten.
- Nog steeds kan een duurbetaalde adviseur op eenvoudige wijze een groep eveneens duurbetaalde ambtenaren in verlegenheid brengen door hen de simpele basisvraag te stellen welke beleidsdoelstellingen ze nu precies hebben gehanteerd bij de opdracht voor de bouw van een groot en duur cultureel complex.
- Nog steeds zijn kwantitatieve prestatie-afspraken populair bij bestuurders, maar dit soort eenvoudige getalsmatige afrekeningen zijn vaak ronduit misleidend en/of onzinnig.
- Nog steeds is bij de ‘evaluatie industrie’ (de adviesbureau’s) sprake van een groot aanbod van veelsoortig beleidsonderzoek, zonder dat sprake is van een dringende behoefte bij de beoogde klanten (de verschillende overheden). Hier is dus sprake van een markt zonder vraag.
Case studies van specifieke mankementen
Jan Simons constateert dat de brancheverenigingen in de filmsector zich beperken tot bedrijfsmatige kengetallen (onder andere in de Bioscoopmonitor). De gegevens die nodig zouden zijn voor een goed onderbouwde en volledige toetsing van het overheidsbeleid op filmgebied zijn verspreid over diverse onderzoeksrapporten beleidsplannen en jaarverslagen, die moeilijk te traceren zijn en lastig vergelijkbare data opleveren. Niet efficiënt en niet effectief dus.
Letty Ranshuysen constateert in haar bijdrage dat in de museumsector ook sprake is van een gebrek aan goede communicatie en kennisoverdracht. Er is veel informatie beschikbaar, onder andere in de Museummonitor, maar deze data worden te weinig actief en te weinig kritisch gebruikt als mogelijke basis voor toetsing en evaluatie. Terug naar de basisvraag: wat wil je precies meten en weten?
Teunis IJdens geeft het Sociaal Cultureel Planbureau (SCP) complimenten omdat ze op landelijk niveau het goede voorbeeld geven van verantwoord onderzoek van de cultuurparticipatie in Nederland. Hij constateert dat de lokale overheden echter nog veel te weinig besef hebben van zelfs de meest elementaire eisen die men aan dergelijk onderzoek kan stellen: vooraf moet duidelijkheid bestaan waarover men iets wil weten (inhoudelijke afbakening), wat men precies wil weten (vraagstelling) en waarom (doelstelling). Onderzoek naar cultuurparticipatie kan volgens hem bijzonder nuttig zijn in alle fasen van het proces van cultuurbeleid: agendavorming, beleidsvoorbereiding (analyse van het probleem), beleidsbepaling (ontwerp van maatregelen en ingrepen), beleidsuitvoering en beleidsevaluatie, met als afsluiting de terugkoppeling (de beslissing over voorzetting, aanpassing, of stoppen van het beleid).
Rudi Turksema levert een hoogwaardige epiloog op persoonlijke titel. Hij constateert dat bij het cultuurbeleid het ideaal van helder geformuleerde beleidsdoelen nog niet is gerealiseerd. De gestelde doelen voldoen niet aan de bekende eisen van SMART-C (Specifiek, Meetbaar, Afgestemd, Realistisch, Tijdsgebonden en Consistent), het ontbreekt onder andere aan meetbare streefwaarden. Cultuurbegrotingen zijn volgens hem te beschouwen als “ongestructureerde (of ongetemde) problemen, gekenmerkt door een grote mate van onzekerheid: hoe groot is het probleem, wat is het probleem eigenlijk en (hoe) kunnen we iets veranderen aan het probleem?” (p. 151). Ook hij stelt dat de effectiviteit van het cultuurbeleid uitsluitend te toetsen is indien duidelijke doelstellingen geformuleerd zijn. Hij constateert dat een dergelijke toetsing in de politieke praktijk gevoelig kan liggen, met als gevolg dat een negatieve conclusie zomaar zonder consequenties kan blijven. Dit gebeurde bijvoorbeeld bij het evaluatierapport ‘Een waarborg voor continuïteit: Evaluatie subsidieregeling Buitenlandse arthouse films’ (2007) en ‘Terug naar Af: Evaluatie subsidieregeling distributie buitenlandse jeugdfilms’ (2007).
Perspectieven
Het zal duidelijk zijn: cultuurbeleid vergt een beter onderbouwde evaluatiemethode. Op het vlak van kritische prestatie-indicatoren is binnen de bedrijfskunde bruikbare theorie ontwikkeld, met als trefwoord ‘business intelligence’, waarbij de Balanced Scorecard (BSC) van Kaplan & Norton als ‘strategic performance management tool’ fungeert. Quirijn van den Hoogen geeft in hoofdstuk 7 de samenvatting van wat hij in zijn dissertatie heeft geschreven over de toepassing van deze Balanced Scorecard op het cultuurbeleid. Dit resulteert in een handzaam stramien van zes kernvragen (pp. 73-79). Deze tekst biedt inspiratie tot handelen en vormt daarom verplichte leesstof voor iedereen die bij het ontwerp en de uitvoering van cultuurbeleid betrokken is.
Deze boekbespreking is ook beschikbaar op de website van de Boekman Stichting: http://www.boekman.nl/nieuws/boekbespreking-peter-bosma-van-effectief-cultuurbeleid
Aanbevolen literatuur (ter ondersteuning van daden):
- Van Hamersveld (2011) Verslag studiemiddag Gekwantificeerde kwaliteit: over de controleerbaarheid van kunstbeleid.Boekpresentatie Effectief cultuurbeleid.URL: http://www.boekman.nl/blog/verslag-boekpresentatie-effectief-cultuurbeleid. ook beschikbaar op URL: http://www.lettyranshuysen.nl/pdf/2011_verslag{0124cbb3178c9f090e9437162472d680318fd0dbdef32848b492ee19fbd787c7}20GK.pdf.
- Ranshuysen (2012) Tegendraads museumbeleid: Evidence base in museaal publieksbeleid vaak weggewuifd (hoofdstuk 9 in het hier besproken boek, Van den Hoogen, 2012, 88-97. URL: http://www.lettyranshuysen.nl/pdf/2012_EB{0124cbb3178c9f090e9437162472d680318fd0dbdef32848b492ee19fbd787c7}20musea.pdf.
- Ranshuysen (2012) Legitimeren en optimaliseren: doeltreffend onderzoek ten behoeve van cultuurbeleid. Rotterdam: Onderzoeksbureau Letty Ranshuysen. URL: http://www.lettyranshuysen.nl/pdf/2012_doelgerichte{0124cbb3178c9f090e9437162472d680318fd0dbdef32848b492ee19fbd787c7}20evaluatie.pdf.
- Bunnik & E. van Huis (2011) Niet tellen maar wegen: over de zin en onzin van prestatieafspraken in de culturele sector. Amsterdam: Boekmanstichting.
- van den Hoogen et.al. (eds. 2012) Handboek cultuurbeleid, Amsterdam/Doetinchem: Reed Business.
- Bunnik (2016) Naar waarde gewogen: Een nieuw model voor kwaliteitsbeoordeling bij de toekenning van cultuursubsidies.Amsterdam: Boekmanstichting.
De Algemene Rekenkamer is de hoogste autoriteit in evaluatieland. Enkele recente en relevante publicaties zijn als pdf gratis beschikbaar gesteld op hun website www.rekenkamer.nl.
- Algemene Rekenkamer (2011a) Handreiking effectevaluaties subsidies: randvoorwaarden, uitvoering en benutting. Den Haag: Sdu.
- Algemene Rekenkamer (2011b) Onderzoeksrapport Leren van subsidie subsidie-evaluaties.Den Haag: Sdu.
In Groot-Brittannië leeft de beleidsevaluatie ook:
- HM Treasury (2011) The Green Book: Appraisal and Evaluation in Central Government. London: TSO. URL: http://www.hm-treasury.gov.uk/data_greenbook_index.htm.
- HM Treasury (2011) The Magenta Book: Guidance for Evaluation. London: HM Treasury. URL: http://www.hm-treasury.gov.uk/d/magenta_book_combined.pdf.