Van den Hoogen et.al. 2012


Evaluatie van cultuurbeleid scoort nog steeds een zware onvoldoende
een boekbespreking door Peter Bosma
februari 2013
 
 
Dit boek stimuleert de lezer om na te denken over een terugkerend goed voornemen: laten we eindelijk eens het cultuurbeleid van de overheid op een degelijke manier evalueren. Dat wil zeggen: systematisch en effectief toetsen en wegen, onderbouwd door feiten.

Het kernpunt van de evaluatie van het cultuurbeleid is eenvoudig genoeg te verwoorden als: Welke input levert welke output? Dit is te classificeren als een vraagstelling naar invloed en samenhang. Hier begint bij mij meteen een alarmbel te rinkelen, want dit soort vragen zijn altijd moeilijk te beantwoorden. Het koppelen van prestaties aan resultaten en effecten vergt immers een valide set van indicatoren en een significante hoeveelheid relevante data. Ga er maar aan staan!
 
De publicatie van de Boekmanstichting helpt ons op weg de goede voornemens te kunnen realiseren. De eerste doelgroep bestaat uit een lezerspubliek van (gemeentelijke) beleidsmakers en beleidsadviseurs, maar de tekst is ook te beschouwen als een reeks van uitgeschreven hoorcolleges door docent/onderzoeker Quirijn van den Hoogen (Rijksuniversiteit Groningen), bijgestaan door een viertal gastdocenten: Letty Ranshuysen (zelfstandig onderzoeker), Jan Simons (Universiteit van Amsterdam), Teunis IJdens (Cultuurnetwerk Nederland) en Rudi Turksema (Algemene Rekenkamer).
 
Hoofdauteur Quirijn van den Hoogen komt na een korte inleiding tot de kern van de begripsbepaling, in de vorm van een overzichtelijk schema van de verschillende mogelijke functies van kunst. Dit schema heeft hij gedistilleerd uit een analyse van een omvangrijk corpus van beleidsnota’s van de afgelopen twintig jaar. In zijn schema (p. 33) kruist hij drie perspectieven (kunstenaars, individuele burgers en de samenleving) met twee soorten functies: intrinsiek (de esthetische ervaring) en extrinsiek (de instrumentele functies). De zes vlakken van dit schema worden vervolgens in hoofdstuk 4 t/m 6 zorgvuldig en geduldig door hem toegelicht. Hij geeft hiermee een didactische en handzame samenvatting van zijn omvangrijke proefschrift uit 2010. Het is indrukwekkend te zien hoe Van den Hoogen er in slaagt een ordening te krijgen in een lawine aan landelijke en lokale beleidsrapporten, beleidsplannen en beleidsadviezen.
 
Harde waarheden
Het is helaas een onontkoombaar ervaringsgegeven dat het collectief lerend vermogen van beleidsmakers (ambtenaren, bestuurders, politici) keer op keer bedroevend laag blijkt te zijn. Het beeld dat ontstaat nadat de lijnen van twintig jaar cultuurbeleid zijn neergezet is eerlijk gezegd nogal ontluisterend. Deze publicatie van de Boekmanstichting biedt een zeer zuivere constatering hiervan, maar vervalt niet in een aanklacht. De auteurs leveren allemaal een constructieve bijdrage aan de mogelijkheid om een verandering ten goede te bewerkstelligen. Hun kritische noten zijn bedoeld als leermomenten.  
 
Aanvullende leermomenten waren er genoeg, bij de boekpresentatie op 10 januari 2013 in het atrium van het VGN-kantoor. De verschillende sprekers schrokken er niet voor terug om harde waarheden uit te spreken. Evaluatie is natuurlijk ook hun vak.
 
Case studies van specifieke mankementen
Jan Simons constateert dat de branchverenigingen in de filmsector zich beperken tot bedrijfsmatige kengetallen (onder andere in de Bioscoopmonitor). De gegevens die nodig zijn voor een goed onderbouwde en volledige toetsing van het overheidsbeleid zijn bovendien verspreid over diverse onderzoeksrapporten beleidsplannen en jaarverslagen, die moeilijk te traceren zijn en lastig vergelijkbare data opleveren. Niet efficiënt en niet effectief dus.
 
Letty Ranshuysen constateert in haar bijdrage dat in de museumsector ook sprake is van een gebrek aan goede communicatie en kennisoverdracht. Er is veel informatie beschikbaar, onder andere in de Museummonitor, maar deze data worden te weinig actief en kritisch gebruikt als mogelijke basis voor toetsing en evaluatie.
 
Teunis IJdens geeft het Sociaal Cultureel Planbureau (SCP) complimenten omdat ze op landelijk nievau het goede voorbeeld geven van verantwoord onderzoek van de cultuurparticipatie in Nederland. Hij constateert dat de lokale overheden echter nog veel te weinig besef hebben van zelfs de meest elementaire eisen die men aan dergelijk onderzoek kan stellen: vooraf moet duidelijkheid bestaan waarover men iets wil weten (inhoudelijke afbakening), wat men precies wil weten (vraagstelling) en waarom (doelstelling).
Onderzoek naar cultuurparticipatie kan volgens hem bijzonder nuttig zijn in alle fasen van het proces van cultuurbeleid: agendavorming, beleidsvoorbereiding (analyse van het probleem), beleidsbepaling (ontwerp van maatregelen en ingrepen), beleidsuitvoering en beleidsevaluatie, met als afsluiting de terugkoppeling (de beslissing over voorzetting, aanpassing, of stoppen van het beleid).
 
Rudi Turksema levert een hoogwaardige epiloog op persoonlijke titel. Hij constateert dat bij het cultuurbeleid het ideaal van helder geformuleerde beleidsdoelen nog niet is gerealiseerd. De gestelde doelen voldoen niet aan de bekende eisen van SMART-C (Specifiek, Meetbaar, Afgestemd, Realistisch, Tijdsgebonden en Consistent), het ontbreekt onder andere aan meetbare streefwaarden. Cultuurbegrotingen zijn volgens hem te beschouwen als “ongestructureerde (of ongetemde) problemen, gekenmerkt door een grote mate van onzekerheid: hoe groot is het probleem, wat is het probleem eigenlijk en (hoe) kunnen we iets veranderen aan het probleem?” (p. 151).
Ook hij stelt dat de effectiviteit van het cultuurbeleid uitsluitend te toetsen is indien duidelijke doelstellingen geformuleerd zijn. Hij constateert dat een dergelijke toetsing in de politieke praktijk gevoelig kan liggen, met als gevolg dat een negatieve conclusie zomaar zonder consequenties kan blijven. Dit gebeurde bijvoorbeeld bij het evaluatierapport ‘Een waarborg voor continuïteit: Evaluatie subsidieregeling Buitenlandse arthouse films’ (2007) en ‘Terug naar Af: Evaluatie subsidieregeling distributie buitenlandse jeugdfilms’ (2007).
 
Perspectieven
Het zal duidelijk zijn: cultuurbeleid vergt een beter onderbouwde evaluatiemethode. Op het vlak van kritische prestatie-indicatoren is binnen de bedrijfskunde bruikbare theorie ontwikkeld, met als trefwoord ‘business intelligence’, waarbij de Balanced Scorecard (BSC) van Kaplan & Norton als ‘strategic performance management tool’ fungeert. Quirijn van den Hoogen geeft in hoofdstuk 7 de samenvatting van wat hij in zijn dissertatie heeft geschreven over de toepassing van deze Balanced Scorecard op het cultuurbeleid. Dit resulteert in een handzaam stramien van zes kernvragen (pp. 73-79). Deze tekst biedt inspiratie tot handelen en vormt daarom verplichte leesstof voor iedereen die bij cultuurbeleid betrokken is.
 
Aanbevolen literatuur (ter ondersteuning van daden)
 
  • C. Bunnik & E. van Huis (2011) Niet tellen maar wegen: over de zin en onzin van prestatieafspraken in de culturele sector. Amsterdam: Boekmanstudies.
  • Q. van den Hoogen et.al. (eds. 2012) Handboek cultuurbeleid, Amsterdam/Doetinchem: Reed Business.
 
 
De Algemene Rekenkamer is de hoogste autoriteit in evaluatieland. Enkele recente en relevante publicaties zijn als pdf gratis beschikbaar gesteld op hun website www.rekenkamer.nl.  
 
Het loont ook de moeite om over de grenzen te kijken, bijvoorbeeld Groot-Brittanië:
_____

Deze boekbespreking is ook beschikbaar op de website van de Boekman Stichting:
http://www.boekman.nl/nieuws/boekbespreking-peter-bosma-van-effectief-cultuurbeleid