Conclusies Expertgroep Protocol

1. Afstudeerprogramma’s in het hbo zijn zeer divers, zowel qua eindkwalificaties als qua inrichting van afstudeerprogramma’s.
2. Opleidingen in het hbo leiden op tot beroepsbekwaamheid. Dat men gekwalificeerd is voor een bepaald beroep moet blijken uit het feit dat men de kerntaken van dat beroep op adequate wijze kan uitvoeren. Toetsing daarvan vraagt om de inzet van een scala aan toetsvormen binnen het afstudeerprogramma. Het werken met (eind)werkstukken is er slechts één van.
3. Het is wenselijk dat verschillende hogescholen voor hetzelfde type opleiding streven naar meer overeenkomstige afstudeerprogramma’s, zowel wat betreft eindkwalificaties, verstrekte beroepsopdrachten als beoordelingsmodellen. Dit mag echter niet ten koste gaan van de profilering die opleidingen nastreven.
4. De kwaliteit van beoordeling is voor het grootste deel afhankelijk van de kwaliteit vande examinator. Beoordelen is mensenwerk.
5. Het is mogelijk en wenselijk om afstudeerprogramma’s te protocolleren. Dat kan op vier niveaus;  i) op landelijk niveau, ii) op het niveau van de opleidingsprofielen, iii) op het niveau van een beperkt aantal opleidingen met het zelfde opleidingsprofiel, profielen die onderwijsinhoudelijk overeenkomen, iv) op het niveau van de individuele opleiding.
6. De beoordelingsmodellen die bij het afstuderen gebruikt worden dienen valide en inzichtelijk te zijn. Dit vereist onder andere dat de prestatiecriteria zijn afgeleid uit de te toetsen eindkwalificaties en dat ze zijn afgestemd op de verstrekte beroepsopdrachten.
7. Er zijn landelijke beoordelingsmodellen in omloop. Deze hebben geen officiële status.

Adviezen Expertgroep Protocol

1. Ontwikkel een protocol ter verbetering en ter verantwoording van het afstuderen.
2. Geef duidelijkheid over de rol van onderzoekend vermogen in het hoger beroepsonderwijs. Geef daarbij aan wat het minimumniveau is.
3. Bepleit bij de NVAO, bij de evaluatiebureaus en bij de zelfstandige secretarissen een uniforme wijze van werken bij het beoordelen van standaard 3/ 16, waarin: a) er gebruik wordt gemaakt van de beoordelingsmodellen van de opleiding, tenzij deze van onvoldoende kwaliteit zijn; b) er bij de visitatie gekeken wordt naar ál het bewijs dat in het afstudeerprogramma wordt verzameld en niet alleen naar de eindwerkstukken.
4. Stimuleer bij opleidingen gezamenlijkheid in afstudeerprogramma’s, zonder dit verplichtend op te leggen.
5. Visitatiepanels kunnen volgens het rapport niet volstaan met het beoordelen van 15 eindwerkstukken aan de hand van een eigen beoordelingsmodel zoals in het verleden wel voor kwam. Voor een goede beoordeling van standaard 3/16, zullen zij meer bewijsmateriaal moeten bestuderen, hetgeen uiteraard ook meer tijd zal kosten.

 Reactie Hobéon naar aanleiding van het rapport

1. Zoals wij al in de inleiding schreven herkennen en onderschrijven wij veel van de constateringen van de expertcommissie, alsmede van haar conclusies en aanbevelingen. Zo opereert Hobéon nu al in lijn met de conclusies en aanbevelingen van de expertcommissie op het punt van de beoordeling van het eindniveau en de betekenis van eindwerken daarin. Hogescholen beoordelen het eindniveau van competenties veelal op meerdere momenten en op meerdere manieren tijdens het programma en vrijwel nooit louter aan de hand van alleen het eindwerk. Dat betekent voor onze auditpraktijk dat auditteams op overeenkomstige wijze het gerealiseerde eindniveau beoordelen.
2. Dat het primaat van het beoordelingsmodel bij de opleiding ligt is terecht, maar is overigens ook al de praktijk. Dat laat onverlet dat ook een evaluatiebureau een referentiekader nodig heeft om een beoordelingsmodel op zijn merites te beoordelen. Dat referentiekader is deels algemeen en deels opleidingsspecifiek. Algemeen is bijvoorbeeld: Heeft de opleiding een visie op onderzoek? Is er naast het product ook een goede reflectie op en verantwoording over het geleverde werk (en waaraan moet die tenminste voldoen; wil je ook altijd conclusies en aanbevelingen bijvoorbeeld)? Wat is de consistentie tussen standaard 3/16 (gerealiseerde en beoordeelde eindkwalificaties) met standaard 1 (beoogde eindkwalificaties)? Opleidingsspecifiek: Wat is de kwaliteit van de competentiematrix en van toetsmatrijzen? Komen alle competenties aan bod in het geheel van de beroepsproducten van een student en in de daarmee verbonden beoordelingsmodellen? Is de cesuur passend? Is de compensatie passend?
3. De expertgroep zet haar kaarten vooral op een goed beoordelingsmodel en beoordelingsprocedure als het gaat om een deugdelijke beoordeling van het eindniveau. Hobéon zou graag aanzienlijk meer aandacht willen voor de kwaliteit van de assessoren/examinatoren. Uit haar uitgebreide advies- en beoordelingspraktijk is immers helder naar voren gekomen dat modellen en procedures weliswaar belangrijke randvoorwaarden zijn, maar dat de kwaliteit van de examinatoren de hoeksteen zijn van een kwalitatief deugdelijke beoordeling.  Bovenmatige aandacht voor met name beoordelingsmodellen kan zelfs averechts werken. In hun streven om de kwaliteit van het beoordelingsproces te verhogen zien we opleidingen doorschieten naar zeer gedetailleerde beoordelings- en verantwoordingsmodellen (bijvoorbeeld 35 criteria, met elk 5 beheersingsniveaus). Realistisch invullen hiervan is vrijwel ondoenlijk (én onbetaalbaar!) en leidt tot een zeer fragmentarisch beeld van de student. Elk element van een meer holistische beoordeling verdwijnt hiermee compleet achter de horizon.
4. Op dit moment bestuderen auditteams onder voorzitterschap van Hobéon naast de eindwerken ook andere producten, zoals startdocumenten, portfolio’s en andere beroepsproducten. Soms wonen zij ook examens bij. Echter, de op zich terechte aanbeveling van de expertcommissie om complete dossiers van studenten te beoordelen heeft nogal stevige praktische consequenties. De te beoordelen documentatie wordt aanzienlijk uitgebreider. Daarnaast zullen praktische oplossingen getroffen moeten worden voor het kunnen bijwonen van beoordelingsgesprekken en verdedigingen, fysiek of met gebruikmaking van opnames.
5. ‘Reflectie’ is een onderwerp dat in toenemende mate de aandacht krijgt van opleiders. Ook de expertgroep roert dit onderwerp kort aan. In onze advies- en beoordelingspraktijk zien we dat opleiders en vervolgens de studenten aan reflectie nog op geheel uiteenlopende wijze invulling geven. Niet zelden treffen we louter zelfreflecties op de persoonlijke groei aan; niet onbelangrijk natuurlijk, maar niet voldoende. Mede in lijn met het streven om het onderzoekend vermogen van studenten te  vergroten pleiten wij voor drie reflecties: 
   1) Vóór de actie. Bijvoorbeeld: Is dit een passend onderwerp? Wat is in feite de vraagstelling (en past die wel bij mijn mogelijkheden)? 2) Tijdens de actie: Ben ik nog goed bezig? 3) Op de actie: Heb ik nu alles wel goed gedaan én heb ik de goede dingen gedaan?
   Een gepaste vraag van examinatoren is: ‘Kun je verantwoorden waarom de door jou gevonden oplossing de beste is?’ Bovenstaande reflecties – méér dan louter een reflectie op persoonlijke groei - vormen de basis voor een steekhoudend antwoord op deze vraag.

Wat eraan vooraf ging

In het voorjaar van 2012 leidden problemen met en kritiek op de kwaliteit van hbo-diploma’s tot
het rapport 'Vreemde ogen dwingen’ (mei  2012). Een rapport van de commissie Externe Validering examenkwaliteit, ook wel Commissie Bruijn genoemd. De commissie stelt daarin verschillende maatregelen voor die er voor moeten zorgen dat toets(kwaliteits)beleid steviger wordt verankerd in het hart van de opleiding.
De maatregelen betreffen onder andere:

• Externe validering door middel van een gemeenschappelijk protocol voor de beoordeling  van werkstukken.  (Expertgroep Protocol/ Daan Andriessen) 'Beoordelen is mensenwerk’
• Externe validering door middel van vergroting  toetsdeskundigheid van docenten (Expertgroep BKE/SKE)