Rankings van onderwijsinstellingen zorgen bij het verschijnen altijd voor publiciteit, maar zijn ook voer voor discussie. Voor de internationale universiteiten rankings (THES, QS en ARWU) treffend omschreven als: “The international university ranking scene is starting to look like the heavyweight boxing division. Titles are proliferating and there is no longer an undisputed champion of the world.”

In Nederland zijn er voor het HBO twee belangrijke lijstjes. Het Elsevier onderzoek ‘beste studies’ en de Keuzegids.  Een vergelijk tussen beide roept ook hier vragen op. Zo stelt Punt, het huisblad van Avans Hogeschool, zich de vraag:  “Zowel de Elsevier als de Keuzegids maken voor hun rankings gebruik van de gegevens van de Nationale Studenten Enquête.  Maar als ze gebruik maken van het hetzelfde basismateriaal, hoe is dan te verklaren dat Avans op nummer 2 staat in Elsevier en op nummer 1 in de Keuzegids?”.  In het artikel wordt als verklaring gewezen op een afwijkende selectie van vragen,  het meenemen van een uitvalspercentage en expertoordelen. In het navolgende wil ik graag nader stilstaan bij laatstgenoemde oordelen.

Deskundigenoordeel

In haar persbericht stelt Keuzegids: “De Keuzegids baseert haar oordelen op drie soorten bronnen. Dat zijn statistieken over studiesucces, deskundigenoordelen uit de accreditatie, en studentenoordelen uit de Nationale Studentenenquête.”

De deskundigenoordelen  zijn gegeven door visitatiepanels met inhoudelijk deskundigen (vakinhoudelijk, werkveld, didactiek etc.) in het kader van een accreditatie-aanvraag bij de NVAO. Keuzegids weegt, blijkens de toelichting op de website,  de oordelen onvoldoende, voldoende, goed en excellent die visitatiepanels hebben gegeven op de facetten “niveau bachelor”, “eisen programma”, “eisen personeel”, “kwaliteit personeel” en “gerealiseerd niveau” mee in haar oordeel.

Drie kanttekeningen bij expertoordelen

Bij dit meewegen van expertoordelen maak ik drie  kanttekeningen. Ten eerste  het feit dat visitatiepanels de opleidingen eenmaal per 6  jaar beoordelen. De deskundigenoordelen bij sommige opleidingen zijn mogelijk dus  gedateerd. Voorts mag bekend worden verondersteld dat gedurende een  periode van 6 jaar bij een opleiding veel ten goede (of ten slechte) kan  veranderen. Niet uit te sluiten is dus dat mogelijk gedateerde deskundigenoordelen niet meer in overeenstemming zijn met de feitelijke praktijk binnen de betreffende opleiding. Scherp gesteld zien opleidingen die na een accreditatie goed orde op zaken hebben gesteld hun inspanningen in dezen niet beloond, terwijl de goed beoordeelde opleidingen ongestraft (althans qua deskundigenoordelen) op hun lauweren zouden kunnen rusten.

Ten tweede  zijn de oordelen gebaseerd op werkzaamheden van visitatiepanels onder coördinatie van verschillende VBI’s (thans evaluatiebureaus). Deze VBI’s hebben jarenlang (verplicht) een eigen uitwerking van het accreditatiekader gehanteerd. Daaronder begrepen ook een eigen opvatting van wat voldoende, goed en excellent bij bepaalde facetten is. Gevolg: de ene voldoende is de andere niet, of scherper, wat bij de ene instelling door een panel als goed is aangemerkt zou bij beoordeling door een ander panel mogelijk ’slechts’ een voldoende opleveren. Conclusie: het zonder nuance betrekken van de oordelen voldoende, goed en excellent in de ranking leidt mogelijk tot vertekende resultaten.

In het sinds 1 januari 2011 inwerkinggetreden nieuwe accreditatiestelsel lijkt aan dit beoordelingsverschil tegemoet te zijn gekomen. Alle visitatiepanels hanteren nu hetzelfde kader voor onvoldoende, voldoende, goed en excellent.Is daarmee het ‘probleem’ verholpen? Nou nee. Los van het feit dat ook de bestaande kaders voldoende ruimte laten voor eigen interpretaties van panels  is er ook een derde kanttekening. De opleidingen worden beoordeeld door verschillende panels. Dit betekent niet alleen verschillende personen die de feitelijk beoordeling uitvoeren, maar ook andere werkwijzen en aandachtspunten. Al deze punten kunnen gevolgen hebben voor het uiteindelijke oordeel. Kortom ook hier de vraag, is een oordeel ‘voldoende’ of ‘goed’ wel een voldoende objectieve maatstaf ter vergelijking van opleidingen? Naar mijn mening niet.

Toekomst van accreditatie

Is het beoordelen van alle opleidingen door identieke panels dan de oplossing? Misschien wel voor kleine opleidingen, dat wil zeggen opleidingen waarvan er maar een paar bestaan in Nederland. Maar hoe reëel is het om één panel 25 identieke economie opleidingen te laten beoordelen? Hoeveel goede externe deskundigen uit het werkveld zijn beschikbaar om in een korte tijd zoveel werk te verzetten? Een optie zou nog kunnen zijn om te werken met een combinatie voorzitter en secretaris in panels die werken met wisselende externe deskundigen. Hobéon heeft met deze aanpak goede ervaringen.

Een ander, meer principieel punt is overigens ook nog te maken. Is accreditatie uit de aard der zaak eigenlijk wel bedoeld om instellingen met elkaar te vergelijken? Zou het wel een bron moeten zijn voor de makers van rankings? Nu lijkt ranking vaak een ‘bijproduct’ van de accreditatie. Het lijkt soms wel een queeste naar informatie waarop opleidingen met elkaar kunnen worden vergeleken, helaas ook indien er onder deskundigen weinig discussie is over de vraag of je uit de informatie wel zinnige vergelijkingen kunt trekken. Kortweg, we simplificeren complexe processen en oordelen tot enkele benchmarks die op de keper beschouwd nu vaak juist weinig zeggen over de inhoud.

Concluderend. Helder mag op grond van het bovenstaande zijn dat ik kritisch ben over de Keuzegids, althans daar waar het verwerken van deskundigenoordelen betreft. Meer in het algemeen heb ik ook zo mijn vraagtekens bij het ‘gebruiken’ van accreditatiebeoordelingen voor het vergelijken van opleidingen.  Ik ben overigens wel van mening dat de student (ouder) moet kunnen beschikken handvaten om opleidingen met elkaar te kunnen vergelijken. Echter indien de informatie wordt verstrekt, dan zijn alle partijen erbij wel gebaat dat de gepresenteerde informatie boven enige twijfel is verheven.