Basisopzet nieuwe brancheprotocol

Onderzoek aan hogescholen wordt niet gezien als een doel op zich, maar als een middel om beter onderwijs te realiseren en om als hogeschool samen met het werkveld te innoveren en een rol van betekenis in de regio te spelen. Het BKO richt zich – anders dan het vergelijkbare op het wo-gerichte Standard Evaluation Protocol  – dan ook op drie samenhangende resultaatgebieden:

• de beroepspraktijk en de samenleving
• onderwijs en professionalisering
• kennisontwikkeling binnen het onderzoeksdomein

Het brancheprotocol schrijft een aantal evaluerende activiteiten voor. In de tabel hieronder vergelijken we de activiteiten uit het oude protocol met het nieuwe protocol.

BKO 2009-2015	BKO 2016-2022
Onderzoeksevaluaties	Onderzoeksvisitaties
Validatie Kwaliteitszorgsysteem Onderzoek op hogeschool niveau	Validatie: Optioneel
Landelijke monitor kerngegevens	Landelijke monitor kerngegevens & brancherapportage onderzoek door de Commissie Evaluatie Kwaliteit Onderzoek

Ook in de nieuwe situatie zullen hogescholen elke zes jaar hun onderzoekseenheden evalueren. De naam is veranderd in onderzoeksvisitaties en in plaats van vragen worden er standaarden gehanteerd, de opzet is echter in de basis niet veranderd. Een grote verandering is wel het vervallen van de verplichting om het hogeschoolbrede kwaliteitszorgsysteem onderzoek te laten valideren door de Validatiecommissie Kwaliteitszorg Onderzoek (VKO). Deze commissie wordt opgeheven. De landelijke monitor kerngegevens blijft bestaan, maar is op grond van de ervaringen uit de vorige periode aangepast. Per activiteit beschrijven we de veranderingen.

Onderzoeksvisitaties

De onderzoeksevaluaties uit de afgelopen periode zijn als waardevol element erkend door alle hogescholen en hebben opnieuw een plek in het BKO gevonden, nu onder de naam ‘onderzoeksvisitaties’. Hogescholen stellen zelf een commissie samen met onafhankelijke leden met kennis van het onderzoeksdomein die een zogenoemde ‘onderzoekseenheid’ beoordelen. Een onderzoekseenheid is een onderzoeksgroep, een lectoraat, een cluster van lectoraten of een kenniscentrum. De termen in het nieuwe BKO protocol zijn gelijk getrokken met die van de onderwijsvisitatie.; Een onderzoekseenheid (lectoraat, kenniscentrum) wordt nu beoordeeld op vijf standaarden. Naast de naamgeving zijn er de volgende veranderingen:

• Er zijn vijf standaarden. Nieuw is de standaard kwaliteitszorg (standaard vijf). De methodologische kwaliteit is als aparte standaard opgenomen omdat deze niet altijd voldoende aandacht kreeg in de vorige periode. De commissie geeft een oordeel over de kwaliteit per standaard met behulp van een vierpuntschaal (excellent, goed, voldoende, onvoldoende) en voor standaard vijf met behulp van een tweepuntschaal (voldoende, onvoldoende). In het vorige protocol volstond een kwalitatief oordeel.
• De commissie evalueert de onderzoekseenheid aan de hand van de normen die de hogeschool/onderzoekseenheid voor een standaard hanteert. Wel dienen de commissies tevens aan te sluiten bij de normen die in het vakgebied/werkveld leven. (Ook het Standard Evaluation Protocol dat het wo voor onderzoekvisitaties hanteert, combineert de in het vakgebied geldende standaarden met de doelen/ambities van de onderzoekseenheid.)
• In de kritische reflectie dient ingegaan te worden op verbetermaatregelen die genomen zijn naar aanleiding van de vorige visitatie;
• Er dient een aselecte steekproef uit het werk van de lectoraten genomen te worden. Een steekproef was voorheen niet verplicht.
• Elke onderzoekseenheid dient een eigen,  geëxpliciteerde standaard te hebben voor de methodologie van het onderzoek inclusief de ethische aspecten en moet aantonen dat deze toegepast wordt. De eigen standaard kan aansluiten op algemene, nationale of hogeschoolbrede standaarden.
• In de kwaliteitszorg dienen er in de nieuwe situatie landelijk voorgeschreven indicatoren gebruikt te worden voor de randvoorwaarden (input) en voor de directe resultaten van de onderzoekseenheid op de drie resultaatgebieden (onderwijs, werkveld, kennisontwikkeling) aan onderwijs of publicaties.
• Indicatoren die betrekking hebben op gebruik & waardering van de resultaten zijn niet landelijk voorgeschreven. Deze keuze-indicatoren moeten echter wel worden vastgelegd door de hogeschool, eventueel per vakgebied.
• Naar verwachting zullen visitaties zich meer dan voorheen richten op de resultaten van de onderzoekeenheden en de impact daarvan. Is er sprake van impact (invloed) op het onderwijs, het werkveld en gebruiken andere onderzoekers de nieuw ontwikkelde kennis en inzichten in hun onderzoek?

Validatie kwaliteitszorg onderzoek

De verschillende visies op de waarde van de validatie van de kwaliteitszorg onderzoek op hogeschoolniveau (die voorheen door de landelijk ingestelde VKO commissie werd uitgevoerd) hebben veel stof doen opwaaien tijdens de totstandkoming van het protocol. Uiteindelijk is dit onderdeel vervallen en dat heeft zowel voor- als nadelen. Een voordeel is dat de hogeschool nu zelf kan besluiten dit onderdeel wel of niet toe te passen. Vooral kleine hogescholen vonden de belasting te hoog. Het verdwijnen van de verplichte validatie heeft ook nadelen. Wat als de onderzoeksvisitaties niet goed worden uitgevoerd of niet leiden tot een adequaat verbeterbeleid? Wie spreekt de hogeschool hier dan op aan?  Deels is hiervoor een oplossing gezocht door de Commissie Evaluatie Kwaliteit Onderzoek te installeren vanuit de Vereniging Hogescholen. Deze commissie zal monitoren of de onderzoeksvisitaties in het algemeen goed worden uitgevoerd. Verder wordt van de hogeschool een bestuurlijke reactie gevraagd na elke onderzoeksvisitatie waarin zij concrete stappen beschrijft die worden genomen naar aanleiding van de oordelen en aanbevelingen van de commissie.

Landelijke monitoring

De derde activiteit – de landelijke monitor kerngegevens - blijft bestaan, maar is op grond van de ervaringen uit de vorige periode aangepast. Een aantal indicatoren is verwijderd omdat ze niet voldoende betrouwbaar waren. Nieuw zijn ook de jaarlijks branche-rapportages door de nieuw ingestelde Commissie Evaluatie Kwaliteit Onderzoek, waarin de ontwikkeling van het praktijkgerichte (hbo) onderzoek in Nederland in kaart wordt gebracht.

Checklist voor kwaliteitszorg onderzoek

Een nieuwe periode gaat in voor het praktijkgerichte onderzoek en de kwaliteitszorg. Het is de tijd om de kwaliteitszorg onderzoek een beknopte 'APK' te geven en om te bepalen hoe uw hogeschool het nieuwe protocol gaat implementeren.

• welke doelen en normen streven hogeschool en onderzoekseenheden vooral na?
• voldoen de indicatoren die de hogeschool en onderzoekseenheden op dit moment hanteren aan het nieuwe protocol?
• krijgt impact voldoende aandacht in het onderzoeksbeleid en in de kwaliteitszorg?
• zijn de onderzoeksvisitaties voor de komende zes jaar evenwichtig gepland?
• is een externe validatie van de kwaliteitszorg onderzoek zinvol voor onze hogeschool?
• zijn de onderzoeksmethodologie en ethische standaarden geëxpliciteerd en geïnternaliseerd door de onderzoekseenheden?
• hoe gaat de hogeschool oefenen met het nieuwe protocol en wanneer is de definitieve invoering (uiterlijk augustus 2017)? Zijn de diverse protocollen voor de onderzoeksvisitatie en voor het verzamelen van data (indicatoren) aangepast aan het nieuwe BKO?

Meer algemeen

• wat betekenen deze veranderingen voor uw hogeschool?
• hoe kan uw beleid leiden tot hogere opbrengsten en impact van onderzoek?
• hoe kan de kwaliteitszorg hieraan bijdragen en goede feed-forward geven?
• wat is een optimale inrichting van uw kwaliteitszorgsysteem of onderzoeksvisitatie?
• hoe krijgt u zicht op de factoren die het succes van het praktijkgerichte onderzoek bepalen?

Het nieuwe BKO – met zijn voor- en nadelen – kunt u benutten om uw onderzoek en de impact ervan op een hoger niveau te brengen. Hobéon heeft de afgelopen jaren bij meerdere instellingen bijgedragen aan de doorontwikkeling van de kwaliteitszorgonderzoek en heeft – mede door de visitaties van vele tientallen kenniscentra en lectoraten – zicht op – de succes- en faalfactoren.  

 

Heeft u vragen over of naar aanleiding van deze bijdrage? 

Voor meer informatie mailt u onze senior adviseurs Remke Klapwijk, Wes Wierda of Fred de Bruijn.  U kunt uiterard ook bellen naar (070) 30 66 800.

De auteur, Remke Klapwijk, is senior adviseur bij Hobéon op het gebied van praktijkgericht onderzoek. Zij is  tevens onderzoeker aan de TU Delft waar zij verantwoordelijk is voor het NRO/NWO project 'Co-design with kids'.