In 2010 ontstond in Nederland ongerustheid over de kwaliteit van de hbo-diploma’s. Deze commotie ontstond toen de Onderwijsinspectie bij een aantal opleidingen incidenten met afwijkende afstudeertrajecten signaleerde. Hoewel bleek dat dit geen hbo-breed probleem was, ontstond het beeld dat de waarde van de hbo-diploma’s weleens minder kon zijn dan waar eerder vanuit werd gegaan. Naar aanleiding van deze ontwikkeling ontstonden er bij sommige opleidingen strikte criteria en procedures. Misschien herken je het gevoel dat de eindbeoordeling binnen jouw opleiding helemaal is ‘dichtgetimmerd’? En hoewel je dit waarschijnlijk graag anders ziet, is het zoeken naar een balans soms lastig. In deze blog geef ik, vanuit de resultaten uit mijn afstudeerthesis, tips hoe je als opleiding kan zoeken naar deze balans.
Om te kunnen vertrouwen op het ‘timmersmanoog’ van de beoordelaar, wordt steeds meer waarde gehecht aan de bekwaamheid van examinatoren. Terecht, want doordat zij eindwerkstukken en assessments mogen beoordelen zijn zij van grote invloed op het eindniveau waarop een student afstudeert. Om te zorgen voor een eerlijke en transparante beoordeling, zie je dat steeds meer opleidingen een beleid stimuleren waarbij examinatoren niet meer individueel, maar sámen verantwoordelijk zijn voor een eerlijke en transparante beoordeling van studenten. In mijn afstudeerthesis van de master Onderwijskunde heb ik gekeken welke leerprocessen in teams de kwaliteit van de examens het beste borgen. Gaat het om de kwaliteit van de inhoudelijke debatten? De wijze waarop informatie met andere opleidingen wordt gedeeld? De mate waarin er heldere doelen worden gesteld of zijn er andere doorslaggevende teamleerprocessen van belang bij het verbeteren van de examenkwaliteit?
Middels vragenlijsten en verdiepende interviews hebben 35 examinatoren van 11 Saxion-opleidingen aangegeven hoe de samenwerking tussen examinatoren in hun opleiding verloopt. In mijn literatuurstudie heb ik onderscheid gemaakt in drie voorspellende factoren: teamreflectie, teamactiviteiten (waaronder plannen, feedback, grensoverschrijdende communicatie en experimenteren) en borgen (zie figuur 1).
Figuur 1. Integratief model voor continue kwaliteitsverbetering van de examenkwaliteit gebaseerd op het model van Decuyper et al. (2010).
In deze studie zijn na de analyse, anders dan in de tot nu toe bekende literatuur, de vier factoren teamreflectie, doelgericht werken, grensoverschrijdende communicatie en borgen onderscheiden. Deze zijn gebruikt in deze studie. Aan de hand van deze data werd onderzocht welke teamleerprocessen bepalend zijn voor de kwaliteit van de examens.
Met name teamreflectie bleek van invloed op de examenkwaliteit. Het beoordelen van het eindniveau is namelijk nog niet gestandaardiseerd, waardoor teams moeten nadenken over hoe zij de eindkwalificaties van de opleiding willen toetsen en beoordelen. Teams hebben hierbij enerzijds veel keuzevrijheid, maar moeten wel voldoen aan de eisen van het afstudeerniveau. Door de paradigmashift van individuele verantwoordelijkheid naar gedeelde verantwoordelijkheid voelen examinatoren de noodzaak om met elkaar hierover te reflecteren. Voor de kwaliteit van de examens is het daarbij belangrijk dat er zowel wordt gereflecteerd op de inhoud van de taken, op de processen als op de perspectieven van de teamleden. Als het gaat over het beoordelen van assessments is het belangrijk dat interpretaties op elkaar worden afgestemd en vastgelegd. Deze afstemmomenten heb je nodig voor de kwaliteit van het gezamenlijk oordeel. Marion van Neerven heeft eerder een blog geschreven over hoe je in een professioneel gesprek tussen beoordelaars komt tot een eenduidige interpretatie van beoordelingscriteria. Door deze gesprekken leren beoordelaars steeds meer te vertrouwen op hun eigen vermogen tot oordelen, waardoor zij steeds minder afhankelijk worden van een gedetailleerde uitwerking van de beoordelingscriteria. Daarnaast is het ook belangrijk om te reflecteren op de wijze waarop rollen op elkaar zijn afgestemd en werkprocessen worden uitgevoerd.
Aangeraden wordt om het belang van teamreflectie in de opleiding te benadrukken en hier systematisch tijd in te investeren. Door deze tijdinvestering ontstaat er gezamenlijk beeld hoe examenkwaliteit moet worden gewaarborgd. Volgens de geïnterviewden uit mijn onderzoek heeft het tijd nodig om gezamenlijke een cultuur te creëren waarin het vanzelfsprekend is dat teamleden elkaar aanspreken en kritisch naar elkaar toe zijn. Systematisch voldoende tijd vrijmaken voor het investeren in reflectie en het voeren van een open dialoog is essentieel om te groeien naar een gezamenlijke en lerende cultuur.
De relatie tussen de overige teamprocessen en de kwaliteit van de examens kwam in dit onderzoek minder duidelijk naar voren. Het volledige onderzoeksrapport vindt u hier
Spreekt dit verhaal je aan?
Wij geven training en advies op het gebied van toetsontwikkeling en toets kwaliteit (zie bijvoorbeeld onze trainingen in het mbo en hbo). Ook de inspectie is te spreken over onze aanpak. Naar aanleiding van onze workshop gaven zij aan dat zij erg te spreken zijn over de wijze waarop wij vanuit Onderwijsadviesbureau Dekkers toetsing en examinering vertalen naar de onderwijspraktijk: verantwoorde keuzes maken op basis van de kwaliteitseisen validiteit, betrouwbaarheid en transparantie en daar als opleiding voorstaan en eigenaarschap pakken. Voor meer informatie, kijk op onze website of neem contact met ons op. Reacties zijn uiteraard welkom in onderstaand reactieveld.
Literatuur
Decuyper, S., Dochy, F., & Van den Bossche, P. (2010). Grasping the dynamic complexity of team learning: An integrative model for effective team learning in organisations. Educational Research Review, 5(2), 111-133. doi: 10.1016/j.edurev.2010.02.002