Het is al weer even geleden dat het HBO werd opgeschrikt door negatieve verhalen over de kwaliteit van hbo-diploma’s. Ook in het mbo zijn opleidingen onder verscherpt toezicht gezet in verband met de kwaliteit van de examinering en dreigden zelfs het recht op examinering te verliezen. Dit heeft ertoe geleid dat veel opleidingen de noodzaak voelen zelf aan de slag te gaan met het beoordelen van de kwaliteit van de toetsing en examinering. Wij worden als onderwijsadviesbureau regelmatig gevraagd om daarbij te helpen.
Het verantwoorden van de kwaliteit van de toetsing en examinering is een uitdaging voor elke opleiding. Formeel is het de taak van de examencommissie om de kwaliteit te verantwoorden. Maar zijn zij ook verantwoordelijk voor het realiseren van die kwaliteit? In de praktijk komt het erop neer dat dit de taak is van de docenten die de toetsen construeren, vaststellen en uitvoeren. Belangrijk is dus dat je als examencommissie kunt vertrouwen op de deskundigheid van de docenten.
Een voorbeeld uit de praktijk
Het management van een hbo opleiding heeft deze vraag letterlijk gesteld aan het docententeam: ‘Wie voelt zich daadwerkelijk toetsdeskundig en kan ons ervan verzekeren dat de kwaliteit van onze toetsing goed is? ‘Want’, zo redeneerden zij, ‘We denken dat we er goed voorstaan, maar weten we dat wel zeker?’
Toen van de 160 docenten slechts een handvol aangaven zich deskundig te voelen, was het voor het management duidelijk dat er geen helder beeld te geven was over hoe goed of slecht de opleiding het deed op het gebied van toetsing. Zij besloot een traject te starten om de kwaliteit van de toetsing zelf te onderzoeken en waar nodig te verbeteren. Dit traject moest ook meteen een toetstraining zijn voor alle docenten, in hun rol en verantwoordelijkheid voor toetsing, bijvoorbeeld als toetsconstructeur, toetsexpert, lid examencommissie of toetscoördinator.
Met de voorzitter van de examencommissie en een toetsexpert uit de opleiding hebben wij, als extern bureau, op basis van de vraag trainingen ontwikkeld (te vergelijken met de eisen die aan een BKE worden gesteld). In die trainingenreeks zijn docenten, in hun rol en verantwoordelijkheid, de toetskwaliteit van een toets of toetsprogramma gaan checken op de kwaliteitseisen validiteit, betrouwbaarheid, impact op het leren, transparantie en haalbaarheid/betaalbaarheid; deze check deden zij op basis van een praktijkonderzoek, waarin de volgende stappen terugkwamen:
- Schets de context / aanleiding voor het onderzoek (dilemma)
- Formuleer een probleemstelling.
- Methode: hoe ga je het aanpakken?
- Specificatietabel toetsprogramma met verantwoording
- Specificatietabel toets met verantwoording
- Toets, beoordelingsformulier, instructie met verantwoording
- Aanvullende analyses naar keuze (kwantitatief / kwalitatief)
- Resultaten
- Conclusie en aanbevelingen (een evaluatieplan voor de toets of de OWE = Kwaliteitscyclus)
Het beoogde resultaat was dat:
– alle docenten betrokken bij toetsing zijn gecertificeerd als toetsdeskundige, tenminste op het niveau van hun betrokkenheid
– Iedere onderwijseenheid een eigen specificatietabel heeft voor het toetsprogramma en
– iedere toets heeft een specificatietabel inclusief beoordelingscriteria
Twee jaar verder, wat zijn de opbrengsten?
We kunnen vaststellen dat het belangrijkste resultaat is dat alle docenten dezelfde taal spreken als het gaat om toetsing. Iedere docent kan in zijn rol en verantwoordelijkheid, onderbouwd met de kwaliteitscriteria, aangeven hoe de kwaliteit van het toetsprogramma of de toets is en wat er moet gebeuren om de kwaliteit te verbeteren.
Het traject heeft ook geresulteerd in een aanscherping van het toetsbeleid, een verbetering van de toetshandleiding, gemaakt op basis van toetsvragen van docenten.
Vragen van docenten hebben er ook weer voor gezorgd dat de toetsexperts in de opleiding zich moesten verdiepen in allerlei lastige kwesties om goed advies te kunnen geven over absolute of relatieve cesuur, aantal toetsvragen, het gebruik van verschillende beoordelingsschalen, trainingen gingen volgen in het uitzoeken van moeilijke kwesties.
En als laatste heeft de examencommissie een goed beeld gekregen van hun rol en een transparante en praktische tool ontworpen om steekproefsgewijs de kwaliteit van de toetsing te checken en aanbevelingen te doen aan de verantwoordelijken.
Conclusie
Iedereen binnen de opleiding is verantwoordelijk voor de kwaliteit van de toetsing; toetsing is teamwerk, iedereen binnen zijn rol en verantwoordelijkheid!
Dit is op Aetheia Educatie herblogd.