Over valkuilen bij het beoordelen
We staan aan de vooravond van een afsluitende toetsperiode. Examinering, toetsen, CGI’s, proeven van bekwaamheid en portfolio’s gaan voorbij komen om beoordeeld te worden. Wellicht dat jij ook als assessor of beoordelaar bent ingeschakeld.
De vraag voor iedere beoordelaar is: hoe zeker weet je dat jouw cijfer zo dicht mogelijk bij de echte prestatie van de student ligt?
Ofwel: Hoe voorkom je beoordelingsfouten, veroorzaakt door jouzelf of door de situatie? In deze blog neem ik je kort mee in 3 beoordelingsvalkuilen en 3 strategieën om deze valkuilen te vermijden.
Stel je het volgende voor. Er bestaat een apparaat dat volledig objectief en met een foutmarge van 0% de prestatie van een student kan beoordelen. De student levert een portfolio in over zijn of haar ontwikkeling als leerkracht basisonderwijs. Vervolgens vindt er een criteriumgericht interview plaats en het apparaat waardeert de prestatie met een 8.3 op een 10-puntsschaal. Geen discussie over mogelijk, 100% betrouwbaar.
Een dergelijk apparaat bestaat natuurlijk niet. Maar je wilt als beoordelaar toch zo dicht mogelijk bij deze absolute waardering in de buurt komen.
We komen hierbij een paar problemen tegen:
- Onze oordelen zijn nooit objectief. Doordat we de student kennen, we al meerdere toetsen beoordeeld hebben, we de lessen gegeven hebben of we ons eigen beeld projecteren op het werk van studenten, wordt ons oordeel over de prestatie beïnvloed. Ook als we studenten beoordelen die we niet begeleid hebben, spelen onze eigen verwachtingen en subjectieve beelden mee in onze uiteindelijke beoordeling.
- Een toets is een momentopname. Schriftelijke toetsen, alle vormen van gesprekken en performance assessments zijn momentopnames waarin de student een prestatie moet leveren. On the spot. De vraag is of de omstandigheden zo zijn dat de student tot de beste prestatie kan komen. De mate van stressbestendigheid is zo’n factor die de prestatie van de student kan beïnvloeden, of bijvoorbeeld technische problemen in Zoom of Teams, de reistijd naar de opleiding etc. Factoren die de score op het meetmoment positief of negatief kunnen beïnvloeden. Situaties kunnen negatieve effecten hebben op de prestatie van de student. Wat ben jij dan aan het beoordelen? Kun jij door de situationele factoren heen kijken en de zuivere prestatie van de student beoordelen? Soms gaan we dan ’troost’punten geven, of juist extra streng beoordelen als je denkt dat de student beter kan.
- De toets is een afgeleide van het echte werk. Dit is de vraag naar de validiteit van de toets. Meten we echt wat we willen meten? In een portfolio zitten wellicht observaties van echte prestaties, video-opnames maar ook reflecties, beoordelingen van collega’s of 360 graden feedback. Zijn reflectieverslagen een goed middel om te beoordelen of een toekomstige leerkracht zicht heeft op de ontwikkelingen in het beroep? En wat betekent dat voor jou als beoordelaar: Beoordeel jij bij een reflectieverslag de echte prestatie, de schrijfvaardigheid, of het reflectievermogen van de student? Of een combinatie van alle 3? Wat was eigenlijk de bedoeling van dat verslag?
Er is, kortom, een aantal factoren die de beoordeling van het werk van studenten moeilijk maakt. Deze factoren hebben betrekking op de kwaliteitseisen van toetsing: validiteit, betrouwbaarheid en transparantie. En niet in de laatste plaats, op ons menselijke, altijd subjectieve beoordelingsvermogen. Wanneer we ons te weinig bewust zijn van de mogelijke beoordelaarseffecten kan het zijn dat we studenten met een goede prestatie toch onvoldoende beoordelen of studenten met een matige prestatie toch diplomeren.
Welke maatregelen kunnen we nemen om negatieve effecten van de beoordelaar te voorkomen:
- Zorg voor intersubjectiviteit door met meerdere beoordelaars te kijken naar de prestatie van je student. Door meerdere persoonlijke oordelen van afzonderlijke beoordelaars is de kans groot dat de fouten elkaar opheffen of compenseren.
- Zorg voor een splitsing tussen beoordelen en beslissen. Voor een belangrijke beslissing (bijvoorbeeld diplomeren) zijn meer beoordelingen nodig dan voor een minder belangrijke beslissing.
- Heb inzicht in je eigen beoordelaarsfouten. Download het bijgevoegde document om jezelf te scoren op 13 belangrijke beoordelaarsfouten.
0 reacties