Modereren: een techniek voor het eenduidig interpreteren van beoordelingscriteria

Over modereren: een techniek voor het eenduidig interpreteren van beoordelingscriteria.

In dit Dekkersbericht maakt u kennis met een techniek voor het voeren van een professioneel gesprek tussen beoordelaars om te komen tot eenduidige interpretatie van beoordelingscriteria bij toetsen of assessments.  De techniek heb ik in meerdere situaties met onderwijsteams toegepast. En het werkt. Voordat ik over ga tot het waarom en hoe, eerst een aantal reacties van beoordelaars voor en na het toepassen van de techniek:

Voor:

• “Wij beoordelen al jaren samen, dus we weten precies wat we bedoelen.”
• “Wat we moeten beoordelen staat omschreven in het competentieprofiel, en als je dat toepast dan zitten we wel op het goede spoor.”
• “Je weet als professional met jarenlange ervaring precies waar je op moet letten.”
• “Als team hebben wij regelmatig gesprekken over onze beoordelingen, zowel voor als na de assessments. Als het nodig is, stellen we de beoordelingslijsten bij.”

En na:

• “Aanvankelijk dacht ik wat is dit voor een truc, maar jeetje wat haal je hier nog veel uit”.
• “We werken al jaren met deze criteria, en we hebben het er nooit over. Je merkt dat je het toch allemaal net iets anders ziet. Ik moet er niet aan denken wat er hierdoor al gebeurd kan zijn. Gelukkig zijn er nog geen klachten geweest.”
• “Ook al nemen wij dit mee in onze teambesprekingen, ik kom erachter dat we eigenlijk nooit goed naar elkaar luisteren en dat we vooral proberen elkaar te overtuigen.”
• “Ik neem dit meteen mee als suggestie om met het team het nieuwe kwalificatiedossier te vertalen naar inhoud.”

Een korte inleiding.

Eén van de succesfactoren voor een betrouwbare en valide beoordeling van competent gedrag van studenten is de deskundigheid van de beoordelaars. Natuurlijk, de kwaliteit van de toetsinstrumenten, de procedures eromheen en de omstandigheden waarin zijn evenzo belangrijk. Echter, zonder bekwame beoordelaars hebben studenten geen eerlijke kans hun bekwaamheid te bewijzen. Het belang van deskundige beoordelaars is ondertussen goed doorgedrongen in onderwijsland, al dan niet geïnspireerd door de verantwoordingsverplichting binnen Inspectie- of NVAO-kaders. Wij zien het ook terug in de trainingen of adviezen die we mogen geven in zowel MBO als HBO.

Maar daar is ook nog iets anders aan de hand. In onze trainingen of adviestrajecten zie ik een verschuiving in behoefte bij de beoordelaars. Ik merk dat het bij deelnemers niet meer alleen gaat om het inzicht krijgen in kwaliteitseisen als betrouwbaarheid en validiteit, of in het goed hanteren van de toetsmaterialen zoals die zijn ontwikkeld of ingekocht, of het doorgronden van de opzet van de examinering binnen de organisatie. Wat ik steeds vaker in onze trainingspraktijk terug zie, is het werkelijke besef van beoordelaars dat zij zélf dé kritische succesfactor zijn voor een transparante, eerlijke beoordeling van studenten. Dat zij hun routines en professionaliteit niet meer zo maar voor lief nemen. En: dat de kwaliteit van de beoordelingen nadrukkelijk een teamaangelegenheid is.

Het gaat veel vaker over sámen optrekken in een eerlijke, transparante beoordeling van studenten. Om die studenten een eerlijke kans te geven zich te ontwikkelen. En dit geldt bij zowel examinering als bij vaardigheidstoetsen in het eerste leerjaar.

Deze behoefte gaat over het ontwikkelen van intersubjectiviteit. Intersubjectiviteit is de overeenstemming tussen de oordelen van de verschillende beoordelaars die met dezelfde beoordelingsindicatoren hetzelfde individu beoordelen. Aandacht voor intersubjectiviteit is belangrijk om met elkaar consistent te beoordelen. Want je moet er toch niet aan denken dat kandidaat x met zijn praktijkproeve bij jou geslaagd zou zijn, en bij je collega niet. Vanwege het simpele feit dat jullie de beoordelingscriteria anders interpreteren en het gedrag van de kandidaat dus ook anders waarnemen.

Hoe werk je nou aan die intersubjectiviteit? In eerdere Dekkersberichten hebben mijn collega’s beschreven dat procedureel werken (bijvoorbeeld volgens de OWACKERmethode) en de juiste gesprektechnieken (bv criteriumgericht interview) goede manieren zijn om met mede-beoordelaars op één lijn te komen. Dat zijn methodieken die je kunt toepassen gedurende een assessment of assessmentperiode.

Naast bovenstaande methodieken kun je ook ‘aan de voorkant’ werken aan intersubjectiviteit tussen beoordelaars. Intersubjectiviteit wordt bevorderd door:

–         Eenduidige beoordelings-criteria en -indicatoren;

–         De mate waarin beoordelaars zélf ervaring hebben opgedaan met die criteria en indicatoren;

–         De intensiteit en frequentie waarmee beoordelaars hun interpretaties op elkaar afstemmen.

Bij het ontwikkelen, bijstellen of hanteren van beoordelingscriteria streven constructeurs naar een zo eenduidig mogelijk beschrijving. De ervaring leert dat er dan nog altijd ruimte voor interpretatie is. Immers alle waarnemingen zijn subjectief.

Een voorbeeld:

In het beoordelingsmodel van een performance assessment staat: “De cliënt wordt correct bejegend”. Indicatoren geven aan: ‘cliënt wordt met u aangesproken, er is oogcontact, stelt cliënt op zijn gemak, etc..” Tijdens het assessment kijkt de kandidaat de cliënt voortdurend aan, hij zegt u en geeft koffie en stelt met geruststellende gebaren de cliënt op haar gemak. Alle indicatoren kunnen positief worden afgevinkt, maar toch…. Jij vindt als ervaren professional dat dit geen correct bejegening is. Dus je geeft toch een onvoldoende voor dit onderdeel. Je twijfelt… hoe zou je collega dit doen?

Hieronder beschrijf ik de techniek van modereren. Deze techniek leidt tot een gezamenlijke en eenduidige interpretatie van beoordelingscriteria en indicatoren. De techniek kan zowel vooraf als na een assessment (met behulp van eerdere beoordelingen) worden toegepast. Ook in de constructiefase van beoordelingscriteria voor assessments of vaardigheidstoetsen is deze techniek een middel om te komen tot een gedragen, eenduidige set beoordelingscriteria. Modereren werkt als volgt:

Naast de 5 regels voor een goede dialoog (zie beeld hiernaast) zijn een aantal specifieke spelregels bij het modereren van toepassing:

–          Iedereen heeft gelijk en komt direct aan bod.                                              

–          Wij moderatoren zijn bereid ons eigen handelen en
interpretaties ter discussie te stellen.

–          Wij moderatoren luisteren, vinden niks en zijn
nieuwsgierig naar elkaars visie.

–          Discussie is prima, besluiten worden genomen op
basis van de meerderheid.

Een belangrijk ervaringspunt hierbij is de notulist: alleen de notulist schrijft. Datgene wat door de notulist is opgeschreven, wordt gehanteerd bij het assessment. Trap niet in de valkuil om ieder voor zich aantekeningen te maken en die te gebruiken. Wat je zelf opschrijft is namelijk weer subjectief.

Wat een technische benadering denkt u wellicht, het gaat toch om het professionele gesprek?

Ja daar gaat het inderdaad om. Een professioneel gesprek. De ervaring leert, en misschien herkent u dit, dat door betrokkenheid op kwaliteit en inhoud, een bespreking verzandt en dat u bij de beoordeling alsnog in hetzelfde moeras stapt. Het systematisch toepassen van deze techniek resulteert in een efficiënte bespreking. Met als resultaat het afstemmen én vastleggen van elkaars beelden en interpretaties. Door te modereren bouw je aan het vertrouwen op de kwaliteit van het eigen oordeel én dat van het gezamenlijk oordeel. Dat maakt uw beoordeling professioneel. En dat verdient elke student.