Een kalibratiesessie is een sterk middel om de betrouwbaarheid van een beslissing te vergroten. In een gezamenlijke bijeenkomst bespreek je ingeleverd werk van studenten. Kalibreren heeft als doel om met elkaar het gesprek te voeren over criteria en de gewenste normen.
Door deze kalibratiesessie:
- ontstaat er een eenduidiger beeld wat er onder de leeruitkomsten/leerdoelen/criteria wordt verstaan;
- verhoog je de interbeoordelaarsbetrouwbaarheid.
Resultaat:
- betrouwbare besluiten
- eenduidigheid richting studenten / iedereen wordt gelijk beoordeeld
Op basis van een kalibratiesessie kun je:
- afspraken maken over de interpretatie van criteria;
- afspraken maken over het proces van beoordelen;
- afspraken maken over de begeleiding;
- documenten of criteria bijstellen.
Werkwijze
Spelregels
- iedereen heeft gelijk
- iedereen komt aan bod
- samen conclusies trekken
- wij beoordelaars vinden niks… wees nieuwsgierig naar elkaar
- discussie is prima maar tot zekere hoogte; het gaat niet om je eigen gelijk maar om het gemeenschappelijk beeld
- doel is verheldering van de criteria/cesuur/het onderwijs etc. en niet het beoordelen van een student
Rollen
- organisator: organiseert de sessie, bijvoorbeeld de coördinator van de module
- deelnemers de examinatoren/beoordelaars van de betreffende module nemen deel. Het is ook interessant om andere stakeholders te betrekken, zoals studenten en het werkveld.
- moderator: de sessie wordt geleid door een moderator. De moderator zorgt dat iedereen aan het woord komt
- tijdbewaker: bewaakt de tijd per criterium
- notulist: verslaglegging kan in de vorm van een toelichting op het beoordelingsmodel per prestatiecriterium. Er kan gewerkt worden met een tabel, zoals deze;
Deze tabel is vooral bedoeld als achtergrondinformatie voor de stakeholders bij de module.
Voorwaarden
- Er is genoeg tijd (minimaal 2,5 uur) en een geschikte ruimte.
Stappen
- Er wordt één portfolio of een ander product waar de kalibratie over gaat beschikbaar gesteld. Aan te raden is om een portfolio/product te reviewen dat niet heel goed of juist heel slecht is beoordeeld. Ook kan worden besloten meerdere werkstukken te reviewen van verschillend niveau. Bij voorkeur zijn de cijfers en studenten nog niet bekend.
- Alle deelnemers reviewen vooraf het eindwerkstuk/het portfolio aan de hand van het beoordelingsmodel en geven een oordeel op basis van de betreffende beoordelingsvoorschriften (onvoldoende, voldoende, goed, cijfer etc.).
- Bij de start van de sessie vraagt de moderator naar het oordeel dat iedere deelnemer heeft gegeven. Zo kan een indruk gekregen worden van de interbeoordelaarsbetrouwbaarheid en de noodzaak van verdere kalibratie.
- Per criterium wordt het oordeel toegelicht. Dit wordt als volgt gedaan:
– eerst wordt het oordeel gevraagd;
– wanneer er verschillen zijn wordt om argumentatie gevraagd;
– de moderator stimuleert de beoordelaars om zoveel mogelijk de woorden van de prestatie-indicatoren bij hun argumentatie te gebruiken. Hierdoor ontstaat er betekenisgeving;
– wordt een conclusie of interpretatie breed gedragen, dan worden deze door de notulist toegevoegd aan het formulier. - Wanneer een criterium volledig is besproken kan de deelnemers worden gevraagd of zij hun oordeel door deze kalibratie is veranderd.
- Stap 4 en 5 worden herhaald totdat alle criteria zijn besproken.
Na afloop stuurt de notulist de toelichting naar alle deelnemers toe.
Tips:
- Stel elkaar de vraag welke observatie tot een oordeel heeft geleid. Bijvoorbeeld ‘wat heb je gelezen waardoor je bent gekomen tot dit oordeel?’ Het blijkt namelijk dat deelnemers soms andere observaties gebruiken voor hun oordeel. .
- Zorg dat de redenering van iedere deelnemer helder wordt. Stel vragen als: wat maakt dat jij dat vindt? Waaruit leid je af dat het niet goed is? Wat versta jij onder…? Wat vind jij goed genoeg?
- Probeer niet altijd te streven naar besluitvorming. Sommige onderwerpen hebben meer tijd nodig of kunnen niet door de groep worden besloten. Parkeer deze indien nodig en maak duidelijk wat je parkeert en wat hiermee wordt gedaan.
- Soms is er ook verwarring over een begrip, zorg ervoor dat de ontwikkelaar van de criteria ook eventueel toelichting kan geven over het model.
- Trek geen conclusies over de beoordeling van het werkstuk/de student, want die doen erin een kalibratiesessie er niet toe. Het gaat om de gezamenlijke, eenduidige interpretatie/afstemming over de criteria.
0 reacties