I love ketenkracht

Ketenkracht is de daadkracht die je als opleidingsinstituut samen genereert door je gezamenlijk verantwoordelijk te voelen voor de kwaliteit van onderwijs. Inspiratie en motivatie zijn hierbij de drijvende factoren. Het tegenovergestelde is wanneer er binnen een instituut sprake is van een hiërarchische rol en taakverdeling. Iedereen voelt zich alleen verantwoordelijk voor zijn eigen stukje, en ziet de keten niet. Irritatie en onbegrip zijn hierbij de belemmerende factoren. Ketenkracht is voor mij de basis voor een professioneel samenwerken waarin een ieder beseft dat je elkaar kunt versterken door elkaar te willen begrijpen, door te willen leren en te willen delen.

Een mooi voorbeeld van ketenkracht

Het beoordelen van competenties in de eindstage van een HBO opleiding is een uitdaging voor iedere opleiding. Hoe zorg je ervoor dat je aantoont dat het eindniveau wordt gerealiseerd en de beoordeling valide, betrouwbaar en transparant is?

De verantwoordelijkheid voor de kwaliteit van de toetsing ligt bij de examencommissie, die moet kunnen vertrouwen op de deskundigheid van de docenten die de toetsen ontwikkelen. Door regelmatig peilingen te doen, kan de examencommissie de kwaliteit beoordelen en aan de hand van de bevindingen aanbevelingen doen om de kwaliteit verder te verbeteren. De examencommissie, die de toetsinstrumenten en toetsproducten van de eindstage van het HBO instituut beoordeelde, kwam bij een peiling van de exameninstrumenten en examenproducten tot de volgende observaties:

• Beoordelingen zijn niet altijd op het ‘doen’ of ‘does’ niveau (= het niveau waarop studenten competent gedrag laten zien in de complexe beroepspraktijk)

• Er wordt beoordeeld door praktijkbegeleiders/-examinatoren die niet altijd geschoold zijn.
• Het eindoordeel van een stage is aan de opleiding waarbij ‘geleund’ wordt op het oordeel van de praktijkopleider
• Er zijn begeleiders die tegelijkertijd ook beoordelaars zijn van dezelfde student.
• Soms is er weinig variatie in complexiteit en zelfstandigheid als er op één praktijkplek beoordeeld wordt

Nu had de examencommissie deze observaties terug kunnen rapporteren met de mededeling dat dit verbeterd moet worden. Deze examencommissie heeft daar niet voor gekozen. Zij kiest voor ketenkracht door middel van een terugkoppeling in de vorm van een waarderend gesprek. Een gesprek waarin niet alleen de observaties maar ook good practices van andere opleidingen en tips worden gegeven om te kwaliteit van de toetsing te verbeteren.

Dit betekende dat de examencommissie zich vóór de terugkoppeling  zelf verdiept heeft in de problematiek en samen gezocht heeft naar antwoorden op de volgende vragen:

• Waarom en wat beoordelen we in de praktijk?
• Hoe borgen we de validiteit van die beoordeling?
  • Wanneer vinden we de toetsing valide?
• Wat maakt een beoordeling betrouwbaar en transparant?
  • Hoe borg je de betrouwbaarheid van het eindoordeel?
• Hoe kunnen we met onze nieuwe inzichten de docenten helpen de kwaliteit van de toetsing te verbeteren?

Uit een SKE training (2015, Cees van der Vleuten) werden de volgende inzichten gegenereerd:

Op het does niveau:

• zijn geen standaard toetsen of toetsmomenten maar veel verschillende beoordelingen door verschillende experts in verschillende situaties.
• wordt in situaties die zich voordoen geobserveerd hoe de student handelt. Achteraf wordt de complexiteit van de context, mate van zelfstandigheid, en het niveau van handelen gewaardeerd
• zijn beoordelingen van dagelijks handelen subjectief van aard (beoordelingsfouten). Veel beoordelingen geven een betrouwbaar beeld. Hierbij is het belangrijk dat beoordelaars zijn getraind om te beoordelen

Inzichten over validiteit

Voor de top van de piramide is observatie nodig en expert-oordelen. Een voorbeeld hiervan zijn bijvoorbeeld korte klinische beoordelingen (KKB) en praktijk video observaties. Er zijn ‘veel’ observaties nodig in verschillende situaties door verschillende experts.

Inzichten over betrouwbaarheid

Acceptabele betrouwbaarheid wordt slechts bereikt bij een grote steekproef aan toetselementen en beoordelaars.

Geen enkele toetsmethode is inherent beter dan een andere (ook de nieuwere niet!)

Objectiviteit is NIET gelijk aan betrouwbaarheid

Vele onafhankelijke subjectieve oordelen maken een objectief oordeel.

En we weten uit onderzoek dat de betrouwbaarheid toeneemt als de toetstijd ook toeneemt.

Conclusie: dit betekent dat opleidingen het volgende aan kunnen tonen:

• Toetsing is op het juiste niveau (does; observaties in de praktijk)
• Validiteit; verschillende beoordelingen, van verschillende onafhankelijke expertbeoordelaars in verschillende situaties
• Betrouwbaarheid; de eindbeoordeling is gebaseerd op voldoende beoordelingen

Op dit moment is de examencommissie de terugkoppelgesprekken aan het voorbereiden. Daarnaast willen ze de opleidingen een scholing aanbieden over deze materie, in samenwerken met de toetsexperts van de opleiding (toetscommissie).En dat noem ik nou ketenkracht!

Als extern lid van deze examencommissie heb ik dit aan den lijve ervaren. Wat een energie-gevende leermomenten! Ik hoop dat deze blog een inspiratie mag zijn om meer ketenkracht te genereren!

Literatuur

Cees van der Vleuten, 2015. Een programmatische aanpak van toetsing (PowerPointpresentatie)

Werkgroep toetsing Huisartsopleiding Nederland. Landelijke toetsplan januari 2011.