Inhoud
Toetscyclus: checklist voor examinatoren
De toetscyclus beschrijft de stappen die gezet moeten worden om tot een betrouwbare en valide toetsing van een vak te komen. Aan de hand van deze toetscyclus is door de toetscommissie een checklist gemaakt voor de docenten van FHTL die examinator zijn voor een vak: wat doe je per fase en welke ondersteuning kun je daarbij inschakelen?
1. Ontwerpen van de toets
In deze fase maak je keuzes over de manier van toetsen in je cursus, die resulteren in een betrouwbaar en valide toetsontwerp. Daarbij zijn de volgende zaken van belang:
- kijk goed naar de inhoud van je leerdoelen, het niveau (uit de taxonomie van Bloom) waarop deze zijn geformuleerd en het gewicht dat ze hebben: stem hier je toetsing op af;
- kies toetsvormen die passen bij de leerdoelen en bij de inhoud van je onderwijs;
- denk na over zowel formatieve toetsing als summatieve toetsing in je cursus;
- zorg dat studenten voorafgaand aan de cursus precies op de hoogte zijn over wat ze aan toetsing kunnen verwachten.
Hulp nodig?
De toetscommissie kan desgevraagd feedback geven op je toetsontwerp en meedenken en adviseren over de inhoud. De toetscommissie zal tevens actief steekproefsgewijs de kwaliteit van toetsontwerpen beoordelen en vervolgens zo nodig feedforward geven.
2. Construeren van de toets
In deze fase ga je de inhoud van de toetsen ontwikkelen. Per toets maak je een toetsmatrijs die laat zien dat de inhoud van de toets aansluit bij de leerdoelen. Ook werk je in deze fase de normering uit. Let hierbij op de volgende zaken:
- gebruik de toetsmatrijs als hulpmiddel om te bepalen of je daadwerkelijk alle leerdoelen toetst op het juiste niveau en met het juiste gewicht;
- formuleer opdrachten en toetsvragen die voor één uitleg vatbaar zijn;
- vraag altijd feedback op je toetsen van minimaal één collega;
- maak voor iedere toets een beoordelingsinstrument: zoals een rubric (voor een werkstuk of presentatie) of een antwoordmodel (voor een tentamen) met uitwerking van het goede antwoord, relevante termen en puntenverdeling.
Hulp nodig?
Er komt veel kijken bij het construeren van een goede toets en er is dan ook veel informatie beschikbaar over hoe je dit kunt doen. De toetscommissie kan je helpen bij vragen en je verwijzen naar relevante informatie. Tevens zal de toetscommissie steekproefsgewijs de kwaliteit van toetsen beoordelen voorafgaand aan de afname van de toetsing en vervolgens zo nodig feedforward geven.
3. Afnemen van de toets
Afnemen van geroosterde schriftelijke toetsen
In deze fase wordt de toets afgenomen. Hierbij zijn de volgende zaken van belang, die het bedrijfsbureau uitvoert:
- controleer of helder naar studenten is gecommuniceerd waar en wanneer de toets wordt afgenomen;
- waarborg door goede surveillance dat iedere student zelf zonder ongeoorloofde hulpmiddelen de toets maakt;
- zorg voor goede condities bij de afname van de toets.
Afnemen van schriftelijke toetsen als werkstukken etc
Deze worden als opdracht klaargezet in Canvas. Daarbij zijn de volgende zaken van belang:
- Is de opdracht goed te vinden?
- Heb je zowel de tentamenopdracht als de hertentamenopdracht goed ingericht
- Heb je bij beide een rubriek beoordelingsinstrument gekoppeld
- Zijn inleverdatum, deadline, en beschikbaarheid goed ingesteld
Hulp nodig?
Het bedrijfsbureau kan ondersteunen bij communicatie en roostering van ruimtes, printen van tentamens e.d.
4. Nakijken en beoordelen van de toets
Bij het nakijken en beoordelen van de toets, gebruik je een in fase 2 ontworpen antwoordmodel of rubric. Denk bij het nakijken aan de volgende punten:
- evalueer je antwoordmodel na het nakijken van enkele toetsen en optimaliseer en preciseer dit waar nodig: doel is een betrouwbare toetsing waarbij iedere toets op dezelfde manier beoordeeld wordt;
- wees je bewust van valkuilen die je objectiviteit kunnen beïnvloeden en probeer deze te vermijden door bijvoorbeeld: anoniem te beoordelen, een collega na te laten kijken en/of de volgorde van nakijken af te wisselen.
- overweeg bij een cijfer tussen de 5 en 6 (rond de zak/slaag-grens) om een collega mee te laten kijken als tweede beoordelaar om te betrouwbaarheid van de beoordeling te vergroten.
- wees alert op fraude en plagiaat en meld vermoedens hiervan bij de examencommissie.
Hulp nodig?
Loop je tegen problemen aan bij het beoordelen van een toets? Of wil je ondersteuning bij het optimaliseren van je rubric of antwoordmodel? De toetscommissie kan je adviseren. Bij plagiaat of fraude schakel je altijd direct de examencommissie in.
5. Analyseren van de toets
In deze fase analyseer je de toets. Met de kleine aantallen studenten in de opleidingen bij FHTL is een statistische analyse niet goed mogelijk, maar toch zijn er een aantal dingen die je wel kunt doen:
- bepaal of er onderdelen zijn die van onvoldoende kwaliteit zijn, zoals vragen die te makkelijk, te moeilijk of ambigu zijn. Overweeg om deze vragen buiten beschouwing te laten in de beoordeling.
- als er bij een toets twee of meer beoordelaren onafhankelijk van elkaar beoordelen, of er op een betrouwbare manier is beoordeeld, bijvoorbeeld door steekproefsgewijs enkele toetsen te herbeoordelen.
- bekijk het percentage geslaagde studenten. In de propedeuse zal dit percentage lager liggen dan in de hogere jaren wanneer de selectie van studenten heeft plaatsgevonden. Een hoger dan verwacht percentage onvoldoendes kan wijzen op tekortkomingen in het onderwijs, een toetsvorm van onvoldoende kwaliteit en/of onvoldoende inspanning van studenten. Schakel bij een percentage dat afwijkt van wat je verwacht de toetscommissie in om mee te kijken naar mogelijke oorzaken.
- in sommige gevallen is het raadzaam de vooraf vastgestelde cesuur te herzien. Doe dit in samenspraak met de toetscommissie.
Hulp nodig?
Als je het lastig vindt om je eigen toetsing kritisch te analyseren, kun je hulp inroepen van de toetscommissie. Ook bij vragen of twijfels die voortkomen uit de analyse kun je de toetscommissie inschakelen.
6. Rapporteren resultaten
In deze fase rapporteer je de resultaten aan de studenten. Houd hierbij rekening met de volgende punten:
- houd je aan de vastgestelde nakijktermijn en wijze van publiceren;
- zorg dat je het cijfer goed kunt onderbouwen en verantwoorden naar studenten;
- organiseer een inzagemoment;
- organiseer het hertentamen (waarvan eerder al de datum en vorm naar studenten gecommuniceerd is en waarvoor opnieuw de hele toetscyclus doorlopen wordt).
Hulp nodig?
De toetscommissie adviseert graag bij vragen die je hebt over deze fase.
7. Toetsproces evalueren
In deze fase blik je terug op het gehele toetsproces: wat is goed gegaan en wat kan beter? Loop alle fasen nog eens langs en beantwoord voor jezelf de vraag of er voor een volgende keer zaken aangepast moeten worden.
Hulp nodig?
De toetscommissie kan desgevraagd feedback geven op je toetsontwerp en meedenken en adviseren over de inhoud. De toetscommissie zal tevens actief steekproefsgewijs de kwaliteit van toetsontwerpen beoordelen en vervolgens zo nodig feedforward geven.