Verslag: Digitaal Toetsen: wat is er mogelijk en hoe pak je het aan?

Op 2 november 2016 Organiseerde de themagroep Digitaal Toetsen een bijeenkomst op de Hogeschool Rotterdam. Een record aantal van 120 medewerkers (docenten, ondersteuners en leden van toets- of examencommissies) van de verschillende (e-merge) instellingen had zich aangemeld voor deze bijeenkomst. Waardoor de opzet van de workshops soms wat moest worden aangepast aan het aantal deelnemers. In ieder geval was het de bedoeling om vooral de diepte in te kunnen tijdens de sessies en discussies te hebben over de onderwerpen.

De verslagen van de verschillende parallel sessies zijn hieronder te vinden:

  1. Keynote: Hoe ondersteun je docenten bij het maken van toetsvragen
  2. Toetsen en toetsvragen analyseren
  3. Toetsen met innovatieve vraagtypes
  4. Werken met een itembank met toetsvragen

Hoe ondersteun je docenten bij het maken van toetsvragen?

Silvester Draaijer van de Vrije Universiteit in Amsterdam opende de middag met een presentatie over hoe docenten te ondersteunen bij het maken van toetsvragen. Hierbij een kort verslag.

Er zijn rationale benaderingen over hoe je docenten kunt ondersteunen bij het maken van toetsvragen zoals het gebruik van een toetsmatrijs met de niveaus van Bloom’s taxonomy. Of het gebruik van checklists om te komen tot goede vragen. Van deze checklists is gebleken dat docenten die met zo’n checklist werken, net zulke effectieve vragen maken als docenten die niet zo’n checklist gebruiken.

Wat wel helpt zijn lijstjes met modelvragen om docenten op gang te helpen, vooral voor beginnende docenten werkt dit goed. Ook is het handig als je in vragen variabelen kunt markeren die je steeds zou kunnen veranderen.

Training in het maken van goede vragen is belangrijk. Een loop van instruction-feedback-reinforcement werk goed.

Binnen training voor het maken van toetsvragen zijn de volgende onderdelen van belang:

  • Wat is het doel van de toets?
  • Bespreken format van toetsvragen.
  • Bespreken typische voorbeelden, zowel goede, als minder goede voorbeelden uit het domein van de docent zelf. Als je vragen gebruikt uit een ander domein vraagt het een extra vertaalslag voor de docent naar de eigen situatie en dat is lastig. Daarnaast is het handig als er een systeem wordt opgezet waarin bestaande of al ontwikkelde vragen gemakkelijk geraadpleegd kunnen worden. Er kan ook gebruik gemaakt worden van websites van studeersnel, quizlet, proprofs.
  • Zelf maken van vragen tijdens de training.
  • Beoordelen van vragen van een collega werkt goed als het correcte antwoord niet wordt getoond. Een constructieve houding is van groot belang: geef concrete verbetervoorstellen.
  • Reinforcement kan gedaan worden door een docent een toetshandleiding te laten maken voor zichzelf.

Gebleken is dat goed getrainde toetsenmakers effectiever zijn, maar niet sneller.

Conclusie van de presentatie van Silvester:

  • Goede toetsvragen resulteren in goede toetsen.
  • Toetsvragen maken is mensenwerk.
  • Toetsvragen is een creatieve oplossingstaak.
  • Goede training is belangrijk.
  • Effectieve toetsenvragenmakers zijn effectiever, maar niet sneller.

Silvester presenteerde praktische tips, verwees naar interessante bronnen en waarschuwde voor de nodige valkuilen. Een mooie inleiding om in de aansluitende workshops op terug te komen. De presentatie van Silvester is opgenomen en kan je hier terugvinden. Ook zijn powerpoint is hier beschikbaar: Hoe ondersteun je docenten bij het maken van toetsvragen – Silvester Draaijer.

Na deze plenaire sessie werd de groep opgesplitst in drie groepen. Hieronder per groep een kort verslag:

Toetsen en toetsvragen analyseren

Deze workshop werd verzorgd door Sander Schenk van de Hogeschool Rotterdam.

Als je gebruik maakt van een digitaal toetspakket of je multiple-choice toetsen geautomatiseerd laat nakijken, dan ontvang je het vaak op een presenteerblaadje: een toetsanalyse. Daarop een hele rits getallen, zoals een waarde voor Cronbach’s Alpha voor de hele toets en P en Rit waarden voor de individuele vragen. In deze sessie is Sander Schenk in gegaan op de vraag wat je als docent hebt aan deze toetsanalyse en hoeveel waarde je daar aan toe moet kennen.

De conclusie van Sander is dat de gegevens uit de toetsanalyse bijzonder waardevolle informatie kunnen opleveren maar dat het geen “exacte wetenschap” in de zin dat een toets met een toets met een Cronbach’s Alpha lager dan 0,XX per definitie ongeldig verklaard zou moeten worden. Een en ander heeft ermee te maken dat de berekeningen die in de toetsanalyse gebruikt worden gebaseerd zijn op bijvoorbeeld de aanname dat het kennisniveau wat je wilt meten normaal verdeeld is binnen de populatie. Bovendien moet de steekproef die je neemt voldoende groot zijn. Om die reden zegt een toetsanalyse van een herkansingstoets van 8 “kneusjes” niet zoveel.

De boodschap van Sander is dat iedere docent een basiskennis moeten hebben van de gebruikte technieken binnen toets- en itemanalyse.

Wat iedere docent moet kunnen volgens hem:

  • De kwaliteit van een toets en toetsvragen (items) beoordelen op basis van een toets- en itemanalyse.
  • Acties definiëren die op basis van een toets- en itemanalyse genomen moeten worden.
  • Naar behoefte om ondersteuning vragen bij een toetsdeskundige/psychometrist.

Eerder op de middag had Silvester Draaijer al geconstateerd dat het máken van een (goede) toets een “vak apart” is. De eindconclusie van deze sessie is dat een goede toets- en itemanalyse daar een onlosmakelijk onderdeel van is, en dat er veel meer aandacht zou moeten zijn voor een goede scholing van docenten op dit onderwerp.

Heel veel informatie over dit onderwerp is te vinden in het boek “Toetskwaliteit in de praktijk. Hoe maak ik goede toetsen met gesloten en open vragen?” (ISBN 978-90-816794-2-8) De powerpoint van deze sessie vindt u hier. Toetsen en toetsvragen analyseren – Sander Schenk.

Toetsen met innovatieve vraagtypes

Deze workshop werd verzorgd door Celine Goedee (toetsdeskundige) en Meta Keijzer-de Ruijter (Maple TA expert) beide van de TU Delft.

Inleiding

Het digitale toetsprogramma Maple TA biedt mogelijkheden om te werken met nieuwe vraagtypes, deze sessie ging over de ervaringen van de TU Delft met twee van deze innovatieve vraagtypes.

Onder innovatieve vraagtypes worden andersoortige vragen verstaan dan de standaard types:

  • meerkeuze,
  • juist/ onjuist,
  • numeriek en
  • multiple selectie

Ontwerp

Bij het ontwerp is het belangrijk om te bedenken welke kennis of vaardigheid de student precies moet laten zien. Hierbij moet ook worden rekening gehouden met de voor- en nadelen van een digitale toets.

TU Delft heeft twee vraagtypes onderzocht:

Underpinning:

  • Een hoofdvraag wordt gevolgd door deelvragen. Verschillende denkstappen vanuit de hoofdvraag moeten worden geëxpliciteerd. Door de deelvragen kan een student geholpen worden de hoofdvraag te beantwoorden. Hierdoor wordt gecheckt of de student niet heeft gegokt.

Scaffolding:

  • Hierbij wordt de hoofdvraag alleen gevolgd door deelvragen, wanneer de student de hoofdvraag incorrect heeft beantwoord. Middels de deelvragen kan de student laten zien tot hoe ver hij of zij is gekomen. Indien wenselijk kunnen studenten het correcte antwoord op een (deel)vraag krijgen om zo toch verder te kunnen met de rest van de opgave.

Voordelen:

  • Groot verschil in nakijktijd
  • Directe feedback voor studenten (kan voordeel en nadeel zijn)
  • Studenten worden tijdens de toets op weer op weg geholpen

Nadelen:

  • Kleine spelfouten in een antwoord kunnen er voor zorgen dat het antwoord wordt afgekeurd.
  • Het construeren van een toets kost evenveel tijd
  • De route die een student moet volgen naar het antwoord staat vast (als de vraag eenmaal fout beantwoord is)

Aanbevelingen bij het gebruik van innovatieve vraagtypes

Naar aanleiding van de toetsafname onder 450 studenten en een oefensituatie waarbij 10 studenten hardop dachten, worden de volgende aanbevelingen gedaan:

  • Bereid studenten voor met een oefentoets/ laat studenten weten wat de consequenties zijn van hun acties
  • Te lange inleidingen bij de vraag worden niet gelezen
  • Zorg dat figuren of grafieken goed leesbaar zijn. Lever deze evt aan op papier of zorg dat ze vergroot kunnen worden op het beeldscherm
  • Zorg dat studenten goed oefenen met de wijze (syntax, punt/komma, etc) waarop ze hun antwoord moeten invullen.
  • Hebben studenten een papieren versie nodig om mee te rekenen of op te tekenen?
  • Denk na over waar problemen kunnen komen bij het schrijven (eenheid, decimalen)
  • Denk aan een begrippenlijst of het toestaan van een woordenboek, indien het vak en het tentamen in het Nederlands worden gegeven en het boek/lesmateriaal in het Engels is.
  • Het intypen van formules duurt langer als het digitaal wordt gedaan
  • Als er 2 antwoordvakken zijn om te schrijven in een scherm: licht goed toe welk antwoord in welk vak moet?
  • Geef geen tips onder een antwoordvak, deze wordt te laat of niet gelezen. Zet dit juist boven het antwoordvak.
  • Denk na over het effect van het doorgeven van puntenverdeling binnen een vraag. Werkt dit een toetsstrategie in de hand?
  • Gebruik voldoende witregels en probeer te voorkomen dat de student moet scrollen.

In de gebruikte powerpoint [LINK] zijn meer technische details te vinden over de gebruikte vragen, de samenvatting van het usability onderzoek en de analyse van de resultaten.

De powerpoint van deze sessie vindt u hier: Toetsen met innovatieve vraagtypes – Celine Goedee en Meta Keijzer

Werken met een itembank met toetsvragen

Deze workshop werd verzorgd door Bob Rietbergen (Haagse Hogeschool) en Anne Staring (10voordeLeraar & Hogeschool Leiden).

Toets en leer

  • vijf vakken: bedrijfsadministratie, bedrijfseconomie, marketing, management en recht
  • Ontstaan uit het programma toetsing en toetsgestuurd leren
  • Vijf hogescholen van bedrijfsadministratie en bedrijfseconomie
  • Met behulp van Remindo-toets workflow georganiseerd:
    • Docenten maken vragen
    • Docent van andere hogeschool bekijkt de vragen (4 ogen principe)
    • Explain doet toetstechnische laatste check
  • 000 toetsen gemaakt door 4000 studenten, voornamelijk formatief
  • Wordt zowel formatief als summatief ingezet
  • Opbrengst:
    • Steeds grotere banken
    • Meeste studenten vinden het prettig
    • Docenten waarderen direct inzicht in resultaten
    • Studenten die veel oefnene halen hogre cijfers (maar dat is relatief…)
  • Uitdagingen;
    • Productie van vragen op peil houden
    • Uniformiteit in vragen en feedback bewaken
    • Verbreden van gebruik (kleine kern docenten)
    • Docenten van hogeschool kunnen elkaar vinden
    • Voorbereid zijn op plotselinge snelle groei
  • Meedoen; Bijdrage om jaarlijks 300 vragen per hogeschool aan te leveren, participeren in 4-open principe en kleine bijdrage

4 ogen check

  • Kleine bijdrage

10 voor de leraar

  • Summatieve toets in studiejaar 2 of 3 sinds ‘2013
  • 2 pabovakken en 15 tweedegraadsopleiding
  • Opgezet om kenniscomponenten in lerarenopleiding te versterken
  • Instellingen wilden uitvoering in eigen beheer met onafhankelijk toezicht
  • Kennisbasis (minimaal noodzakelijke kennis voor aankomende docent)
  • Opgedeeld in Domeinen, subdomeinen, topics
  • Toetsmatrijs waarin opdeling is in; kennis – inzicht – toepassing
  • Landelijke kennistoets met meerkeuzevragen en numerieke vragen
  • 2 kansen per studiejaar 1 EC, opgenomen in een landelijke OER

Workflow van vraag tot toets:

  • Redactie; 1 hoofdredacteur, 4 redacteuren: reviewen elkaars vragen
  • Vakcommissie: 1 –2 leden plus 1 externe voorzitter (wetenschapper)
  • Kwaliteitspanellid
  • Taalcorrector
  • Functioneel beheer
  • Van afname naar uitslag:

De powerpoints van deze sessie vindt u hier: Presentatie-toets en leer – Bob Rietbergen en Itembanken bij 10voordeleraar – Anne Staring

Leave a Reply

You can use these HTML tags

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>