Verslag bijeenkomst ‘Video als Toetsmiddel’

Op woensdag 20 april j.l. organiseerde themagroep ‘Digitaal Toetsen‘ de  bijeenkomst ‘Video als Toetsmiddel’. De aanmeldingen voor deze bijeenkomst waren dusdanig hoog, dat er een wachtlijst moest worden ingesteld en we hebben inderdaad een aantal mensen moeten teleurstellen. Vanuit alle aangesloten instellingen waren vertegenwoordigers, aanwezig. We waren zeer verheugd te zien dat veel docenten op deze bijeenkomst waren afgekomen.

Deze middag werd een vijftal pitches gepresenteerd, waarin gebruikers de aanwezigen ter inspiratie over hun ervaringen vertelden. Sylvia Moes, Innovation Manager bij de VU, leidde het onderwerp door te vertellen over haar brede ervaring met video in het onderwijs. Halverwege de pitches konden de aanwezigen kiezen voor een intermezzo: bezoek aan TU Delft’s New Media Center of een demo van het programma Train Tool. De middag werd afgesloten met een borrel en de mogelijkheid om aan te geven wat men nog graag zou willen van deze themagroep.

Onderstaand een kort verslag van de verschillende onderdelen van de middag.

Inleiding: Video in het onderwijs

door Sylvia Moes

Hoe kunnen we diverse vormen van videomateriaal inzetten om in verschillende stadia van een cursus kennis te toetsen bij studenten? Sylvia geeft middels een aantal best practices van de VU antwoord op deze vraag. Bij het merendeel van de opdrachten moeten studenten zelf videomateriaal produceren. Het is belangrijk om de studenten uit te leggen waarom zij video moeten gebruiken. De VU gebruikt hiervoor de Mediasite, Kaltura en Powtoon. Een aantal best practices van de VU zijn:

  • Er wordt ingezet op peer-assessment waarbij ook de beoordelaar beoordeeld wordt.
  • Video wordt gebruikt om studenten hun vergaderinstrumentarium en team te laten evalueren.
  • Studenten krijgen bij grotere video producties training in het maken van video, maar voor eenvoudige opnames lukt studenten het vrijwel altijd zelf om de opdracht uit te voeren.

Pitch 1: Gebruik van Kaltura door studenten

Door Ellen Zillig-Straatman

Op de TU Delft wordt gebruik gemaakt van Kaltura, een online tool waarmee je op een eenvoudige manier video’s kunt maken. Kaltura is toegankelijk vanuit Blackboard. Het programma is erg gebruiksvriendelijk en je kunt kiezen uit verschillende opname opties, zoals alleen je hoofd in beeld, hoofd en slides of alleen slides. Kaltura zou op de volgende manieren ingezet kunnen worden voor toetsing:

  • Docent plaatst een video opdracht.
  • Student neemt op via Kaltura en levert video in.
  • Student krijgt feedback van peers.
  • Vervolgens kan de student de video uploaden in het discussion board.

Sinds kort kunnen er binnen Kaltura ook in-video quizzes gemaakt worden. Kaltura kan in verschillende LMS’en geïntegreerd worden.

Pitch 2: Gebruik van video’s voor muziekonderwijs

Door Bert van Uffelen, Hogeschool Rotterdam

Bert gebruikt video’s voor de beoordeling van stage in muziekonderwijs. Via een gewonnen innovatiebudget is hij nu in samenwerking met pitchtopeer bezig met het opzetten van een platform. Pitch2peer voldeed al grotendeels aan de wensen, maar Bert had nog de volgende aanvullende wensen:

  • Mogelijkheid voor annotaties in de video’s.
  • Mogelijkheid tot het plaatsen van symbolen in de video’s.
  • Mogelijkheid tot het maken van timebased opmerkingen.
  • Zoom + slow motion.

Pitch2peer heeft deze wensen gerealiseerd. Er komt nu een testfase aan van vijf weken met twee Pabo-klassen.

Pitch 3: Summatieve toets coachingsvaardigheden binnen opleiding toegepaste psychologie

Door: Roos Bonnier, Hogeschool Leiden

In jaar 2 van de opleiding toegepaste psychologie wordt op Hogeschool Leiden gebruik gemaakt van video om coachingsvaardigheden te beoordelen. Halverwege het vak maken studenten eerst zelf een video van een coachingsgesprek over een vrij eenvoudige coachvraag. Daarna plaatsen ze dit in Office 365. Deze video’s worden vervolgens tijdens de les bekeken en besproken.
Aan het eind van het vak vindt er een eindassessment plaats. Dit bestaat uit een coachingsgesprek van 10 minuten met een trainingsacteur en 3 minuten reflectievragen. Dit eindassessment wordt ook opgenomen. Hierdoor kan de beoordelaar het later nog eens terugkijken en zijn/haar oordeel voorzien van gedegen feedback.

Pitch 4: Gebruik van Peer feedback voor presentatievaardigheden met Pitch2Peer

Door: Pascal Haazebroek – Universiteit Leiden

Pascal stond voor een uitdaging: 100 eerstejaars psychologie-studenten leren presenteren. Maar hoe doe je dat? Als je iedereen wilt laten presenteren ben je weken bezig. En hoe geef je goede feedback als de tijd toch al zo beperkt is. Hoe houd je studenten actief en alert?

Uitgaande van de wetenschap dat jongeren veel tijd doorbrengen met het bekijken van (korte) filmpjes, werd gekozen voor een bijzondere werkwijze. Studenten bereiden een campagnevoorstel van 90 seconden voor, worden gefilmd en resultaten komen online. Vervolgens gaan studenten elkaar digitaal van feedback voorzien, waarbij iedere student 10 filmpjes een like mag geven en daarnaast mag waarderen op verschillende onderdelen. Opvallend was het enthousiasme van studenten. Iedereen deed mee met deze formatieve toets en bekeek gemiddeld 38 pitches. Alle pitches werden gewaardeerd (2,5-5 sterren) en ontvingen likes (3-31 likes). De kwaliteit van de feedback ging omhoog terwijl de tijdsinvestering voor alle partijen minder was.

De proef is uitgewerkt in een daadwerkelijke tool:  pitch2peer. Deze tool wordt momenteel uitgeprobeerd in de proeftuin van Universiteit Leiden, binnen 25 vakken van verschillende studies en met zeer gevarieerde uitwerkingen, maar allemaal gericht op het activeren van studenten middels peerfeedback.

Pitch 5: Gebruik van video bij het beoordelen van vaardigheden

Door: Erica Bohnen – Universiteit Leiden

Studenten aan de faculteit sociale wetenschappen toetsen hun vaardigheden op het gebied van gespreksvoering door middel van video-opnames. Op drie momenten in het blok filmen studenten een gesprek. Allereerst aan het begin van het blok, als wijze van (formatieve) 0-meting. Op basis van deze opname formuleert de student zijn/haar leerdoelen. Om de voortgang te checken, leveren de studenten halverwege opnieuw een opname in om uiteindelijk toe te werken naar een opname aan het einde van het blok. Deze opname dient als summatieve toets van dit vak. Na alle opnames ontvangt de student feedback van zowel mede-studenten als van de docent. Tegelijk bieden de opnames mogelijkheid tot reflectie van de student zelf. De docent beoordeelt uiteindelijk de laatste opname aan de hand van vooraf opgestelde criteria. Studenten geven aan dat deze methode ondersteunt bij het concretiseren van leerdoelen en bij het reflecteren. Het gebruiken van video-opnames bij beoordelingen heeft het grote voordeel dat alle actoren eindeloos de opnames kunnen terugkijken. Bij Universiteit Leiden, waar iedere trainer vaardigheden, twaalf video’s ter beoordeling krijgt toegewezen, betekent dit bijvoorbeeld dat beoordelingen bijgesteld kunnen worden op basis van sociale vergelijking.

Intermezzo 1: Bezoek aan het New Media Center

verslag door Sigrid Vermin (HR)

Een groep van circa 20 geinteresseerden heeft een kijkje mogen nemen in het New Media Centre, waar docenten academic video’s kunnen opnemen. Bijvoorbeeld voor ondersteuning van lessen, als voorbereiding op colleges maar ook als onderwijs binnen MOOC’s. Maar ook webinars kunnen vanuit deze ruimte gehouden worden.

De werkwijze is opvallend: docenten worden vooraf begeleid, krijgen zo nodig coaching en scholing en komen volledig voorbereid naar het New Media Centre. Voor de opname van een academic video betekent dat: een uitgeschreven tekst van 1400 woorden (= 10 minuten), bijpassende slides, afbeeldingen, etc. vormen het script. Een simpele powerpoint volstaat niet. Te veel tekst, de kleine letters en vaak een slechte vormgeving. Maar daar is de coaching voor! Door de professionele opstelling met autocue en groen scherm lijkt alles mogelijk: verschillende achtergronden, verschillende posities voor slides, ‘live’ berekeningen maken. Als bezoekers raken we enthousiast en geïnspireerd. Jammergenoeg is het nog niet mogelijk om van buiten de TU deze ruimte te reserveren!

Het New Media Centre wordt volop gebruikt door medewerkers van de TU. Dat maakt de kosten per opname relatief laag. En niet zonder resultaat: onderzoek wijst uit dat 95-97% van de TU-studenten vooraf bekijken wat er online wordt aangeboden!

Voor meer informatie, ga naar multimedia-academy.tudelft.nl
Voor een stappenplan voor het maken van video voor online distance learning, klik hier.

Intermezzo 2: Demo van Train Tool

Verslag door Michel Duijvestijn (HR)

Traintool is een cloud-gebaseerde applicatie die in essentie de volgende functionaliteit heeft:

De student krijgt een video te zien van een kenmerkende praktijksituatie en aan hem wordt vervolgens gevraagd om een video van zichzelf op te nemen waarin hij reageert op wat hij in het filmpje gezien heeft. Voorbeeld: op de video zie je een medewerker van de gemeente Amsterdam die aan de telefoon een verzoek tot een interview probeert af te wimpelen met “niet onze huidige prioriteit”. Aan de student wordt vervolgens gevraagd om die medewerker over te halen om toch mee te doen.

Als de student de opdracht uitgevoerd heeft dan kan hij binnen de apllicatie feedback vragen aan medestudenten en/of de video ter beoordeling insturen naar de coach die dan binnen de tool aantekeningen kan maken.

Kun je op deze manier vaardigheden als gespreks- en presentatietechnieken leren? Ten dele, naar mijn mening. Veel hangt af van de omvang en de kwaliteit van de geleverde content. De tool voorziet overigens ook in de mogelijkheid om zelf content te maken.

Een grote (maar op zich logische) beperking is dat de tool geen interactie met de gesprekspartner ondersteunt. De persoon op de video initieert een interactie, de student reageert maar daarna stopt het ook. Het oefenen van die eerste interactie is zeker nuttig, maar zoals ik een collega hoorde verwoorden: “dat niveau zijn onze studenten na een week voorbij”. Dat vind ik wat te kort door de bocht, maar ik kan me de reactie wel voorstellen.

Wat ik jammer vond was dat de tool niet wat meer functionaliteit had te bieden op het gebied van beoordeling. Zo miste ik bijvoorbeeld de mogelijkheid om opmerkingen de kunnen koppelen aan een specifiek onderdeel van de tijdlijn. Je kunt dat wel ondervangen door in de tekst te verwijzen naar het start- en eindtijdstip, maar naar mijn idee is er in deze (en in heel veel andere!) tools nog heel veel gebruiksgemak toe te voegen met dit soort functionaliteiten.

 

Verslag: Digitaal Toetsen: wat is er mogelijk en hoe pak je het aan?

Op 2 november 2016 Organiseerde de themagroep Digitaal Toetsen een bijeenkomst op de Hogeschool Rotterdam. Een record aantal van 120 medewerkers (docenten, ondersteuners en leden van toets- of examencommissies) van de verschillende (e-merge) instellingen had zich aangemeld voor deze bijeenkomst. Waardoor de opzet van de workshops soms wat moest worden aangepast aan het aantal deelnemers. In ieder geval was het de bedoeling om vooral de diepte in te kunnen tijdens de sessies en discussies te hebben over de onderwerpen.

De verslagen van de verschillende parallel sessies zijn hieronder te vinden:

  1. Keynote: Hoe ondersteun je docenten bij het maken van toetsvragen
  2. Toetsen en toetsvragen analyseren
  3. Toetsen met innovatieve vraagtypes
  4. Werken met een itembank met toetsvragen

Hoe ondersteun je docenten bij het maken van toetsvragen?

Silvester Draaijer van de Vrije Universiteit in Amsterdam opende de middag met een presentatie over hoe docenten te ondersteunen bij het maken van toetsvragen. Hierbij een kort verslag.

Er zijn rationale benaderingen over hoe je docenten kunt ondersteunen bij het maken van toetsvragen zoals het gebruik van een toetsmatrijs met de niveaus van Bloom’s taxonomy. Of het gebruik van checklists om te komen tot goede vragen. Van deze checklists is gebleken dat docenten die met zo’n checklist werken, net zulke effectieve vragen maken als docenten die niet zo’n checklist gebruiken.

Wat wel helpt zijn lijstjes met modelvragen om docenten op gang te helpen, vooral voor beginnende docenten werkt dit goed. Ook is het handig als je in vragen variabelen kunt markeren die je steeds zou kunnen veranderen.

Training in het maken van goede vragen is belangrijk. Een loop van instruction-feedback-reinforcement werk goed.

Binnen training voor het maken van toetsvragen zijn de volgende onderdelen van belang:

  • Wat is het doel van de toets?
  • Bespreken format van toetsvragen.
  • Bespreken typische voorbeelden, zowel goede, als minder goede voorbeelden uit het domein van de docent zelf. Als je vragen gebruikt uit een ander domein vraagt het een extra vertaalslag voor de docent naar de eigen situatie en dat is lastig. Daarnaast is het handig als er een systeem wordt opgezet waarin bestaande of al ontwikkelde vragen gemakkelijk geraadpleegd kunnen worden. Er kan ook gebruik gemaakt worden van websites van studeersnel, quizlet, proprofs.
  • Zelf maken van vragen tijdens de training.
  • Beoordelen van vragen van een collega werkt goed als het correcte antwoord niet wordt getoond. Een constructieve houding is van groot belang: geef concrete verbetervoorstellen.
  • Reinforcement kan gedaan worden door een docent een toetshandleiding te laten maken voor zichzelf.

Gebleken is dat goed getrainde toetsenmakers effectiever zijn, maar niet sneller.

Conclusie van de presentatie van Silvester:

  • Goede toetsvragen resulteren in goede toetsen.
  • Toetsvragen maken is mensenwerk.
  • Toetsvragen is een creatieve oplossingstaak.
  • Goede training is belangrijk.
  • Effectieve toetsenvragenmakers zijn effectiever, maar niet sneller.

Silvester presenteerde praktische tips, verwees naar interessante bronnen en waarschuwde voor de nodige valkuilen. Een mooie inleiding om in de aansluitende workshops op terug te komen. De presentatie van Silvester is opgenomen en kan je hier terugvinden. Ook zijn powerpoint is hier beschikbaar: Hoe ondersteun je docenten bij het maken van toetsvragen – Silvester Draaijer.

Na deze plenaire sessie werd de groep opgesplitst in drie groepen. Hieronder per groep een kort verslag:

Toetsen en toetsvragen analyseren

Deze workshop werd verzorgd door Sander Schenk van de Hogeschool Rotterdam.

Als je gebruik maakt van een digitaal toetspakket of je multiple-choice toetsen geautomatiseerd laat nakijken, dan ontvang je het vaak op een presenteerblaadje: een toetsanalyse. Daarop een hele rits getallen, zoals een waarde voor Cronbach’s Alpha voor de hele toets en P en Rit waarden voor de individuele vragen. In deze sessie is Sander Schenk in gegaan op de vraag wat je als docent hebt aan deze toetsanalyse en hoeveel waarde je daar aan toe moet kennen.

De conclusie van Sander is dat de gegevens uit de toetsanalyse bijzonder waardevolle informatie kunnen opleveren maar dat het geen “exacte wetenschap” in de zin dat een toets met een toets met een Cronbach’s Alpha lager dan 0,XX per definitie ongeldig verklaard zou moeten worden. Een en ander heeft ermee te maken dat de berekeningen die in de toetsanalyse gebruikt worden gebaseerd zijn op bijvoorbeeld de aanname dat het kennisniveau wat je wilt meten normaal verdeeld is binnen de populatie. Bovendien moet de steekproef die je neemt voldoende groot zijn. Om die reden zegt een toetsanalyse van een herkansingstoets van 8 “kneusjes” niet zoveel.

De boodschap van Sander is dat iedere docent een basiskennis moeten hebben van de gebruikte technieken binnen toets- en itemanalyse.

Wat iedere docent moet kunnen volgens hem:

  • De kwaliteit van een toets en toetsvragen (items) beoordelen op basis van een toets- en itemanalyse.
  • Acties definiëren die op basis van een toets- en itemanalyse genomen moeten worden.
  • Naar behoefte om ondersteuning vragen bij een toetsdeskundige/psychometrist.

Eerder op de middag had Silvester Draaijer al geconstateerd dat het máken van een (goede) toets een “vak apart” is. De eindconclusie van deze sessie is dat een goede toets- en itemanalyse daar een onlosmakelijk onderdeel van is, en dat er veel meer aandacht zou moeten zijn voor een goede scholing van docenten op dit onderwerp.

Heel veel informatie over dit onderwerp is te vinden in het boek “Toetskwaliteit in de praktijk. Hoe maak ik goede toetsen met gesloten en open vragen?” (ISBN 978-90-816794-2-8) De powerpoint van deze sessie vindt u hier. Toetsen en toetsvragen analyseren – Sander Schenk.

Toetsen met innovatieve vraagtypes

Deze workshop werd verzorgd door Celine Goedee (toetsdeskundige) en Meta Keijzer-de Ruijter (Maple TA expert) beide van de TU Delft.

Inleiding

Het digitale toetsprogramma Maple TA biedt mogelijkheden om te werken met nieuwe vraagtypes, deze sessie ging over de ervaringen van de TU Delft met twee van deze innovatieve vraagtypes.

Onder innovatieve vraagtypes worden andersoortige vragen verstaan dan de standaard types:

  • meerkeuze,
  • juist/ onjuist,
  • numeriek en
  • multiple selectie

Ontwerp

Bij het ontwerp is het belangrijk om te bedenken welke kennis of vaardigheid de student precies moet laten zien. Hierbij moet ook worden rekening gehouden met de voor- en nadelen van een digitale toets.

TU Delft heeft twee vraagtypes onderzocht:

Underpinning:

  • Een hoofdvraag wordt gevolgd door deelvragen. Verschillende denkstappen vanuit de hoofdvraag moeten worden geëxpliciteerd. Door de deelvragen kan een student geholpen worden de hoofdvraag te beantwoorden. Hierdoor wordt gecheckt of de student niet heeft gegokt.

Scaffolding:

  • Hierbij wordt de hoofdvraag alleen gevolgd door deelvragen, wanneer de student de hoofdvraag incorrect heeft beantwoord. Middels de deelvragen kan de student laten zien tot hoe ver hij of zij is gekomen. Indien wenselijk kunnen studenten het correcte antwoord op een (deel)vraag krijgen om zo toch verder te kunnen met de rest van de opgave.

Voordelen:

  • Groot verschil in nakijktijd
  • Directe feedback voor studenten (kan voordeel en nadeel zijn)
  • Studenten worden tijdens de toets op weer op weg geholpen

Nadelen:

  • Kleine spelfouten in een antwoord kunnen er voor zorgen dat het antwoord wordt afgekeurd.
  • Het construeren van een toets kost evenveel tijd
  • De route die een student moet volgen naar het antwoord staat vast (als de vraag eenmaal fout beantwoord is)

Aanbevelingen bij het gebruik van innovatieve vraagtypes

Naar aanleiding van de toetsafname onder 450 studenten en een oefensituatie waarbij 10 studenten hardop dachten, worden de volgende aanbevelingen gedaan:

  • Bereid studenten voor met een oefentoets/ laat studenten weten wat de consequenties zijn van hun acties
  • Te lange inleidingen bij de vraag worden niet gelezen
  • Zorg dat figuren of grafieken goed leesbaar zijn. Lever deze evt aan op papier of zorg dat ze vergroot kunnen worden op het beeldscherm
  • Zorg dat studenten goed oefenen met de wijze (syntax, punt/komma, etc) waarop ze hun antwoord moeten invullen.
  • Hebben studenten een papieren versie nodig om mee te rekenen of op te tekenen?
  • Denk na over waar problemen kunnen komen bij het schrijven (eenheid, decimalen)
  • Denk aan een begrippenlijst of het toestaan van een woordenboek, indien het vak en het tentamen in het Nederlands worden gegeven en het boek/lesmateriaal in het Engels is.
  • Het intypen van formules duurt langer als het digitaal wordt gedaan
  • Als er 2 antwoordvakken zijn om te schrijven in een scherm: licht goed toe welk antwoord in welk vak moet?
  • Geef geen tips onder een antwoordvak, deze wordt te laat of niet gelezen. Zet dit juist boven het antwoordvak.
  • Denk na over het effect van het doorgeven van puntenverdeling binnen een vraag. Werkt dit een toetsstrategie in de hand?
  • Gebruik voldoende witregels en probeer te voorkomen dat de student moet scrollen.

In de gebruikte powerpoint [LINK] zijn meer technische details te vinden over de gebruikte vragen, de samenvatting van het usability onderzoek en de analyse van de resultaten.

De powerpoint van deze sessie vindt u hier: Toetsen met innovatieve vraagtypes – Celine Goedee en Meta Keijzer

Werken met een itembank met toetsvragen

Deze workshop werd verzorgd door Bob Rietbergen (Haagse Hogeschool) en Anne Staring (10voordeLeraar & Hogeschool Leiden).

Toets en leer

  • vijf vakken: bedrijfsadministratie, bedrijfseconomie, marketing, management en recht
  • Ontstaan uit het programma toetsing en toetsgestuurd leren
  • Vijf hogescholen van bedrijfsadministratie en bedrijfseconomie
  • Met behulp van Remindo-toets workflow georganiseerd:
    • Docenten maken vragen
    • Docent van andere hogeschool bekijkt de vragen (4 ogen principe)
    • Explain doet toetstechnische laatste check
  • 000 toetsen gemaakt door 4000 studenten, voornamelijk formatief
  • Wordt zowel formatief als summatief ingezet
  • Opbrengst:
    • Steeds grotere banken
    • Meeste studenten vinden het prettig
    • Docenten waarderen direct inzicht in resultaten
    • Studenten die veel oefnene halen hogre cijfers (maar dat is relatief…)
  • Uitdagingen;
    • Productie van vragen op peil houden
    • Uniformiteit in vragen en feedback bewaken
    • Verbreden van gebruik (kleine kern docenten)
    • Docenten van hogeschool kunnen elkaar vinden
    • Voorbereid zijn op plotselinge snelle groei
  • Meedoen; Bijdrage om jaarlijks 300 vragen per hogeschool aan te leveren, participeren in 4-open principe en kleine bijdrage

4 ogen check

  • Kleine bijdrage

10 voor de leraar

  • Summatieve toets in studiejaar 2 of 3 sinds ‘2013
  • 2 pabovakken en 15 tweedegraadsopleiding
  • Opgezet om kenniscomponenten in lerarenopleiding te versterken
  • Instellingen wilden uitvoering in eigen beheer met onafhankelijk toezicht
  • Kennisbasis (minimaal noodzakelijke kennis voor aankomende docent)
  • Opgedeeld in Domeinen, subdomeinen, topics
  • Toetsmatrijs waarin opdeling is in; kennis – inzicht – toepassing
  • Landelijke kennistoets met meerkeuzevragen en numerieke vragen
  • 2 kansen per studiejaar 1 EC, opgenomen in een landelijke OER

Workflow van vraag tot toets:

  • Redactie; 1 hoofdredacteur, 4 redacteuren: reviewen elkaars vragen
  • Vakcommissie: 1 –2 leden plus 1 externe voorzitter (wetenschapper)
  • Kwaliteitspanellid
  • Taalcorrector
  • Functioneel beheer
  • Van afname naar uitslag:

De powerpoints van deze sessie vindt u hier: Presentatie-toets en leer – Bob Rietbergen en Itembanken bij 10voordeleraar – Anne Staring

Digitaal Toetsen: Wat is er mogelijk en hoe pak je het aan?

Heb je al ervaring met het maken van vragen voor digitale toetsen of wil je hier graag mee aan de slag? Wil je meer weten over de kwaliteit van toetsvragen? De themagroep Digitaal toetsen organiseert een bijeenkomst waarin Silvester Draaijer (Vrije Universiteit) ons vanuit zijn promotieonderzoek vertelt over zijn ideeën en concrete hulpmiddelen om docenten te ondersteunen in het complexe proces van het maken van toetsvragen. In interactieve parallelsessies wisselen we vervolgens vragen en ervaringen uit over de volgende subthema’s:

  • Werken met een itembank met toetsvragen: Hoe zet je deze op? Wat komt er kijken bij het samenstellen van toetsen? Wat levert het op voor je werkwijze als docent? Welke good practises zijn voorhanden?
    Deze sessie wordt geleid vanuit 10voordeleraar (programma met landelijke kennistoetsen voor de lerarenopleidingen)
  • Toetsen en toetsvragen analyseren: Welke informatie krijg je uit de analyse van de toetsen en wat betekent deze? Wat kun je als docent met de toetsanalyse? Hoe kun je de kwaliteit van je toetsvragen verbeteren?
    Toetsdeskundige Sander Schenk van Hogeschool Rotterdam geeft een presentatie en begeleidt de sessie.
  • Toetsen met innovatieve vraagtypes: Wat is er naast de bekende meerkeuzevragen mogelijk in digitale toetssystemen? Welke voorbeelden zijn er al? Wat zijn de ervaringen met innovatieve vraagtypes?
    Toetsdeskundige Celine Goedee van de TUDelft begeleidt de sessie vanuit haar ervaringen met het toetssysteem Maple TA.

Kies bij aanmelding voor één van deze thema’s en krijg via een plenaire terugkoppeling ook info over de andere thema’s.

Programma:

12.30 -13.15: Inloop met lunch
13.15 – 13.20: Opening
13.20 – 14.00: Hoe ondersteun je docenten bij het maken van toetsvragen? – Silvester Draaijer (VU)
14.00 –15.30: Keuze uit 3 paralel lopende sessies:
1) Werken met een itembank met toetsvragen
2) Toetsen en toetsvragen analyseren
3) Toetsen met innovatieve vraagtypes
15.30 – 16.30: Plenaire terugkoppeling uit de sessies:
top 10 van tips
16.30 – 17.00  Afsluiting en borrel

Aanmelding

Klik hier om je aan te melden. Meld je aan voor 25 oktober 2016.

Deelname is gratis, maar aanmelden is verplicht. In verband met het beperkt aantal plaatsen (60), horen we graag indien je onverhoopt verhinderd bent.

Parkeren

Let op: parkeren op locatie is niet mogelijk wegens beperkte ruimte. Parkeergarage Museumpark is op 10 minuten loopafstand. Met OV (metro, tram) is de locatie goed bereikbaar.

E-Merge Evenementen kalender 2016

Save the dates

White clock with words Time to Learn on its face

Er wordt de komende maanden van alles georganiseerd, voor en door de E-Merge thema-netwerken. Via onderstaande evementenkalender breng ik graag deze E-Merge activiteiten onder de aandacht. Volgende week al is er een seminar over het ontwerpen van online onderwijs, georganiseerd door het thema-netwerk Online learning (verderop in dit artikel is meer informatie hierover te lezen).

De informatie over de thema-netwerken op de website is vernieuwd: de thematrekkers stellen zich aan u voor. Als u contact op wil nemen, of een actieve rol zou willen spelen in één van de netwerken, dan vindt u de namen en contactgegevens van de trekkers onder de kop Thema’s. En in de agenda op de website vindt u alle activiteiten van de thema-netwerken terug.

In de kalender hieronder alvast een voorproefje van de seminars die de netwerken organiseren.

Datum

Thema / Onderwerp

Organisator

Plaats

Info

11 februari Ontwerp van Onderwijs E-Merge, Themanetwerk Online Learning TU Delft Klik hier
19 februari Open Educational Resources (OER) SURFacademy SURF Utrecht Klik hier
21-22 maart Coursera Conference
(MOOC’s, Online Learning )
Coursera World Forum, Den Haag Klik hier
22-23 maart Congres Toetsen & Examineren in het HO Commercieel Jaarbeurs Utrecht Klik hier
20 april Video als toetsmiddel E-Merge, Themanetwerk Digitaal Toetsen Ntb Klik hier
21 april Sharing Blends, Blended Learning E-Merge, Themanetwerk Blended Learning Universiteit Leiden
19 mei Research in Online Onderwijs Vervalt/td>


Op donderdag 11 februari organiseert het E-Merge Themanetwerk Online Learning een Online Learning Experience Seminar, bij de TU Delft. Aanmelden kan via de website (zie link of kijk bij Agenda).

De bijeenkomst duurt van 13.00 tot 17.00 en biedt aan het eind van de middag een kijkje achter de schermen van het New Media Centre van de TU Delft. De focus van dit seminar ligt op de didactische kant van Online onderwijs.


Op vrijdag 19 februari organiseert SURFacademy in samenwerking met instellingen twee seminars over OER (Open Education Resources).
Eén over het (her)gebruik en betere doorzoekbaarheid van videomateriaal, en Eén over de organisatie van het delen van OER. U kunt ze allebei bezoeken of een van de twee.

In de ochtend vindt het seminar (Her)gebruik en betere doorzoekbaarheid van videomateriaal plaats. De bijeenkomst behandelt best practices rondom het beter vindbaar en doorzoekbaar maken van videobestanden. Daarnaast komen Europese voorbeelden aan bod van databases met educatieve en wetenschappelijke videomaterialen die als OER beschikbaar zijn gesteld.

’s Middags volgt het seminar Delen van open educational resources: hoe organiseer je dat? De bijeenkomst richt zich op instellingen en initiatieven die het delen van OER op een duurzame manier willen organiseren. Het belicht aan de hand van best practices verschillende aspecten. Hoe onderhoud je een actieve community? Aan welke business en governance modellen kan gedacht worden en hoe organiseer je kwaliteitsborging van de materialen?

Presentatie Veiligheid in de digitale toetsketen

_MG_1743Veiligheid bij digitaal toetsen: wat komt er bij kijken? Het netwerk Digitaal Toetsen verzorgde een workshop over veiligheid in digitaal toetsen. Er werd stilgestaan bij de verschillende onderdelen in de toetsketen: constructie, klaarmaken, afnemen, nakijken, inzage, archiveren en vernietigen en wat er bij elk van deze onderdelen aan beveiliging komt kijken. Daarbij werd er aandacht besteed aan de discussie: is digitaal toetsen veiliger dan papieren toetsen?

Doordat er veel (verschillende) mensen betrokken zijn bij de onderdelen in de toetsketen blijft de mens de zwakste schakel, zeker de overdracht momenten vragen hierin aandacht. Bij digitaal toetsen ligt alles op 1 plek, dat is makkelijker te beveiligen. Echter als er dan iets mis gaat, dan zijn de consequenties vaak veel groter.

Hierna werden de deelnemers uitgenodigd om bij de flappen die opgehangen waren bij elk van de onderdelen in de toetsketen, aandachtspunten en ideeën op te schrijven. Helaas werd er in de bijeenkomst zelf niets met deze input gedaan, deze zijn wel als foto toegevoegd aan de presentatie. Dat is jammer want het zou interessant zijn geweest als er ook tijdens de workshop zelf aandacht aan de uitkomsten was besteed.

Na dit interactieve deel werd er vanuit de Haagse Hogeschool verteld hoe zij de beveiliging rond toetsen hebben aangepakt. Hier is veel aandacht besteed aan awareness van het probleem. Dit is gedaan door in het gebouw (bijvoorbeeld bij de printer) crimescene stickers te plaatsen met teksten als hier liet… zijn originelen van de toets in de printer liggen. Daarbij werd aangegeven dat het belangrijk is dat beveiligingsproblemen door de gehele organisatie op de agenda komt te staan, bij docenten, studenten, bestuurders en beleidsmakers.

Vervolgens was er aandacht voor de wet en regelgeving omtrent privacy en hoe dit zich verhoudt tot het (digitaal) toetsen en het opslaan, verspreiden en archiveren van gegevens.

Link naar de presentatie.

Presentatie Digitale formatieve toetsing: wat werkt en wat niet?

_MG_1779Het Netwerk Digitaal Toetsen verzorgde op 18 november tijdens het E-Merge Event een sessie met 3 presentaties. Drie sprekers van verschillende instellingen kwamen aan bod om iets te vertellen over de manier waarop zij formatieve toetsen inzetten in hun onderwijs.

Als eerste vertelde Gerard van Rijn van de Haagse Hogeschool over hoe hij bij commerciële economie formatieve toetsen gebruikt bij de basisvakken Nederlands, Engels en wiskunde. Studenten doen bij deze vakken aan digitale zelfstudie en docenten monitoren de voortgang van de studenten met behulp van formatieve toetsen. Door de formatieve toetsen is de studie uitval verminderd en zijn met name de cijfers bij wiskunde en Engels vooruit gegaan.

Sigrid Vermin  van de hogeschool van Rotterdam gebruikt formatief toetsen bij de opleiding Verpleegkunde. Studenten kunnen ter voorbereiding van hun stage toetsen maken die specifiek van toepassing zijn op de instelling waar de student stage gaat lopen. Op deze manier is er een goede aansluiting tussen de kennis van de student en de werkpraktijk, specifiek op het ziekenhuis waar hij of zij komt te werken.

Als laatste vertelde Guido Janssen van de TU Delft hoe hij formatieve toetsen gebruikt om de 900 studenten die het eerstejaars vak Statica volgen te kunnen begeleiden. De studenten krijgen wekelijks klassikaal college en gaan dan uiteen in werkgroepen. Voor deze werkgroepen krijgen ze formatieve toetsen aangeboden en ze krijgen pas de volgende toets wanneer ze 70% of hoger hebben gescoord. Hebben ze minder dan kunnen ze aan de werkgroepbegeleiders vragen of de toets voor de volgende week handmatig aangezet kan worden. Op deze manier kan de werkgroepbegeleider de studenten die minder scoren begeleiden en bijsturen.

Ondanks dat alle docenten in het begin wel tegen problemen aanliepen op het gebied van digitaal toetsen zijn uiteindelijk de baten groter dan de lasten.

Digitale feedback: ervaring van docenten

Digitaal feedback geven op papers van studenten? In deze video delen collega’s van de Universiteit Leiden hun ervaringen.Het betreft een vak voor ruim 230 studenten. Elke student schrijft wekelijks meerdere papers. Werkgroepdocenten beoordelen studenten met gebruik van het systeem ‘Grade Mark’.

Wat vinden zij? Het is even wennen aan deze manier van werken. Maar daarna was men erg tevreden. Met name over het werken met standaardreacties (quickmarks). Niet meer 200 keer dezelfde reactie typen, maar een standaardopmerking slepen naar het betreffende stuk tekst. Het geeft ook meer consistentie in het nakijken. Je kunt altijd overal nakijken en studenten kunnen altijd en overal bij hun feedback.

Netwerk digitaal toetsen

digitaaltoetsen Het netwerk digitaal toetsen richt zich op het uitwisselen van kennis over de implementatie van digitaal toetsen. Vanuit iedere instelling zijn maximaal 2 ‘digitaal toets’ experts vertegenwoordigd in het ‘spinnenoverleg’ waarin zij kennis en ervaringen uitwisselen over de implementatie van digitaal toetsen.

Het spinnenoverleg organiseert diverse activiteiten voor docenten, examencommissies, onderwijskundigen of ICTO coördinatoren. In deze activiteiten laten we zien welke kansen digitaal toetsen biedt, wat erbij komt kijken om digitaal te toetsen of  welke toetsvormen- en faciliteiten beschikbaar zijn.

Interesse in de activiteiten van dit netwerk? Een jaarkalender met activiteiten verschijnt hier binnenkort. Blijf op de hoogte.

Actief bijdragen aan dit netwerk? Neem contact op met de trekkers van het netwerk:

Anne Staring, projectleider Hogeschool Leiden.
Meta Keijzer-de Ruijter, ICTO-adviseur TU Delft.

 

Effectief digitaal feedback geven (3)

Turnitin originality report Een tool om digitaal feedback te geven. Hoe ziet dat eruit? Levert dat niet alleen maar meer werk op? Hoe zit dat dan met de plagiaatscanner?

Tijdens een van de E-merge bijeenkomsten vertelt Koos Kruithof, accountmanager bij Turnitin, over de feedbacktool van Turnitin en over de ontwikkelingen die we kunnen verwachten op dit vlak. Bekijk de presentatie van Koos

Meer weten over Turnitin? Bekijk deze demo’s. Interessant zijn ook de whitepapers, bijvoorbeeld het whitepaper over student perception on effective feedback, Bekijk

Effectief digitaal feedback geven (2)

28 pilots waarin men digitaal feedback geeft aan studenten. Zij gebruikten Winvision of Turnitin. Sanne Gratama van Andel was projectleider van dit project met de naam SCALA.

Wat leverde het project op? Is het wel effectief om digitaal feedback te geven? Kost het niet veel meer tijd?

Sanne vertelt tijdens de E-merge bijeenkomst waar digitale feedback centraal staat over de resultaten van het project:

Bijna 40% van de deelnemende docenten gaf aan minder tijd te hebben besteed aan beoordelen. Dat betekende tot bijna 25% tijdswinst. Ook zijn er concrete adviezen voor het maken van een Rubric uit voort gekomen.

Lees verder Effectief digitaal feedback geven (2)