Verslag bijeenkomst ‘Video als Toetsmiddel’

Op woensdag 20 april j.l. organiseerde themagroep ‘Digitaal Toetsen‘ de  bijeenkomst ‘Video als Toetsmiddel’. De aanmeldingen voor deze bijeenkomst waren dusdanig hoog, dat er een wachtlijst moest worden ingesteld en we hebben inderdaad een aantal mensen moeten teleurstellen. Vanuit alle aangesloten instellingen waren vertegenwoordigers, aanwezig. We waren zeer verheugd te zien dat veel docenten op deze bijeenkomst waren afgekomen.

Deze middag werd een vijftal pitches gepresenteerd, waarin gebruikers de aanwezigen ter inspiratie over hun ervaringen vertelden. Sylvia Moes, Innovation Manager bij de VU, leidde het onderwerp door te vertellen over haar brede ervaring met video in het onderwijs. Halverwege de pitches konden de aanwezigen kiezen voor een intermezzo: bezoek aan TU Delft’s New Media Center of een demo van het programma Train Tool. De middag werd afgesloten met een borrel en de mogelijkheid om aan te geven wat men nog graag zou willen van deze themagroep.

Onderstaand een kort verslag van de verschillende onderdelen van de middag.

Inleiding: Video in het onderwijs

door Sylvia Moes

Hoe kunnen we diverse vormen van videomateriaal inzetten om in verschillende stadia van een cursus kennis te toetsen bij studenten? Sylvia geeft middels een aantal best practices van de VU antwoord op deze vraag. Bij het merendeel van de opdrachten moeten studenten zelf videomateriaal produceren. Het is belangrijk om de studenten uit te leggen waarom zij video moeten gebruiken. De VU gebruikt hiervoor de Mediasite, Kaltura en Powtoon. Een aantal best practices van de VU zijn:

  • Er wordt ingezet op peer-assessment waarbij ook de beoordelaar beoordeeld wordt.
  • Video wordt gebruikt om studenten hun vergaderinstrumentarium en team te laten evalueren.
  • Studenten krijgen bij grotere video producties training in het maken van video, maar voor eenvoudige opnames lukt studenten het vrijwel altijd zelf om de opdracht uit te voeren.

Pitch 1: Gebruik van Kaltura door studenten

Door Ellen Zillig-Straatman

Op de TU Delft wordt gebruik gemaakt van Kaltura, een online tool waarmee je op een eenvoudige manier video’s kunt maken. Kaltura is toegankelijk vanuit Blackboard. Het programma is erg gebruiksvriendelijk en je kunt kiezen uit verschillende opname opties, zoals alleen je hoofd in beeld, hoofd en slides of alleen slides. Kaltura zou op de volgende manieren ingezet kunnen worden voor toetsing:

  • Docent plaatst een video opdracht.
  • Student neemt op via Kaltura en levert video in.
  • Student krijgt feedback van peers.
  • Vervolgens kan de student de video uploaden in het discussion board.

Sinds kort kunnen er binnen Kaltura ook in-video quizzes gemaakt worden. Kaltura kan in verschillende LMS’en geïntegreerd worden.

Pitch 2: Gebruik van video’s voor muziekonderwijs

Door Bert van Uffelen, Hogeschool Rotterdam

Bert gebruikt video’s voor de beoordeling van stage in muziekonderwijs. Via een gewonnen innovatiebudget is hij nu in samenwerking met pitchtopeer bezig met het opzetten van een platform. Pitch2peer voldeed al grotendeels aan de wensen, maar Bert had nog de volgende aanvullende wensen:

  • Mogelijkheid voor annotaties in de video’s.
  • Mogelijkheid tot het plaatsen van symbolen in de video’s.
  • Mogelijkheid tot het maken van timebased opmerkingen.
  • Zoom + slow motion.

Pitch2peer heeft deze wensen gerealiseerd. Er komt nu een testfase aan van vijf weken met twee Pabo-klassen.

Pitch 3: Summatieve toets coachingsvaardigheden binnen opleiding toegepaste psychologie

Door: Roos Bonnier, Hogeschool Leiden

In jaar 2 van de opleiding toegepaste psychologie wordt op Hogeschool Leiden gebruik gemaakt van video om coachingsvaardigheden te beoordelen. Halverwege het vak maken studenten eerst zelf een video van een coachingsgesprek over een vrij eenvoudige coachvraag. Daarna plaatsen ze dit in Office 365. Deze video’s worden vervolgens tijdens de les bekeken en besproken.
Aan het eind van het vak vindt er een eindassessment plaats. Dit bestaat uit een coachingsgesprek van 10 minuten met een trainingsacteur en 3 minuten reflectievragen. Dit eindassessment wordt ook opgenomen. Hierdoor kan de beoordelaar het later nog eens terugkijken en zijn/haar oordeel voorzien van gedegen feedback.

Pitch 4: Gebruik van Peer feedback voor presentatievaardigheden met Pitch2Peer

Door: Pascal Haazebroek – Universiteit Leiden

Pascal stond voor een uitdaging: 100 eerstejaars psychologie-studenten leren presenteren. Maar hoe doe je dat? Als je iedereen wilt laten presenteren ben je weken bezig. En hoe geef je goede feedback als de tijd toch al zo beperkt is. Hoe houd je studenten actief en alert?

Uitgaande van de wetenschap dat jongeren veel tijd doorbrengen met het bekijken van (korte) filmpjes, werd gekozen voor een bijzondere werkwijze. Studenten bereiden een campagnevoorstel van 90 seconden voor, worden gefilmd en resultaten komen online. Vervolgens gaan studenten elkaar digitaal van feedback voorzien, waarbij iedere student 10 filmpjes een like mag geven en daarnaast mag waarderen op verschillende onderdelen. Opvallend was het enthousiasme van studenten. Iedereen deed mee met deze formatieve toets en bekeek gemiddeld 38 pitches. Alle pitches werden gewaardeerd (2,5-5 sterren) en ontvingen likes (3-31 likes). De kwaliteit van de feedback ging omhoog terwijl de tijdsinvestering voor alle partijen minder was.

De proef is uitgewerkt in een daadwerkelijke tool:  pitch2peer. Deze tool wordt momenteel uitgeprobeerd in de proeftuin van Universiteit Leiden, binnen 25 vakken van verschillende studies en met zeer gevarieerde uitwerkingen, maar allemaal gericht op het activeren van studenten middels peerfeedback.

Pitch 5: Gebruik van video bij het beoordelen van vaardigheden

Door: Erica Bohnen – Universiteit Leiden

Studenten aan de faculteit sociale wetenschappen toetsen hun vaardigheden op het gebied van gespreksvoering door middel van video-opnames. Op drie momenten in het blok filmen studenten een gesprek. Allereerst aan het begin van het blok, als wijze van (formatieve) 0-meting. Op basis van deze opname formuleert de student zijn/haar leerdoelen. Om de voortgang te checken, leveren de studenten halverwege opnieuw een opname in om uiteindelijk toe te werken naar een opname aan het einde van het blok. Deze opname dient als summatieve toets van dit vak. Na alle opnames ontvangt de student feedback van zowel mede-studenten als van de docent. Tegelijk bieden de opnames mogelijkheid tot reflectie van de student zelf. De docent beoordeelt uiteindelijk de laatste opname aan de hand van vooraf opgestelde criteria. Studenten geven aan dat deze methode ondersteunt bij het concretiseren van leerdoelen en bij het reflecteren. Het gebruiken van video-opnames bij beoordelingen heeft het grote voordeel dat alle actoren eindeloos de opnames kunnen terugkijken. Bij Universiteit Leiden, waar iedere trainer vaardigheden, twaalf video’s ter beoordeling krijgt toegewezen, betekent dit bijvoorbeeld dat beoordelingen bijgesteld kunnen worden op basis van sociale vergelijking.

Intermezzo 1: Bezoek aan het New Media Center

verslag door Sigrid Vermin (HR)

Een groep van circa 20 geinteresseerden heeft een kijkje mogen nemen in het New Media Centre, waar docenten academic video’s kunnen opnemen. Bijvoorbeeld voor ondersteuning van lessen, als voorbereiding op colleges maar ook als onderwijs binnen MOOC’s. Maar ook webinars kunnen vanuit deze ruimte gehouden worden.

De werkwijze is opvallend: docenten worden vooraf begeleid, krijgen zo nodig coaching en scholing en komen volledig voorbereid naar het New Media Centre. Voor de opname van een academic video betekent dat: een uitgeschreven tekst van 1400 woorden (= 10 minuten), bijpassende slides, afbeeldingen, etc. vormen het script. Een simpele powerpoint volstaat niet. Te veel tekst, de kleine letters en vaak een slechte vormgeving. Maar daar is de coaching voor! Door de professionele opstelling met autocue en groen scherm lijkt alles mogelijk: verschillende achtergronden, verschillende posities voor slides, ‘live’ berekeningen maken. Als bezoekers raken we enthousiast en geïnspireerd. Jammergenoeg is het nog niet mogelijk om van buiten de TU deze ruimte te reserveren!

Het New Media Centre wordt volop gebruikt door medewerkers van de TU. Dat maakt de kosten per opname relatief laag. En niet zonder resultaat: onderzoek wijst uit dat 95-97% van de TU-studenten vooraf bekijken wat er online wordt aangeboden!

Voor meer informatie, ga naar multimedia-academy.tudelft.nl
Voor een stappenplan voor het maken van video voor online distance learning, klik hier.

Intermezzo 2: Demo van Train Tool

Verslag door Michel Duijvestijn (HR)

Traintool is een cloud-gebaseerde applicatie die in essentie de volgende functionaliteit heeft:

De student krijgt een video te zien van een kenmerkende praktijksituatie en aan hem wordt vervolgens gevraagd om een video van zichzelf op te nemen waarin hij reageert op wat hij in het filmpje gezien heeft. Voorbeeld: op de video zie je een medewerker van de gemeente Amsterdam die aan de telefoon een verzoek tot een interview probeert af te wimpelen met “niet onze huidige prioriteit”. Aan de student wordt vervolgens gevraagd om die medewerker over te halen om toch mee te doen.

Als de student de opdracht uitgevoerd heeft dan kan hij binnen de apllicatie feedback vragen aan medestudenten en/of de video ter beoordeling insturen naar de coach die dan binnen de tool aantekeningen kan maken.

Kun je op deze manier vaardigheden als gespreks- en presentatietechnieken leren? Ten dele, naar mijn mening. Veel hangt af van de omvang en de kwaliteit van de geleverde content. De tool voorziet overigens ook in de mogelijkheid om zelf content te maken.

Een grote (maar op zich logische) beperking is dat de tool geen interactie met de gesprekspartner ondersteunt. De persoon op de video initieert een interactie, de student reageert maar daarna stopt het ook. Het oefenen van die eerste interactie is zeker nuttig, maar zoals ik een collega hoorde verwoorden: “dat niveau zijn onze studenten na een week voorbij”. Dat vind ik wat te kort door de bocht, maar ik kan me de reactie wel voorstellen.

Wat ik jammer vond was dat de tool niet wat meer functionaliteit had te bieden op het gebied van beoordeling. Zo miste ik bijvoorbeeld de mogelijkheid om opmerkingen de kunnen koppelen aan een specifiek onderdeel van de tijdlijn. Je kunt dat wel ondervangen door in de tekst te verwijzen naar het start- en eindtijdstip, maar naar mijn idee is er in deze (en in heel veel andere!) tools nog heel veel gebruiksgemak toe te voegen met dit soort functionaliteiten.

 

Leave a Reply

You can use these HTML tags

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>