E-Merge in transitie

Beste E-Merge collega’s,

Onze tijd is schaars en op het gebied van ICT en onderwijs gaan de ontwikkelingen snel. Voortdurend ontstaan nieuwe platformen en initiatieven. Afgelopen jaar is binnen E-Merge al vaker de discussie opgelaaid in hoeverre de activiteiten van E-Merge overlappen met die van andere instanties, met name die van SURF en CEL (Centre for Education and Learning). Aangezien trekkers en docenten maar bij een beperkt aantal initiatieven kunnen aanhaken moet hier immers kritisch naar gekeken worden.

In de bestuursvergadering van 16 december 2016 heeft het bestuur van E-Merge besloten om E-Merge als zelfstandig orgaan af te bouwen en de focus van de betrokken partners te leggen bij het aanhaken bij zowel SURF als CEL. Dit betekent geenszins dat de bijeenkomsten en opbrengsten van E-Merge niet op waarde worden geschat, maar vooral dat wij verwachten juist synergie te behalen door onze inspanningen met andere platformen te combineren en op die manier effectiever te kunnen opereren.

Vanuit het bestuur worden gesprekken gevoerd met CEL om te zorgen dat de relevante thema’s van E-Merge daar een plaats vinden. In dat kader zal aan docenten van Hogescholen de mogelijkheid worden geboden om bij CEL aan te haken. Met SURF zal gekeken worden naar mogelijkheden om ook de regionale verbondenheid te gaan faciliteren.

Komend jaar zal voor E-Merge daarom in het teken staan van een transitie van kennis en activiteiten naar SURF en CEL. Het aangekondigde event zal daarom pas later dit jaar plaats vinden en worden georganiseerd met medewerking van SURF en CEL, zodat de opgebouwde kennis en contacten behouden kunnen blijven. Vanzelfsprekend zullen wij alle betrokkenen en belangstellenden over de ontwikkelingen blijven informeren.

Tot slot wil ik iedereen bedanken voor de inzet die in 2016 is getoond en voor alle mooie bijeenkomsten die zijn georganiseerd.

Namens het bestuur van E-Merge

Anka Mulder, voorzitter

Verslag: Digitaal Toetsen: wat is er mogelijk en hoe pak je het aan?

Op 2 november 2016 Organiseerde de themagroep Digitaal Toetsen een bijeenkomst op de Hogeschool Rotterdam. Een record aantal van 120 medewerkers (docenten, ondersteuners en leden van toets- of examencommissies) van de verschillende (e-merge) instellingen had zich aangemeld voor deze bijeenkomst. Waardoor de opzet van de workshops soms wat moest worden aangepast aan het aantal deelnemers. In ieder geval was het de bedoeling om vooral de diepte in te kunnen tijdens de sessies en discussies te hebben over de onderwerpen.

De verslagen van de verschillende parallel sessies zijn hieronder te vinden:

  1. Keynote: Hoe ondersteun je docenten bij het maken van toetsvragen
  2. Toetsen en toetsvragen analyseren
  3. Toetsen met innovatieve vraagtypes
  4. Werken met een itembank met toetsvragen

Hoe ondersteun je docenten bij het maken van toetsvragen?

Silvester Draaijer van de Vrije Universiteit in Amsterdam opende de middag met een presentatie over hoe docenten te ondersteunen bij het maken van toetsvragen. Hierbij een kort verslag.

Er zijn rationale benaderingen over hoe je docenten kunt ondersteunen bij het maken van toetsvragen zoals het gebruik van een toetsmatrijs met de niveaus van Bloom’s taxonomy. Of het gebruik van checklists om te komen tot goede vragen. Van deze checklists is gebleken dat docenten die met zo’n checklist werken, net zulke effectieve vragen maken als docenten die niet zo’n checklist gebruiken.

Wat wel helpt zijn lijstjes met modelvragen om docenten op gang te helpen, vooral voor beginnende docenten werkt dit goed. Ook is het handig als je in vragen variabelen kunt markeren die je steeds zou kunnen veranderen.

Training in het maken van goede vragen is belangrijk. Een loop van instruction-feedback-reinforcement werk goed.

Binnen training voor het maken van toetsvragen zijn de volgende onderdelen van belang:

  • Wat is het doel van de toets?
  • Bespreken format van toetsvragen.
  • Bespreken typische voorbeelden, zowel goede, als minder goede voorbeelden uit het domein van de docent zelf. Als je vragen gebruikt uit een ander domein vraagt het een extra vertaalslag voor de docent naar de eigen situatie en dat is lastig. Daarnaast is het handig als er een systeem wordt opgezet waarin bestaande of al ontwikkelde vragen gemakkelijk geraadpleegd kunnen worden. Er kan ook gebruik gemaakt worden van websites van studeersnel, quizlet, proprofs.
  • Zelf maken van vragen tijdens de training.
  • Beoordelen van vragen van een collega werkt goed als het correcte antwoord niet wordt getoond. Een constructieve houding is van groot belang: geef concrete verbetervoorstellen.
  • Reinforcement kan gedaan worden door een docent een toetshandleiding te laten maken voor zichzelf.

Gebleken is dat goed getrainde toetsenmakers effectiever zijn, maar niet sneller.

Conclusie van de presentatie van Silvester:

  • Goede toetsvragen resulteren in goede toetsen.
  • Toetsvragen maken is mensenwerk.
  • Toetsvragen is een creatieve oplossingstaak.
  • Goede training is belangrijk.
  • Effectieve toetsenvragenmakers zijn effectiever, maar niet sneller.

Silvester presenteerde praktische tips, verwees naar interessante bronnen en waarschuwde voor de nodige valkuilen. Een mooie inleiding om in de aansluitende workshops op terug te komen. De presentatie van Silvester is opgenomen en kan je hier terugvinden. Ook zijn powerpoint is hier beschikbaar: Hoe ondersteun je docenten bij het maken van toetsvragen – Silvester Draaijer.

Na deze plenaire sessie werd de groep opgesplitst in drie groepen. Hieronder per groep een kort verslag:

Toetsen en toetsvragen analyseren

Deze workshop werd verzorgd door Sander Schenk van de Hogeschool Rotterdam.

Als je gebruik maakt van een digitaal toetspakket of je multiple-choice toetsen geautomatiseerd laat nakijken, dan ontvang je het vaak op een presenteerblaadje: een toetsanalyse. Daarop een hele rits getallen, zoals een waarde voor Cronbach’s Alpha voor de hele toets en P en Rit waarden voor de individuele vragen. In deze sessie is Sander Schenk in gegaan op de vraag wat je als docent hebt aan deze toetsanalyse en hoeveel waarde je daar aan toe moet kennen.

De conclusie van Sander is dat de gegevens uit de toetsanalyse bijzonder waardevolle informatie kunnen opleveren maar dat het geen “exacte wetenschap” in de zin dat een toets met een toets met een Cronbach’s Alpha lager dan 0,XX per definitie ongeldig verklaard zou moeten worden. Een en ander heeft ermee te maken dat de berekeningen die in de toetsanalyse gebruikt worden gebaseerd zijn op bijvoorbeeld de aanname dat het kennisniveau wat je wilt meten normaal verdeeld is binnen de populatie. Bovendien moet de steekproef die je neemt voldoende groot zijn. Om die reden zegt een toetsanalyse van een herkansingstoets van 8 “kneusjes” niet zoveel.

De boodschap van Sander is dat iedere docent een basiskennis moeten hebben van de gebruikte technieken binnen toets- en itemanalyse.

Wat iedere docent moet kunnen volgens hem:

  • De kwaliteit van een toets en toetsvragen (items) beoordelen op basis van een toets- en itemanalyse.
  • Acties definiëren die op basis van een toets- en itemanalyse genomen moeten worden.
  • Naar behoefte om ondersteuning vragen bij een toetsdeskundige/psychometrist.

Eerder op de middag had Silvester Draaijer al geconstateerd dat het máken van een (goede) toets een “vak apart” is. De eindconclusie van deze sessie is dat een goede toets- en itemanalyse daar een onlosmakelijk onderdeel van is, en dat er veel meer aandacht zou moeten zijn voor een goede scholing van docenten op dit onderwerp.

Heel veel informatie over dit onderwerp is te vinden in het boek “Toetskwaliteit in de praktijk. Hoe maak ik goede toetsen met gesloten en open vragen?” (ISBN 978-90-816794-2-8) De powerpoint van deze sessie vindt u hier. Toetsen en toetsvragen analyseren – Sander Schenk.

Toetsen met innovatieve vraagtypes

Deze workshop werd verzorgd door Celine Goedee (toetsdeskundige) en Meta Keijzer-de Ruijter (Maple TA expert) beide van de TU Delft.

Inleiding

Het digitale toetsprogramma Maple TA biedt mogelijkheden om te werken met nieuwe vraagtypes, deze sessie ging over de ervaringen van de TU Delft met twee van deze innovatieve vraagtypes.

Onder innovatieve vraagtypes worden andersoortige vragen verstaan dan de standaard types:

  • meerkeuze,
  • juist/ onjuist,
  • numeriek en
  • multiple selectie

Ontwerp

Bij het ontwerp is het belangrijk om te bedenken welke kennis of vaardigheid de student precies moet laten zien. Hierbij moet ook worden rekening gehouden met de voor- en nadelen van een digitale toets.

TU Delft heeft twee vraagtypes onderzocht:

Underpinning:

  • Een hoofdvraag wordt gevolgd door deelvragen. Verschillende denkstappen vanuit de hoofdvraag moeten worden geëxpliciteerd. Door de deelvragen kan een student geholpen worden de hoofdvraag te beantwoorden. Hierdoor wordt gecheckt of de student niet heeft gegokt.

Scaffolding:

  • Hierbij wordt de hoofdvraag alleen gevolgd door deelvragen, wanneer de student de hoofdvraag incorrect heeft beantwoord. Middels de deelvragen kan de student laten zien tot hoe ver hij of zij is gekomen. Indien wenselijk kunnen studenten het correcte antwoord op een (deel)vraag krijgen om zo toch verder te kunnen met de rest van de opgave.

Voordelen:

  • Groot verschil in nakijktijd
  • Directe feedback voor studenten (kan voordeel en nadeel zijn)
  • Studenten worden tijdens de toets op weer op weg geholpen

Nadelen:

  • Kleine spelfouten in een antwoord kunnen er voor zorgen dat het antwoord wordt afgekeurd.
  • Het construeren van een toets kost evenveel tijd
  • De route die een student moet volgen naar het antwoord staat vast (als de vraag eenmaal fout beantwoord is)

Aanbevelingen bij het gebruik van innovatieve vraagtypes

Naar aanleiding van de toetsafname onder 450 studenten en een oefensituatie waarbij 10 studenten hardop dachten, worden de volgende aanbevelingen gedaan:

  • Bereid studenten voor met een oefentoets/ laat studenten weten wat de consequenties zijn van hun acties
  • Te lange inleidingen bij de vraag worden niet gelezen
  • Zorg dat figuren of grafieken goed leesbaar zijn. Lever deze evt aan op papier of zorg dat ze vergroot kunnen worden op het beeldscherm
  • Zorg dat studenten goed oefenen met de wijze (syntax, punt/komma, etc) waarop ze hun antwoord moeten invullen.
  • Hebben studenten een papieren versie nodig om mee te rekenen of op te tekenen?
  • Denk na over waar problemen kunnen komen bij het schrijven (eenheid, decimalen)
  • Denk aan een begrippenlijst of het toestaan van een woordenboek, indien het vak en het tentamen in het Nederlands worden gegeven en het boek/lesmateriaal in het Engels is.
  • Het intypen van formules duurt langer als het digitaal wordt gedaan
  • Als er 2 antwoordvakken zijn om te schrijven in een scherm: licht goed toe welk antwoord in welk vak moet?
  • Geef geen tips onder een antwoordvak, deze wordt te laat of niet gelezen. Zet dit juist boven het antwoordvak.
  • Denk na over het effect van het doorgeven van puntenverdeling binnen een vraag. Werkt dit een toetsstrategie in de hand?
  • Gebruik voldoende witregels en probeer te voorkomen dat de student moet scrollen.

In de gebruikte powerpoint [LINK] zijn meer technische details te vinden over de gebruikte vragen, de samenvatting van het usability onderzoek en de analyse van de resultaten.

De powerpoint van deze sessie vindt u hier: Toetsen met innovatieve vraagtypes – Celine Goedee en Meta Keijzer

Werken met een itembank met toetsvragen

Deze workshop werd verzorgd door Bob Rietbergen (Haagse Hogeschool) en Anne Staring (10voordeLeraar & Hogeschool Leiden).

Toets en leer

  • vijf vakken: bedrijfsadministratie, bedrijfseconomie, marketing, management en recht
  • Ontstaan uit het programma toetsing en toetsgestuurd leren
  • Vijf hogescholen van bedrijfsadministratie en bedrijfseconomie
  • Met behulp van Remindo-toets workflow georganiseerd:
    • Docenten maken vragen
    • Docent van andere hogeschool bekijkt de vragen (4 ogen principe)
    • Explain doet toetstechnische laatste check
  • 000 toetsen gemaakt door 4000 studenten, voornamelijk formatief
  • Wordt zowel formatief als summatief ingezet
  • Opbrengst:
    • Steeds grotere banken
    • Meeste studenten vinden het prettig
    • Docenten waarderen direct inzicht in resultaten
    • Studenten die veel oefnene halen hogre cijfers (maar dat is relatief…)
  • Uitdagingen;
    • Productie van vragen op peil houden
    • Uniformiteit in vragen en feedback bewaken
    • Verbreden van gebruik (kleine kern docenten)
    • Docenten van hogeschool kunnen elkaar vinden
    • Voorbereid zijn op plotselinge snelle groei
  • Meedoen; Bijdrage om jaarlijks 300 vragen per hogeschool aan te leveren, participeren in 4-open principe en kleine bijdrage

4 ogen check

  • Kleine bijdrage

10 voor de leraar

  • Summatieve toets in studiejaar 2 of 3 sinds ‘2013
  • 2 pabovakken en 15 tweedegraadsopleiding
  • Opgezet om kenniscomponenten in lerarenopleiding te versterken
  • Instellingen wilden uitvoering in eigen beheer met onafhankelijk toezicht
  • Kennisbasis (minimaal noodzakelijke kennis voor aankomende docent)
  • Opgedeeld in Domeinen, subdomeinen, topics
  • Toetsmatrijs waarin opdeling is in; kennis – inzicht – toepassing
  • Landelijke kennistoets met meerkeuzevragen en numerieke vragen
  • 2 kansen per studiejaar 1 EC, opgenomen in een landelijke OER

Workflow van vraag tot toets:

  • Redactie; 1 hoofdredacteur, 4 redacteuren: reviewen elkaars vragen
  • Vakcommissie: 1 –2 leden plus 1 externe voorzitter (wetenschapper)
  • Kwaliteitspanellid
  • Taalcorrector
  • Functioneel beheer
  • Van afname naar uitslag:

De powerpoints van deze sessie vindt u hier: Presentatie-toets en leer – Bob Rietbergen en Itembanken bij 10voordeleraar – Anne Staring

Factsheets: Videos in onderwijs

Tijdens de afgelopen e-merge bijeenkomst Blend with Care zijn er factsheets getoond over video’s in het onderwijs. Deze factsheets zijn ontwikkeld door de TU Delft en nu te downloaden en te delen. Download het alle factsheets, of download de individuele factsheets:

1. Didactic use of video in education

2. Scripting videos

3. Copyrights

4. Using visuals

5. Presenting videos for online teaching

6. Recording

Blend with Care: 27 september 2016

Op 27 september jl. organiseerde de themagroep Blended Learning een tweede bijeenkomst voor docenten van E-merge instellingen, nu bij Scheltema in Leiden. Met 55 deelnemers, van alle zeven instellingen, gingen we energiek aan de slag in twee workshops, waarna een inspirerende keynote van Mary Dankbaar (Erasmus MC) volgde en een netwerkmarkt met voorbeelden. Een impressie van de bijeenkomst Blend with Care vind je in tekst en beeld.

Lees verder Blend with Care: 27 september 2016

E-Merge Evenementen kalender 2016

Save the dates

White clock with words Time to Learn on its face

Er wordt de komende maanden van alles georganiseerd, voor en door de E-Merge thema-netwerken. Via onderstaande evementenkalender breng ik graag deze E-Merge activiteiten onder de aandacht. Volgende week al is er een seminar over het ontwerpen van online onderwijs, georganiseerd door het thema-netwerk Online learning (verderop in dit artikel is meer informatie hierover te lezen).

De informatie over de thema-netwerken op de website is vernieuwd: de thematrekkers stellen zich aan u voor. Als u contact op wil nemen, of een actieve rol zou willen spelen in één van de netwerken, dan vindt u de namen en contactgegevens van de trekkers onder de kop Thema’s. En in de agenda op de website vindt u alle activiteiten van de thema-netwerken terug.

In de kalender hieronder alvast een voorproefje van de seminars die de netwerken organiseren.

Datum

Thema / Onderwerp

Organisator

Plaats

Info

11 februari Ontwerp van Onderwijs E-Merge, Themanetwerk Online Learning TU Delft Klik hier
19 februari Open Educational Resources (OER) SURFacademy SURF Utrecht Klik hier
21-22 maart Coursera Conference
(MOOC’s, Online Learning )
Coursera World Forum, Den Haag Klik hier
22-23 maart Congres Toetsen & Examineren in het HO Commercieel Jaarbeurs Utrecht Klik hier
20 april Video als toetsmiddel E-Merge, Themanetwerk Digitaal Toetsen Ntb Klik hier
21 april Sharing Blends, Blended Learning E-Merge, Themanetwerk Blended Learning Universiteit Leiden
19 mei Research in Online Onderwijs Vervalt/td>


Op donderdag 11 februari organiseert het E-Merge Themanetwerk Online Learning een Online Learning Experience Seminar, bij de TU Delft. Aanmelden kan via de website (zie link of kijk bij Agenda).

De bijeenkomst duurt van 13.00 tot 17.00 en biedt aan het eind van de middag een kijkje achter de schermen van het New Media Centre van de TU Delft. De focus van dit seminar ligt op de didactische kant van Online onderwijs.


Op vrijdag 19 februari organiseert SURFacademy in samenwerking met instellingen twee seminars over OER (Open Education Resources).
Eén over het (her)gebruik en betere doorzoekbaarheid van videomateriaal, en Eén over de organisatie van het delen van OER. U kunt ze allebei bezoeken of een van de twee.

In de ochtend vindt het seminar (Her)gebruik en betere doorzoekbaarheid van videomateriaal plaats. De bijeenkomst behandelt best practices rondom het beter vindbaar en doorzoekbaar maken van videobestanden. Daarnaast komen Europese voorbeelden aan bod van databases met educatieve en wetenschappelijke videomaterialen die als OER beschikbaar zijn gesteld.

’s Middags volgt het seminar Delen van open educational resources: hoe organiseer je dat? De bijeenkomst richt zich op instellingen en initiatieven die het delen van OER op een duurzame manier willen organiseren. Het belicht aan de hand van best practices verschillende aspecten. Hoe onderhoud je een actieve community? Aan welke business en governance modellen kan gedacht worden en hoe organiseer je kwaliteitsborging van de materialen?

E-merge focust zich in 2015 op de volgende thema’s:

Blended learning

Online Learning

Digitaal Toetsen

FeedbackFruits Onno Meijer 1

 

Digitale Leeromgeving

Welkom

Welkom op de nieuwe website van het E-merge consortium, een samenwerkingsverband tussen de Universiteit Leiden, De Haagse Hogeschool, Technische Universiteit Delft en Hogeschool Leiden. Samen werken zij binnen E-merge aan projecten die bestaande ICT creatief inzet om het studiesucces te vergroten. Op deze website vind je informatie over programma’s, projecten en bijeenkomsten. Meer over E-merge.

Screencast E-merge

Hieronder vind je ‘posts’ met steeds het laatste nieuws over E-mergeprogramma’s, projecten en bijeenkomsten.

Via het menu hierboven kun je per project of bijeenkomst informatie over E-merge vinden.

Als je op het plaatje links klikt ga je naar een screencast waarin kort wordt uitgelegd wat E-merge is en hoe we werken.

Wil je op de hoogte blijven van het laatste nieuws? Geef je dan hiernaast op voor de nieuwsbrief.

 

Wat is E-merge

De TU Delft, de Universiteit Leiden, de Hogeschool Leiden en De Haagse Hogeschool vormen samen het E-merge consortium. Binnen E-merge voeren zij gezamenlijk innovatieve projecten uit rond het gebruik van ICT in het onderwijs. Teams met collega’s uit alle vier onze instellingen werken al een aantal jaren succesvol samen in onze projecten. Resultaten, publicaties en beschrijvingen van de projecten en activiteiten vind je op deze E-merge website.

 Ons doel

 

Het consortium E-merge stimuleert en faciliteert innovatief gebruik van ICT in het onderwijs. In de eerste fase (2002-2005) concentreerde E-merge zich op het faciliteren van innovaties op het gebied van onderwijs en techniek. De tweede fase (tot 2008) stond in het teken van voortbouwen op geboekte resultaten. De focus lag daarbij op de student van de toekomst en de realisatie van modern hoger onderwijs.
Sinds het najaar van 2008 richt E-Merge zich vooral op projecten rond doorgaande leerwegen en studiesucces. In 2010 werd deze focus geformuleerd als studiesucces,door innovatief gebruik van bestaande ICT.