8a. Course evaluation

Dit is een reeks blogpost over de Delft Design Approach for Redesigning Education (DARE). Lees deze voor meer informatie: DARE to blend.

Nadat het vak de eerste keer gegeven is volgt de Course Evaluation. In deze stap wordt het vak geëvalueerd, wordt bekeken wat goed ging en wat betere kan en wordt een course improvement plan gemaakt voor de volgende editie van het vak.

Photo by Florian Schmetz on Unsplash

Doel

Het doel van deze stap is om het vak te evalueren en verbeterpunten voor een volgende editie te identificeren. Er wordt data verzameld over het vak, gekeken hoe de constructive alignment is uitgepakt, hoe de materialen zijn gebruikt en naar de leerervaring van studenten. Dit alles leidt tot een concreet plan zodat het course team het vak voor de volgende editie kan verbeteren.

Voorbereiding

Bereid de sessie op de volgende manier voor:

• Zorg ervoor dat het course team data verzamelt over het vak. Denk hierbij aan Tentamenanalyses, studenten evaluaties, gespreksverslag van studentenresponsiegroep, data van toolgebruik, learning analytics, start-stop-continue survey en wat je nog meer kunt vinden. Zie hiervoor ook slide 10-12 uit de presentatie [a. Course evaluation.pptx].
• Laat het course team (indien gewenst) een aantal self-assessmenttools invullen zoals bijvoorbeeld de EMBED-course level scan of de Brightspace Matrix.
• Bekijk de presentatie [a. Course evaluation.pptx] en pas deze aan indien gewenst.

Sessie

Tijdens deze 1 uur durende sessie bespreekt het course team hoe het vak is gegaan. De data wordt bekeken en er wordt een verbeterplan opgesteld. Deze sessie wordt vaak gecombineerd worden met 8b. Process evaluation. De sessie bestaat uit de volgende onderdelen:

Data

Bespreek welke data er allemaal verzameld is om het vak te evalueren. Bespreek kort elk databron. Laat het course team ook kort bespreken wat ze denken dat deze data kan betekent (bijvoorbeeld een studenten-evaluatie zegt iets anders dan een tentamenanalyse of data uit Brightspace of andere tools).

Constructive Alignment

Bij deze stap worden de verschillende elementen van de constructive alignment besproken. Bespreek elk onderdeel uitvoerig en beantwoord de vragen die op de slides staan. Mocht het nu nog niet mogelijk zijn alle antwoorden te geven, zorg ervoor dat deze hier later een antwoord op komt. De antwoorden op deze vragen zullen de basis zijn van het course-improvement plan dat aan het einde opgesteld wordt.

Content & materials

Bespreek hoe de course materials/content gebruikt is. Wat kan hiervan geleerd worden voor de volgende keer. Kunnen de materialen blijven zoals ze zijn, of moeten er zaken aangepast worden?

Student Experience

Bij deze stap wordt besproken hoe de leerervaring van studenten is geweest en of deze nog verbeterd kan worden. Denk hierbij onder andere aan de studiebelasting voor de studenten en de communicatie met studenten. Hoe is dit gegaan en hoe kan dit volgende keer beter?

Other Suggestions

Bespreek de zaken die nog niet aan bod zijn gekomen.

Tips:

• Het is goed om te realiseren dat een eerste editie van een vak altijd verbetering nodig heeft. Tijdens de ontwerpfase en de ontwikkelingsfase maak je het vak met bepaalde (onderbouwde) aannames. Echter, het blijven aannames en het kan in de praktijk altijd anders uitvallen dan verwacht.

Materialen en benodigdheden

Materialen

De volgende DARE materialen zijn nodig voor deze sessie.

• [a. Course evaluation.pptx]: Dit is de presentatie die voor de course evaluation meeting.
• [b. Course evaluation report – template.docx]: Dit template kan gebruikt worden voor het opstellen van het course improvement plan.

⬇️ Download alle materialen van deze stap

Benodigdheden

• Ruimte waar het hele course team kan zitten
• Een scherm/beamer
• Een laptop om de aantekeningen te maken voor het course improvement plan

Wat te doen als…

Het course team teleurgesteld is in het resultaat?

Het kan natuurlijk voorkomen dat het vak totaal anders uitpakt dan bedacht. Dit kan een grote teleurstelling voor het team opleveren. Dit gebeurt vak wanneer er tijdens de voorgaande stap (7. Run) niet goed is gemonitord hoe de studenten het vak hebben ervaren. Daarnaast kan een groot herontwerp ertoe leiden dat de verwachtingen die studenten hebben gekregen (op basis van de ervaringen van ouderejaars studenten, de materialen op studeersnel) niet kloppen met het nieuwe vak. Probeer alsnog het vak eerlijk te evalueren en de oorzaak te achterhalen waarom het vak niet is uitgepakt als bedoeld. Grote kans is dat er een goede basis ligt dat nog hier en daar aangepast moet worden.

Het course team te ambitieus is met het aantal verbeteringen?

Probeer in dit geval prioriteit in de verbeteringen aan te brengen. Maak een lijst van alle veranderingen en geef prioriteit aan (gebruik bijvoorbeeld 1 – 3 sterren, MoSCoW methode, of een andere manier). Maak (indien gewenst) een planning om de verbeteringen door te voeren. Bedenk ook: onderwijs is nooit af. Het kan altijd beter/nieuwer/anders. Bespreek met elkaar ook wanneer het goed genoeg is.

Het course team blij is met hoe het vak is en niets wil veranderen?

Fijn dat het course team erg tevreden is met de resultaten. Echter, er kan altijd wat verbeterd worden. Kijk naar de data en kies 1-3 punten die verbeterd kunnen worden om het vak nog beter te maken.

Volgende stap

De laatste stap in het DARE proces is 8b. Process evaluation.