modulair
Rubriek: Kwaliteitsafspraken
Leestijd: 2 min | Tekst: Martine Boutz | Fotografie: Sandra Daems
Kwaliteitsafspraken - deel 14
AI als stagiair bij het beoordelen van scripties
Voor zowel docenten als voor studenten mogelijk winst te behalen met de inzet van AI
11
De Open Universiteit ontvangt tussen 2019 en 2024 extra kwaliteitsmiddelen van de overheid, die voortkomen uit de afschaffing van de basisbeurs. Deze middelen zijn bedoeld om het onderwijs een mooie kwaliteitsimpuls te geven. Van hybride onderwijs tot communityvorming en binding, dit is hoe jij als student profiteert van deze Kwaliteitsafspraken.
Kunnen we met generatieve AI het begeleiden en beoordelen van scripties effectiever en efficiënter maken? Dát is de vraag waar het project Slim Bekeken om draait. Het is een gezamenlijk project, alle faculteiten van de Open Universiteit doen mee, opgezet met middelen vanuit Kwaliteitsafspraken. De projectleiding ligt bij het Expertisecentrum Onderwijs (ECO) en de BETA-faculteit.
Projectmanager Hubert Vogten: ‘We zien AI als een soort stagiair die begeleiders en beoordelaars helpt. Je kunt die stagiair veel laten doen. Maar je zult het werk altijd moeten controleren.’
Handig hulpje?
Waarom het scriptietraject? ‘Omdat dit een heel arbeidsintensief en ook een best lastig traject is’, legt Hubert uit. ‘Er zijn veel stappen die gezet moeten worden en veel momenten waarop je als begeleider of beoordelaar feedback moet geven. Als AI een deel van dat werk kan overnemen, levert dat al snel een forse tijdsbesparing op. Daarnaast zou AI er ook voor kunnen zorgen dat beoordelingen consistenter en gedetailleerder worden.’ Kortom: er is zowel voor docenten als voor studenten mogelijk winst te behalen met de inzet van AI.
Aantonen dat het kán
‘Maar’, zegt Hubert. ‘Eerst willen we goed uitzoeken wat we AI wel en niet kunnen toevertrouwen. Daartoe hebben we een POC (proof of concept) gemaakt. We hebben een applicatie gebouwd om te kunnen evalueren of het scriptietraject met AI inderdaad effectiever en efficiënter te maken is.’ In alle faculteiten zijn een aantal begeleiders en beoordelaars met de applicatie aan het testen. Maar vóór het zo ver was, zijn eerst enkele belangrijke stappen gezet.
Gezamenlijke start
‘We zijn begin dit jaar gestart met een kick-off bijeenkomst’, vertelt Hubert. ‘Daar hebben we iedereen bijgepraat over het project. Het is best uniek dat alle faculteiten meedoen. We hebben ervoor gezorgd dat ze allemaal dezelfde basiskennis hebben. Dat ze weten wat juridisch wel en niet mag. Maar ook wat ze van AI kunnen verwachten. Generatieve AI is in staat teksten te ‘begrijpen’. Maar er zijn ook valkuilen. Denk aan ‘hallucineren’: AI kan soms met heel overtuigende antwoorden komen, die pure hersenspinsels zijn.’
Privacybeschermend platvorm
De eerste belangrijke stap in het ontwikkelproces was het realiseren van het technische fundament: een AI-platvorm dat voldoet aan privacywetgeving AVG. ‘Want je gaat (delen van) scripties laten beoordelen. Dat zijn persoonsgegevens, daar moet je voorzichtig mee omgaan. We moesten garanties hebben dat er geen data achter de schermen bewerkt of bewaard worden.’
Wensen verzamelen
De volgende grote stap voor de ontwikkelaars was het verzamelen van gebruikersvereisten via ‘group concept mapping’. ‘We hebben docenten in alle faculteiten gevraagd: stel, je gaat AI inzetten als stagiair bij het beoordelen van scripties, wat zou je dan graag willen dat de stagiair doet?’, legt Hubert uit. ‘De antwoorden op die vraag hebben we gegroepeerd en geprioriteerd. Met bovenaan de functionaliteiten die relatief makkelijk te realiseren zijn én door veel docenten gewenst. Voorbeelden zijn feedback geven en het controleren op de verwerking daarvan. Daarmee zijn we de applicatie gaan bouwen.
Van criteria naar scores
De kern van de applicatie zijn de beoordelingsrubrieken, met criteria waar studenten in de scriptiefase aan moeten voldoen. Ook zijn er niveaus beschreven: de mate waarin je aan de criteria voldoet, gekoppeld aan scores één (zwak) tot en met vijf (excellent). ‘Omdat AI de tekst van de beoordelingsrubriek kan ‘begrijpen’, kan de AI-stagiair op basis hiervan scores toekennen aan scriptieonderdelen.’
‘Eerst willen we goed uitzoeken wat we AI wel en niet kunnen toevertrouwen’
Extra paar ogen
Maar óók inhoudelijk feedback geven. ‘Want aan dit alles hebben we een begeleidings- en een beoordelingsprompt toegevoegd. Daarin beschrijf je (voor iedere rubriek) hoe je wilt dat AI zich gedraagt. Bijvoorbeeld: geef opbouwende feedback in maximaal 200 woorden, met voorbeelden hoe het beter kan. Dit gebeurt, net als in Word, met commentaarvelden naast de betreffende tekst. De begeleider kan deze feedback overnemen of – als de AI ernaast zit – negeren. Als je je volledige scriptie indient, is er normaal een eerste en een tweede beoordelaar die feedback geeft. Beiden kunnen nu, met één druk op de knop, ook AI een beoordeling laten uitvoeren. Je hebt dan als het ware een extra paar ogen dat meekijkt. Het is een stagiair, dus je mag er niet blind op vertrouwen. Maar de AI-beoordeling kan wel waardevol zijn. Als beoordelaar kun je ‘m overnemen, negeren of deels gebruiken. Bijvoorbeeld als er iets instaat waar jij niet aan gedacht hebt. Het ‘meekijken’ van AI verandert dan mogelijk nog de score of argumentatie.’
Vertrouwen opbouwen
Maar er zijn nog méér mogelijkheden. ‘AI kan ook beide beoordelingen samenvatten en ze vergelijken om een eindoordeel te geven. In één oogopslag krijg je dan te zien waar de scores en argumentaties erg van elkaar afwijken. Dat is dan aanleiding om hier nog eens naar te kijken. Mijn hoop is dat de applicatie zo bijdraagt aan sneller en consequenter beoordelen. Op termijn kunnen we het systeem uitbreiden. Maar eerst gaan we een evaluatie doen. Willen de faculteiten hiermee verder? Levert het de verwachte voordelen op? We gaan er vooralsnog vanuit dat het positief uitpakt. Dan volgt bredere toepassing.
Een vervolgstap is te onderzoeken of we een afgeleide versie van deze applicatie rechtstreeks aan studenten kunnen aanbieden, zodat zij direct feedback kunnen krijgen op tussenversies van hun werk. Maar daarvoor moeten we eerst voldoende vertrouwen hebben in de AI.’