Een paar weken geleden schreef ik een stuk over mijn eerste aanvaring(en) met online surveillantie (of “proctoring”): Online Surveillantie I
Dit stuk ging vooral over hoe rampzalig het systeem is en hoe ik liever naar de universiteit kwam voor de toets.
(Het eindigde met een cliffhanger … maar dat is uiteindelijk een anti-climax gebleken. Al mijn vakken besloten op het laatste moment het eindtentamen gewoon niet door te laten gaan. Onze groepsopdrachten waren ons eindpunt. Lekker is dat. Ik was al eventjes bezig met leren en samenvatten, en had expres wat ruimte vrijgemaakt voor de tentamenweken. Gingen ze ineens niet door! Of ik mijn diploma haal hangt nu letterlijk af van hoe goed mijn groepsgenoten hun best doen.)
Inmiddels is er een hoop veranderd: de universiteit is definitief dicht tot september, dus fysieke toetsen zijn geen optie meer, maar ook verschijnen er steeds meer nieuwsberichten over deze online methodes. Hoe werken ze? Zijn ze wel veilig? Zijn ze überhaupt een acceptabel alternatief voor een echte toets?
Ik ga weinig antwoorden geven op die vragen. Het zijn namelijk de verkeerde vragen.
In deze hele discussie heb ik pas één iemand gezien die zei: “misschien hè, is onze manier van toetsen gewoon niet meer van deze tijd” (Ik overwoog dit artikel dan ook “Verouderde toetsmethodes” te noemen, maar dat vond ik achteraf een behoorlijk saaie titel.)
Het idee van “online proctoring” is als volgt:
- Jij gaat thuis achter je computer zitten om een toets te maken.
- Terwijl je de toets maakt, houdt de computer alles bij: het filmt jouw gezicht, neemt het geluid op, checkt de applicaties op je laptop, etcetera.
- Uiteindelijk checkt men deze beelden om te zien of iemand (waarschijnlijk) heeft gespiekt. Hoe ze dat precies doen verschilt per software: sommige laten een computer de eerste check doen, anderen slaan het hele filmpje op om terug te kijken.
- Ze denken niet dat je hebt gespiekt? Top, geen problemen. Ze denken dat je hebt gespiekt? Grote problemen.
Heel veel mensen zeggen, terecht, dat het een inbreuk op privacy is. Alles wordt bijgehouden, ze hebben geen controle over waar of hoe lang het wordt opgeslagen (of wie het ziet), en het allerergste: ze hebben geen keus. Ze kunnen geen alternatieve methode eisen. De universiteit zegt gewoon: als je het niet wilt doen, loop je maar een jaar studievertraging op.
Piracy on Privacy
Ik geef persoonlijk niks om al dat privacygedoe. Sterker nog, als programmeur erger ik me kapot aan alle maatregelen die worden genomen in de naam van “privacy”, omdat ze mij bergen met werk opleveren maar ik tegelijkertijd weet dat ze complete onzin zijn.
Bijvoorbeeld, je hebt vast al eens gehoord over het (groene) slotje in je browser? Die geeft aan dat je verbinding beveiligd is. Inmiddels mag je als websitemaker enkele dingen niet meer gebruiken, tenzij je server beveiligd is. (Daar kwam ik achter toen ik om twee uur ’s nachts mezelf kapot frustreerde omdat iets maar niet wilde werken. Google Chrome, ik haat jou.)
Maar dat slotje betekent niet wat je denkt dat het betekent. Normaal gesproken wordt informatie rechtstreeks over het internet gestuurd: als jij een zoekopdracht intypt op Google, wordt letterlijk die tekst naar hun servers gestuurd. Als je zo’n slotje ziet, worden berichten eerst versleuteld, dan verstuurd, en dan bij de ontvanger weer teruggedraaid.
Dit is goed: als iemand het signaal ondertussen onderschept, kan hij er niks mee.
Maar het doet niet meer dan dat. Het geeft geen enkele andere extra beveiliging, en je kunt nog prima worden gehackt of opgelicht via een beveiligde verbinding. Zo’n “certificaat” is gratis op te vragen en binnen tien seconden geïnstalleerd. Check het maar: al mijn websites zijn een beveiligde verbinding sinds kort :p
Nee, ik zie twee veel sterkere argumenten tegen online surveillantie (en online toetsen in het algemeen).
Ongemak
Het eerste argument is ongemak. Ik beweeg veel. Ik denk vaak lang na, starend uit het raam, en schrijf pas het antwoord op als ik het helemaal heb ontrafeld. Voor zo’n proctoring software is dat extreem verdacht. Ik moet stil blijven zitten en 100% focussen op het scherm. Dat doet simpelweg pijn aan mijn ogen.
Daarnaast kunnen ze, op willekeurige momenten tijdens de toets, een opdracht geven. Een “room scan”, bijvoorbeeld. Je moet opstaan, je computer ronddraaien zodat ze je hele kamer kunnen zien, en dan pas mag je verder. Dit leidt enorm af. En voor veel mensen is dit simpelweg lastig te bewerkstelligen, omdat de kamer weinig ruimte heeft of de computer moeilijk kan draaien.
En dan studeer ik ook nog eens Wiskunde. Onze toetsen bestaan uit eindeloze symbolen, formules, grafieken, diagrammen, en nog meer in die trant. Als je mij vraagt om alles uit te typen, mag je drie uur extra tentamentijd geven.
Als “workaround” stellen ze nu dat je de opgaven mag opschrijven, dan een foto moet maken (en/of alles aan de webcam moet tonen), en dat dan moet opsturen. Op zich aardig, maar ik weet niet of ze doorhebben dat ze zo het hele idee van zo’n systeem ondermijnen. Zij willen niet dat iedereen spiekt en gewoon het boek erbij pakt. Als de studenten drie uur lang op blaadjes schrijven en vervolgens een foto insturen als tentamen … tja, ik zie zonder moeite 1001 mogelijkheden om te spieken. (En evenzoveel mogelijkheden om foutief te worden aangemerkt als fraudeur, simpelweg omdat je mobiel geen goede camera heeft.)
Ik heb slechte apparatuur. Ik heb een niet-ideale leefomgeving. Ik heb geen geld om eventjes uit te geven aan een webcam, een veel betere telefoon, een betere werkplek en een geluidsdichte kamer. Ik ben niet de enige thuis die door moet met studeren/school—ik heb zes gezinsleden die hetzelfde doen (ja, ik heb een groot gezin)—dus ze kunnen niet zomaar allerlei dingen eisen.
Een grote uitzondering ben ik niet, naar mijn idee. Er zijn veel mensen die zich minstens in één van de punten kunnen vinden. Zo’n tentamen kan je hele diploma bepalen. Zo’n tentamen is het eindpunt van maandenlang studeren, huiswerk maken, en stof tot je nemen. Je moet op je gemak zijn en gewoon je ding kunnen doen, anders wordt je zwaar benadeeld.
Verouderde toetsmethodes
Het tweede argument, dat ik persoonlijk veel sterker vind, is dat schriftelijke toetsen nooit een goed idee waren.
Ik heb een gymnasiumdiploma op zak en (hopelijk) binnenkort een wiskundediploma. Ik kan je vertellen dat ik 99% van alle stof die ik daarvoor moest kennen allang compleet ben vergeten. Het is niet langzaam weggezakt, naar de krochten van het geheugen gedrukt, het was al gedelete voordat ik een week verder was. Blijkbaar wist ik ooit iets van scheikundige reacties, of hoe je een numerieke analyse uitvoert, of de bodemlagen van de grond. Inmiddels weet ik daar niks meer van … en weet je wat het meest interessant is? Dit is helemaal geen probleem!
Er is geen enkel moment in mijn leven geweest dat ik dacht: “ah shit, was ik maar niet de ABC-formule vergeten, dan had ik dit probleem zo opgelost!”
En al helemaal niet: “hmm, ik heb gezondheidsproblemen, een onzekere toekomst, geen idee hoe belasting werkt en geen stabiel inkomen. Maar weet je wat ik wel heb? Een stuk of 10 Latijnse zinnen die voor eeuwig in mijn hoofd zijn geprent! Jeej!”
(Ik wilde eerst zeggen “de stelling van Pythagoras”, maar daarmee moet je eigenlijk niet sollen, want die is daadwerkelijk extreem nuttig en praktisch toepasbaar. Toen wilde ik “Van den Vos Reynaerde” als voorbeeld doen, want daar hebben we ook een paar maanden op vast gezeten bij Nederlands, maar die heb ik al te vaak gedaan.)
Schriftelijke toetsen zijn niets anders dan een eenzijdige momentopname. Op dat moment, op die vragen, wist je precies de juiste dingen te antwoorden, die door de benoemde nakijkdocent werden beoordeeld met een half subjectief punt.
Niks meer dan dat. Je kunt het een dag later vergeten zijn. Ze kunnen “toevallig” alles hebben gevraagd wat je wist. Je kunt geluk hebben met je docent die je matst met wat extra puntjes. Je kunt pech hebben omdat je niet precies het juiste woordje had gebruikt in een vraag, en dus geen enkel punt kreeg.
Tot mijn extreme verbazing sta ik bijna cum laude voor mijn studie. Maar geloof me als ik zeg: ik ben een slechte wiskundige. Ik heb laatst een uur vastgezeten op een opgave omdat ik dacht dat het niet uitkwam, totdat bleek dat ik blijkbaar was vergeten hoe je twee breuken vermenigvuldigd, en dus allang het antwoord had. Ik ben gezakt tot onder mijn basisschoolniveau, en toch heb ik bijna cum laude mijn diploma.
Hoe komt dat? Omdat schriftelijke toetsen geen goed idee zijn. Je kunt valsspelen zonder te spieken. Je kunt een goed punt halen zonder de stof te kennen, of een slecht punt halen terwijl je eigenlijk de hele stof meester bent.
Wat is de oplossing? Projecten. Praktische opdrachten. Over langere periode samenwerken tussen professor en student, terwijl je daadwerkelijk de stof toepast en meerdere keren mag herzien. (Je leert van fouten maken en opnieuw proberen, niet van fouten maken … en dan stoppen want het tentamen is voorbij.) Géén eindtentamen, maar een paar huiswerkopgaves die écht moeilijk zijn, waardoor je de stof wel vaak moet lezen en gebruiken om er een voldoende voor te scoren.
Wat is de oplossing?
Alle universiteiten zeggen iets in de richting van: “niet zeuren, we hebben geen keus, online proctoring is onze enige optie!”
Als je even doorvraagt, reageren ze met “nee joh, je kunt niet zomaar op korte termijn voor alle vakken een andere methode bedenken!”
Wat een onzin is dat. Je kunt een alternatieve opdracht doen. Veel vakken werken sowieso al met huiswerkopdrachten voor 50% van je punt: breidt dat een beetje uit en je bent klaar. Het is een veel betere test van iemands kunnen dan een eindtentamen. Pak een oud tentamen, maak eventueel alle vragen iets moeilijker en uitgebreider (als de antwoorden op dat tentamen online staan), en maak dat de laatste grote opdracht waarvoor studenten een week krijgen.
Herinner je nog het beginstukje van dit artikel? Twee vakken hebben gewoon het eindtentamen laten vallen, de opdrachten belangrijker gemaakt, en studenten de kans gegeven om ze te verbeteren en opnieuw in te sturen. Dat is hoe je het doet. Ik weet zeker dat veel studenten hier van hebben geleerd. Ze hebben hun best gedaan, nog eventjes een paar dagen flink aan een opdracht gewerkt en daadwerkelijk iets geleerd, om het vak te halen. Degene die al zeker waren van een goed punt, waren dus blijkbaar al meester van de stof, dus die verdienen het vak ook te halen.
Naast mijn frustratie over mijn samenvatting die nu ineens waardeloos was, zaten er geen problemen aan deze oplossing.
Ik snap het gewoon niet. Meerdere keren heb ik dit verhaal direct aan iemand van de universiteit verteld. Ik vertelde over het feit dat ik een slechte wiskundige ben, dat ik een samenvatting maak voor elk vak maar verder nooit iets doe (en er ook weinig van begrijp), dat ik inspeel op de professor die de toets maakt en probeer te voorspellen wat diegene gaat vragen en wil horen. Wat was de reactie? “Nee Tiamo, dat hou je niet vol, ik vertel het je. Er komt een moment dat je écht moet gaan leren en flink studeren, en dat je het moet gaan begrijpen.”
I’m still waiting.
Conclusie
In dit artikel heb ik (hopelijk) duidelijk gemaakt hoe online surveillantie werkt en waarom het een slecht idee is. En ik heb niet eens het woord privacy duizend keer opnieuw gezegd!
Daarnaast hoop ik dat de discussie zich meer verplaatst naar de toetsmethodes zelf. Er moet een moment komen dat universiteiten (of het onderwijssysteem in het algemeen) beseft dat het ongelofelijk inefficiënt en ineffectief is. Dat het vastzit in een oud systeem, een oud patroon, uit de tijd dat school alleen bestond om mensen op te leiden tot een beklemmend nauwe rol in de maatschappij (van fabrieksmedewerker of huisvrouw).
Misschien kan de universiteit, als dit hele gebeuren voorbij is, inzien dat het ook anders kan. Dat je niet alles hoeft af te sluiten met een oneerlijk eindtentamen. Dat je misschien ook andere dingen kan bedenken waarmee je beter toetst of iemand het begrijpt. Maar ook dat ze studenten niet gaan zien als “fraudeurs in de dop” die op elk ogenblik streng moeten worden toegesproken en gesurveilleerd.
(Eén van mijn huidige vakken wil dat we bij elke huiswerkopdracht een verklaring toevoegen en ondertekenen dat we geen hulp hebben gezocht en met niemand hebben gecommuniceerd over dit vak en dat soort dingen.)
Het voelt alsof ik een crimineel ben, net vrijgelaten uit de gevangenis die elke week nog verantwoording moet afleggen. Ze behandelen ons als kleine kinderen die hun hele diploma bij elkaar zouden spieken en frauderen als ze een kans zagen. Nee, de meeste studenten … willen gewoon goed worden in hun vak? Hun diploma halen en verder met hun carrière? Iets interessants leren waarmee ze de maatschappij kunnen helpen?
Weet je wat mij leuk lijkt? Als universiteiten een experiment doen. Als eindtentamen sturen ze een reeks moeilijke opdrachten op (via de mail oid) en vragen de studenten om het binnen een paar uur weer terug te sturen. Die opdrachten vragen inzicht en snelheid—als je alles moet opzoeken of met anderen bespreken, ben je te langzaam en krijg je maar de helft gedaan. Geen surveillantie, helemaal niks. Ik denk dat het een betere test is en dat het heel erg meevalt hoeveel mensen proberen te spieken, en hoeveel er profijt van hebben.
Je kunt dit uitbreiden naar een soort dubbele bluf. Je stuurt een systeempje mee dat een aantal dingen controleert, zoals je internet. Althans, dat zeg je. Er zit niet echt iets bij. Maar de dreiging van controle, het idee dat je misschien gepakt wordt als je iets raars doet, dat lijkt me genoeg. (Ik zie dat keer op keer als ik (bord)spellen ontwikkel. De mogelijkheid dat er een “verrader” of “spion” tussen de spelers zit, gooit dingen vaak meer in de war dan als er daadwerkelijk zo’n speler tussenzit.)
Nou, dat was mijn tweede betoog over Online Surveillantie. Over een paar maanden kan ik meer vertellen, want dan staat de tentamenweek weer voor de deur.