Försvåra och upptäck otillåten användning av AI

AI är under ständig och snabb utveckling och det är nödvändigt att fortlöpande följa utvecklingen. Här följer några råd och förslag, som har sorterats i två kategorier:

• sådana som kan genomföras ganska snabbt och okomplicerat, även av en enskild lärare, och som kretsar kring själva formuleringen av skriftliga hemuppgifter
• sådana som kräver en större översyn av examinationspraxis, och som kan innebära mer omfattande och resurskrävande åtgärder

Allra sist kommer några rader om möjligheten att spåra huruvida texter skapats av AI-verktyg.

1) Formulering av hemuppgifter

Följande två råd är relativt okomplicerade att genomföra, och handlar om hur skriftliga hemuppgifter formuleras.

• Ställ krav på att också kortare texter ska innehålla referenser
• Ställ frågor där svaret helt eller delvis ska baseras eller tillämpas på lokala, specifika kontexter

2) Översyn av examinationspraxis

Flera av följande förslag bygger på mer eller mindre omfattande inslag av återkoppling eller uppföljning. Det säger sig självt att detta kräver resurser och här behöver varje ämne, institution eller program göra en egen bedömning av vad som är rimligt – men på en del kurser behöver det inte vara omöjligt att flytta mer lärartid till återkoppling.

• Se över vilka kursmål som examineras genom hemuppgifter
• Inför fler tillfällen med muntlig examination
• Återkoppla på versioner av uppgiften
• Överväg stegvis examination - skriftlig + muntlig
• Använd universitetets skrivsalar på nya sätt

Observera i samtliga fall att det inte är tillåtet att införa nya examinationsformer på en kurs om de inte omfattas av formuleringarna i gällande kursplan, så detta är en process som kan ta förhållandevis lång tid.

Förslagen

Ställ krav på att också kortare texter ska innehålla referenser

AI-verktygen utvecklas hela tiden, och de flesta är nu kapabla att inkludera referenser till de texter som genereras. Fortfarande är dock dessa referenser ofta otillfredsställande: den formella utformningen är perfekt, men placeringen i texten, och matchningen mellan textens innehåll och referensens innehåll, är inte sällan mindre lyckad. Vissa verktyg kan t.o.m. hitta på fullkomligt falska referenser, men även när referenserna verkligen leder till sidor på nätet och artiklar som verkligen existerar, kan de vara påfallande oprecisa vad gäller sidhänvisningar. Det finns f.ö. verktyg som kan leta efter referenser till en given text, t.ex. PaperPal: då kan texten faktiskt vara skriven av studenten, men referenserna vara genererade av AI.

För lärarna kan just undermåliga referenser förhållandevis enkelt ge en vink om att en inlämnad hemtenta åtminstone behöver följas upp närmare, på lämpligt sätt, men även om allt ser bra ut bör man ha som vana att ta några stickprov för att kolla referenserna (och naturligtvis ska studenterna känna till att man kommer att göra det). Viktigare än de nämnda bristerna (som med tiden säkert blir färre) är förstås att varje referens ger ytterligare möjligheter för lärarna att diskutera svaret med studenterna, som ju naturligtvis måste kunna visa att referensen är resultatet av ett genomtänkt val. men placering av och innehåll i referenserna är inte sällan märkliga.

Börja med att se över instruktionerna för hemtentor, PM, uppsatser m.m. och ställ krav på att även kortare texter ska vara försedda med fullständiga, korrekt utförda källhänvisningar till använd litteratur, som ska placeras inne i texten, i omedelbar anslutning till de ställen där de är relevanta. Betona i instruktionerna att referenserna utgör en del av svaret som också kommer att bedömas och vid behov följas upp.

Lyckligtvis handlar ju inte detta krav i grund och botten om att få hjälp att få syn på eventuellt fusk. I själva verket är det bara bra att studenterna tidigt får lära sig att belägga resonemang med noggranna referenser, och inser vilken central roll denna del av det akademiska hantverket spelar för att kunna föra ett vetenskapligt samtal.

Instruktionerna behöver inte heller stanna vid att enbart kräva referenser:

• Inkludera t.ex. i uppgiften att studenterna ska motivera urvalet av källor, som de refererar till
• Ni kan också be studenten att utförligare diskutera innehållet i de källor som de refererar till.

Naturligtvis är detta inte en lösning på alla problem, eftersom inte alla skriftliga hemuppgifter lämpar sig för att späckas med referenser, utan kan behöva andra lösningar.[Tillbaka]

Ställ frågor där svaret helt eller delvis ska baseras eller tillämpas på lokala, specifika kontexter

Formulera uppgifter där studenterna i sitt svar utifrån kurslitteratur m.m. ska analysera eller på annat sätt relatera till aktiviteter som har ägt rum på just den aktuella kursen, eller be dem att basera eller tillämpa resonemang i svaret på specifika situationer eller omständigheter som inte gärna kan vara kända för ett AI-verktyg.

Naturligtvis är inte heller denna metod helt säker. Om den prompt som skrivs inkluderar en beskrivning av kursspecifika omständigheter kan verktyget ge svar även på sådan frågor. [Tillbaka]

Se över vilka mål som examineras genom hemuppgifter och ändra eventuellt examinationsform

Valet av lämpliga examinationsformer görs normalt utifrån kursmålen, och för vissa typer av mål är hemuppgifter inte den bäst lämpade examinationsformen. Hemuppgifter bör t.ex. ha mindre fokus på kunskapsfrågor, utan istället ställa höga krav på metod och färdigheter, som att kunna välja ut och motivera vilken information eller vilket källmaterial som är relevant för att svara på uppgiften, och på självständig, kritisk analysförmåga. Börja alltså för säkerhets skull med att se över er examinationspraxis. Kanske finns det hemuppgifter som det är helt rimligt att ersätta med salstentor, eller där examinationen istället kan ske i samband med någon annan form av aktivitet?[Tillbaka]

Muntlig examination?

Ett alternativ som bör övervägas är muntlig tentamen. Det kan naturligtvis verka oöverstigligt, rent tidsmässigt, men det går ofta att examinera några studenter i taget – och det tar också mycket tid att konstruera skriftliga tentafrågor, och att rätta högar av skrivningar. Brytpunkten där det inte tar längre tid att genomföra en serie muntliga tentor behöver inte alls ligga orealistiskt långt borta – och ibland kan en muntlig tenta göra studenternas kunskaper mer rättvisa. Observera att gällande kursplaner kan behöva justeras om inte muntlig examination är angiven som möjlig examinationsform!

Om man överväger muntlig tentamen är det klokt att först diskutera i lärarkollegiet, men därefter också i institutionsstyrelsen och andra organ där studentrepresentanter finns med, vilka riktlinjer som ska gälla vid examinationen så att den genomförs på ett rättssäkert och rättvisande sätt. Vid muntlig examination är det särskilt viktigt att det finns klart uttryckta betygskriterier, som är kända av studenterna i förväg, och som kan hjälpa lärarna att formulera adekvata frågor. Framför allt är det viktigt att tidigt i kursen informera studenterna om vad som gäller och hur examinationen kommer att gå till, för muntlig examination upplevs av många studenter som extremt stressande. I UKÄ:s Rättssäker examination föreslås också att muntlig examination kan dokumenteras för att underlätta eventuell omprövning.

Ett alternativ är att låta den muntliga examinationen vara steg 2 av en examination vars första steg är inlämningen av en skriftlig uppgift. Det ger det muntliga examinationstillfället en stramare struktur. Här nedanför beskrivs två sådana scenarier.[Tillbaka]

Återkoppla på versioner av uppgiften

Uppsatser av typ examensarbeten växer så gott som alltid fram som en serie versioner, som diskuteras enskilt eller i grupp med studenterna. Inom ramen för en sådan process, där texterna växer fram gradvis och deras utformning diskuteras och justeras löpande blir det svårare att försöka klara sig med AI-genererade texter. Alla uppgifter är förstås inte tillräckligt omfattande för att göra en sådan större process motiverad – men även på många mindre PM-uppgifter så skulle inslag av versionsdiskussioner göra att det blir svårare att stå för en text som man inte själv skrivit.

En möjlighet är att låta den typen av diskussioner helt eller delvis föras genom någon form av kamratåterkoppling – i sig ett viktigt lärmoment. Särskilt på moment som ligger tidigt i utbildningarna kan det då vara viktigt att förse studenterna med någon typ av stödmaterial och exempel som förklarar vad det är viktigt att fråga om.

Vare sig versionsdiskussioner sker med lärare eller medstudenter är det förstås centralt att de inte genomförs och uppfattas som ett kontrollinstrument mot fusk, utan utgör en del av undervisningen, och ett stöd för studenterna. Om de samtidigt gör det mindre attraktivt att fuska, så är det en god bieffekt.[Tillbaka]

Överväg stegvis examination - skriftlig + muntlig

Alla hemuppgifter utgörs inte av löpande text. Svar som till stora delar utgörs av mer formelartad text, som programkod eller matematiska eller andra formler, kan t.ex. inte på samma sätt förses med referenser. Här finns kanske två vägar att gå: antingen att trots allt flytta examinationen till någon form av salsbaserad, övervakad tentamen (se längre ned på denna sida), eller att konsekvent lägga resurser på en muntlig examinationsdel då läraren träffar studenten – ensam, eller i smågrupper – och för en diskussion kring svaren, där studenterna muntligt behöver motivera och förklara sina valda lösningar, formuleringar, faktaurval m.m. Om man inte har skaffat sig de kunskaper som behövs, blir det oerhört svårt att ta ansvar för en text som man inte själv har skrivit. Läraren behöver i princip inte ens väcka diskussionen om fusk, utan kan underkänna och begära in en omtentamen i form av en ny skriftlig uppgift, som också ska examineras muntligt.

Naturligtvis måste studenterna i detta fall då få veta i förväg att examinationen inte är avslutad förrän efter detta andra, muntliga steg. Kontrollera att detta medges inom ramen för kursplanens formuleringar om examinationssätt.

Detta kräver naturligtvis resurser i lärartid – men eftersom man också kan ge muntlig återkoppling i samband med tentamen, istället för skriftlig, finns det ändå fördelar med detta arbetssätt: läraren kan vinna en del tid, eftersom skriftlig återkoppling alltid tar mer tid, och för studenterna blir återkopplingen mer effektiv när den kommer i nära anslutning till examinationen.

[Tillbaka]

Använd universitetets skrivsalar på nya sätt

Universitetets tentamenslokaler står relativt ofta tomma. Genom att öppna skrivsalarna vissa dagar för självständigt skrivande kan vi utnyttja de möjligheter som finns att kontrollera tillgången till nätbaserade hjälpmedel i viss eller fullständig omfattning. Verktygen finns för att låta studenten komma på en självvald tidpunkt till skrivsalen under öppettiden, och skriva på flera olika sätt:

Med låsta datorer där studenterna loggar in som på en ordinarie tenta och får en viss begränsad tid att skriva med hjälp av tillåtna medhavda resurser (Böcker, föreläsningsanteckningar eller liknande) och vitlistade, tillåtna nätresurser.
Som ovan men med möjlighet för studenten att återkomma vid flera tillfällen till skrivsalen och få en ny inloggning i samma uppgift med hjälp av tentavakten. Här kan alltså uppgiften färdigställas över loppet av flera dagar, men fortfarande i en kontrollerad miljö.
Med öppna datorer där studenten har fullständig tillgång till allt på nätet, och medhavda resurser, men då med begränsade möjligheter att samarbeta med andra studenter. Möjligheten att logga studentens besökta webbsidor bör undersökas, eftersom en helt öppen dator även öppnar för chattrum och sociala medier.

I samtliga fall där en uppgift ska lämnas in så gäller då att det skrivna ska lämnas in från skrivsalen. Detta kan kontrolleras eftersom en andra inloggning på samma uppgift måste göras med assistans av en tentamensvakt som släpper in studenten med ett administratörslösenord. Det är alltså inte möjligt för studenten att påbörja ett arbete i skrivsalen och färdigställa det vid ett senare tillfälle från annan plats med det här upplägget. Däremot är det möjligt för studenten att återkomma till skrivsalen och få en ny inloggning med hjälp av tentavaktens administratörslösen.

En inlämningsuppgift kan alltså konfigureras för studenten på flera olika sätt:

• Som en uppgift som ska färdigställas under en begränsad, men flexibelt placerad tidsrymd. Inställningar kan göras så att studenten får en viss tid att skriva från det att hen påbörjar uppgiften, men tidpunkten för start kan väljas av studenten.
• Som en uppgift som kan färdigställas under flera sittningar. Studenten kan i det här fallet återvända till skrivsalen en annan dag eller tid och fortsätta sitt arbete. Studenten är inte bunden till en viss dator eller en viss skrivsal för detta. Uppgiften kan påbörjas exempelvis på Bergsbrunnagatan och fortsättas på Råbyvägen, däremot kan studenten inte logga in på egen hand hemifrån eller från annan datorsal på universitetet.

För att diskutera vilka möjligheter som finns, kontakta tentamensamordning@uadm.uu.se [Tillbaka]

Går det att spåra att material är AI-genererat?

Naturligtvis kan en erfaren lärare fortfarande utan särskilda verktyg upptäcka märkliga formuleringar i studenters texter, som skiljer sig så pass mycket språkligt och innehållsmässigt från det förväntade att man granskar dem extra noga. Flera fall av slarviga citat, men också av AI-relaterat fusk har också börjat nystas upp just på detta sätt, men tyvärr kan man inte vara säker på att alla andra texter, som inte sticker ut, är studenternas egna. Finns det verktyg som kan hjälpa lärarna att göra den bedömningen?

Det finns en uppsjö av AI-verktyg som är avsedda att kontrollera om en text har genererats genom AI. Inget av dem är dock tillräckligt bra för att med säkerhet avgöra huruvida en text är autentisk eller AI-genererad. Flera tester har genomförts av dessa s.k. detektorer, och de fångar inte upp alla AI-genererade texter, de kan felaktigt klassificera autentiska texter som skrivna med hjälp av AI, och de kan ibland luras av endast några få, små förändringar i en AI-genererad text. Det finns dessutom andra AI-verktyg som enbart har till uppgift att bearbeta texter så att de inte ska framstå som AI-genererade...

Säkert kommer detektorerna att utvecklas, men i den pågående, snabba utvecklingen av både teknik och användarnas praxis är det säkrast att inte sätta sin lit enbart till tekniska lösningar. Att istället utveckla själva examinationen är en mer långsiktigt hållbar lösning, som också kan medföra andra, kvalitativa fördelar för studenternas lärande.[Tillbaka]