Onderzoekers kunnen zien of ChatGPT tekst schreef

Tekst die geschreven werd door AI is steeds moeilijker als dusdanig te herkennen. Onderzoekers hebben nu een tool ontwikkeld waarmee ze kunnen bepalen of AI een tekst al dan niet schreef.

Generatieve AI staat inmiddels zó ver: ChatGPT kan het huiswerk van je kinderen gemaakt hebben en de leerkracht zal het in meeste gevallen niet geweten hebben. Dat kan nogal eens voor problemen zorgen: hoe zijn we er zeker van dat studenten hun materie nog wel bestuderen en niet gewoon een paper uit ChatGPT halen?

Heel wat mensen zouden geneigd zijn om een van de vele tools, die te vinden zijn op internet, eens uit te proberen. Zulke ‘AI checkers’ slaan echter vaak de bal mis en classificeren materiaal ten onrechte in de AI-categorie. Het is dus geen goed idee om zulke tools in het onderwijs te gebruiken. Wil je wel accuraat voorspellen of AI aan een tekst schreef? Dan heb je daarvoor een onderzoeksteam van de universiteit van Kansas voor nodig.

De onderzoekers zijn er in geslaagd om machinaal leren voor dat doel in te zetten, zij het voor een specifiek type academische teksten.

Onderzoek
Voor het onderzoek werden eerst 64 wetenschappelijke perspectiefartikels geselecteerd. Aan ChatGPT werd gevraagd om die onderzoeken te herschrijven, waardoor er uiteindelijk 1,276 paragrafen aan materiaal door het AI-systeem gegenereerd werden – dat is goed voor 128 artikels. Die dataset werd gebruikt om het lerende systeem te trainen.

Een tweede dataset, bestaande uit zowel echt als gegenereerd materiaal, werd daarna gebruikt om de accuraatheid van het systeem af te toetsen. Van 30 echte teksten en 60 ChatGPT-schrijfsels weet het systeem élke keer of de tekst geschreven werd door AI. Wanneer je paragrafen laat aftoetsen wordt het systeem iets minder zeker: in 92% van de gevallen herkent het systeem de AI.

Conclusie
Dat onderzoekers er in geslaagd zijn om ChatGPT-tekst te herkennen valt gerust indrukwekkend te noemen. Het wil echter niet zeggen dat AI overal herkend kan worden. Volgens de onderzoekers werkte het in dit geval omdat een academische tekst vrij specifiek is en een vrij specifieke opbouw kent.

Daarbij zijn er enkele markeerders die aangeven dat het om een echte schrijver gaat. Zo gebruiken menselijke schrijvers meer voegwoorden zoals ‘hoewel’, ‘maar’ of ‘dankzij’. Of de technologie ook op andere tekstsoorten kan toegepast worden, moet uitgewezen worden door vervolgonderzoek.