/ en / Traditional / help

Beats Biblionetz - Texte

A real-world test of artificial intelligence infiltration of a university examinations system

A “Turing Test” case study
Peter Scarfe, Kelly Watcham, Alasdair Clarke, Etienne Roesch
Publikationsdatum:
Erste Seite des Textes (PDF-Thumbnail)

iconZusammenfassungen

The recent rise in artificial intelligence systems, such as ChatGPT, poses a fundamental problem for the educational sector. In universities and schools, many forms of assessment, such as coursework, are completed without invigilation. Therefore, students could hand in work as their own which is in fact completed by AI. Since the COVID pandemic, the sector has additionally accelerated its reliance on unsupervised ‘take home exams’. If students cheat using AI and this is undetected, the integrity of the way in which students are assessed is threatened. We report a rigorous, blind study in which we injected 100% AI written submissions into the examinations system in five undergraduate modules, across all years of study, for a BSc degree in Psychology at a reputable UK university. We found that 94% of our AI submissions were undetected. The grades awarded to our AI submissions were on average half a grade boundary higher than that achieved by real students. Across modules there was an 83.4% chance that the AI submissions on a module would outperform a random selection of the same number of real student submissions.
Von Peter Scarfe, Kelly Watcham, Alasdair Clarke, Etienne Roesch im Text A real-world test of artificial intelligence infiltration of a university examinations system (2024)

iconDieser wissenschaftliche Zeitschriftenartikel erwähnt ...


Personen
KB IB clear
Lorin W. Anderson , Maria Bannert , B. S. Bloom , Daryna Dementieva , Frank Fischer , Urs Gasser , Aidan N. Gomez , Georg Groh , Stephan Günnemann , Eyke Hüllermeier , Llion Jones , Lukasz Kaiser , Gjergji Kasneci , Enkelejda Kasneci , David R. Krathwohl , Stephan Krusche , Stefan Küchemann , Jochen Kuhn , Gitta Kutyniok , Tilman Michaeli , Claudia Nerdel , Donald A. Norman , OpenAI , Niki Parmar , Jürgen Pfeffer , Illia Polosukhin , Oleksandra Poquet , Michael Sailer , Albrecht Schmidt , Tina Seidel , Kathrin Sessler , Noam Shazeer , Matthias Stadler , Alan Turing , Jakob Uszkoreit , Ashish Vaswani , Jochen Weller

Aussagen
KB IB clear
Computergenerierte Texte erleichtern Plagiarismus bzw. entsprechenden Textbetrug.Computer-generated texts facilitate plagiarism / text fraud
Generative Machine-Learning-Systeme bestehen immer mehr Abschlussprüfungen
Generative Machine-Learning-Systeme erfordern mehr mündliche Prüfungen

Begriffe
KB IB clear
Algorithmusalgorithm , Chat-GPT , Fake-News , General Problem Solver (GPS)General Problem Solver , Generative Machine-Learning-Systeme (GMLS)computer-generated text , Generative Pretrained Transformer 4 (GPT-4) , GMLS & Bildung , GMLS & Hochschule , Künstliche Intelligenz (KI / AI)artificial intelligence , Noten , Prüfung , Psychologiepsychology , semi-supervised learning , Turing-Testturing test
icon
Bücher
Jahr  Umschlag Titel Abrufe IBOBKBLB
1956   Taxonomy of educational objectives (B. S. Bloom) 1, 2, 11, 3, 9, 5, 5, 5, 7, 11, 2, 7 161 25 7 3224
1963 Computers and Thought Personenreihenfolge alphabetisch und evtl. nicht korrekt (Edward Feigenbaum, Julian Feldman) 2, 2, 11, 1, 8, 7, 3, 2, 4, 19, 9, 9 103 41 9 1851
1981  local  Einsicht ins Ich (Douglas Hofstadter, Daniel C. Dennett) 4, 5, 14, 9, 10, 7, 8, 5, 13, 16, 12, 16 114 83 16 8720
1988  local  The Design of Everyday Things (Donald A. Norman) 2, 3, 16, 13, 11, 7, 8, 6, 6, 20, 7, 16 114 22 16 5690
2000 A Taxonomy for Learning, Teaching, and Assessing (Lorin W. Anderson, David R. Krathwohl) 9, 1, 11, 2, 5, 2, 6, 2, 3, 13, 5, 7 75 2 7 1527
2003  local  The New Media Reader (Noah Wardrip-Fruin, Nick Montfort) 7, 4, 19, 3, 11, 9, 7, 8, 7, 18, 12, 7 261 128 7 5213
2021 local  Ideas That Created the Future (Harry Lewis) 5, 3, 16, 2, 14, 11, 9, 6, 7, 19, 10, 9 324 95 9 387
icon
Texte
Jahr  Umschlag Titel Abrufe IBOBKBLB
1950 web  Computing Machinery and Intelligence (Alan Turing) 1, 4, 10, 1, 8, 8, 4, 5, 5, 13, 6, 2 92 10 2 6337
2023 local web  ChatGPT for Good? (Enkelejda Kasneci, Kathrin Sessler, Stefan Küchemann, Maria Bannert, Daryna Dementieva, Frank Fischer, Urs Gasser, Georg Groh, Stephan Günnemann, Eyke Hüllermeier, Stephan Krusche, Gitta Kutyniok, Tilman Michaeli, Claudia Nerdel, Jürgen Pfeffer, Oleksandra Poquet, Michael Sailer, Albrecht Schmidt, Tina Seidel, Matthias Stadler, Jochen Weller, Jochen Kuhn, Gjergji Kasneci) 3, 1, 7, 3, 7, 4, 4, 1, 2, 7, 1, 6 17 18 6 139
2023 local web  GPT-4 Technical Report (OpenAI) 9 25 17 9 9
2023 local web  Attention Is All You Need (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin) 6 28 6 6 6

iconDieser wissenschaftliche Zeitschriftenartikel erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

iconTagcloud

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese SVG-Grafik fensterfüllend anzeigen

iconZitationsgraph (Beta-Test mit vis.js)

iconZeitleiste

iconErwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconAnderswo finden

icon

iconVolltext dieses Dokuments

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBeat und dieser wissenschaftliche Zeitschriftenartikel

Beat hat Dieser wissenschaftliche Zeitschriftenartikel während seiner Zeit am Institut für Medien und Schule (IMS) ins Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es gibt bisher nur wenige Objekte im Biblionetz, die dieses Werk zitieren.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.