/ en / Traditional / help

Beats Biblionetz - Texte

A real-world test of artificial intelligence infiltration of a university examinations system

A “Turing Test” case study
Peter Scarfe, Kelly Watcham, Alasdair Clarke, Etienne Roesch
Publikationsdatum:
Erste Seite des Textes (PDF-Thumbnail)
Dieses Biblionetz-Objekt existiert erst seit Juli 2024. Es ist deshalb gut möglich, dass viele der eigentlich vorhandenen Vernetzungen zu älteren Biblionetz-Objekten bisher nicht erstellt wurden. Somit kann es sein, dass diese Seite sehr lückenhaft ist.

iconZusammenfassungen

The recent rise in artificial intelligence systems, such as ChatGPT, poses a fundamental problem for the educational sector. In universities and schools, many forms of assessment, such as coursework, are completed without invigilation. Therefore, students could hand in work as their own which is in fact completed by AI. Since the COVID pandemic, the sector has additionally accelerated its reliance on unsupervised ‘take home exams’. If students cheat using AI and this is undetected, the integrity of the way in which students are assessed is threatened. We report a rigorous, blind study in which we injected 100% AI written submissions into the examinations system in five undergraduate modules, across all years of study, for a BSc degree in Psychology at a reputable UK university. We found that 94% of our AI submissions were undetected. The grades awarded to our AI submissions were on average half a grade boundary higher than that achieved by real students. Across modules there was an 83.4% chance that the AI submissions on a module would outperform a random selection of the same number of real student submissions.
Von Peter Scarfe, Kelly Watcham, Alasdair Clarke, Etienne Roesch im Text A real-world test of artificial intelligence infiltration of a university examinations system (2024)

iconDieser wissenschaftliche Zeitschriftenartikel erwähnt ...


Personen
KB IB clear
Lorin W. Anderson , Maria Bannert , B. S. Bloom , Daryna Dementieva , Frank Fischer , Urs Gasser , Aidan N. Gomez , Georg Groh , Stephan Günnemann , Eyke Hüllermeier , Llion Jones , Lukasz Kaiser , Gjergji Kasneci , Enkelejda Kasneci , David R. Krathwohl , Stephan Krusche , Stefan Küchemann , Jochen Kuhn , Gitta Kutyniok , Tilman Michaeli , Claudia Nerdel , Donald A. Norman , OpenAI , Niki Parmar , Jürgen Pfeffer , Illia Polosukhin , Oleksandra Poquet , Michael Sailer , Albrecht Schmidt , Tina Seidel , Kathrin Sessler , Noam Shazeer , Matthias Stadler , Alan Turing , Jakob Uszkoreit , Ashish Vaswani , Jochen Weller

Aussagen
KB IB clear
Computergenerierte Texte erleichtern Plagiarismus bzw. entsprechenden Textbetrug.Computer-generated texts facilitate plagiarism / text fraud
Generative Machine-Learning-Systeme bestehen immer mehr Abschlussprüfungen
Generative Machine-Learning-Systeme erfordern mehr mündliche Prüfungen

Begriffe
KB IB clear
Algorithmusalgorithm , Chat-GPT , Fake-News , General Problem Solver (GPS)General Problem Solver , Generative Machine-Learning-Systeme (GMLS)computer-generated text , Generative Pretrained Transformer 4 (GPT-4) , GMLS & Bildung , GMLS & Hochschule , Künstliche Intelligenz (KI / AI)artificial intelligence , Noten , Prüfung , Psychologiepsychology , semi-supervised learning , Turing-Testturing test
icon
Bücher
Jahr  Umschlag Titel Abrufe IBOBKBLB
1956   Taxonomy of educational objectives (B. S. Bloom) 1, 5, 5, 3, 7, 21, 2, 1, 2, 11, 3, 9 155 25 9 3182
1963 Computers and Thought Personenreihenfolge alphabetisch und evtl. nicht korrekt (Edward Feigenbaum, Julian Feldman) 6, 2, 5, 2, 5, 7, 7, 2, 2, 11, 1, 8 96 30 8 1798
1981  local  Einsicht ins Ich (Douglas Hofstadter, Daniel C. Dennett) 2, 11, 9, 5, 6, 13, 2, 4, 5, 14, 9, 10 107 72 10 8643
1988  local  The Design of Everyday Things (Donald A. Norman) 2, 7, 11, 5, 12, 7, 4, 2, 3, 16, 13, 11 113 22 11 5620
2000 A Taxonomy for Learning, Teaching, and Assessing (Lorin W. Anderson, David R. Krathwohl) 2, 1, 2, 5, 2, 4, 6, 9, 1, 11, 2, 5 72 2 5 1489
2003  local  The New Media Reader (Noah Wardrip-Fruin, Nick Montfort) 2, 10, 3, 4, 9, 18, 4, 7, 4, 19, 3, 11 250 113 11 5145
2021 local  Ideas That Created the Future (Harry Lewis) 2, 4, 9, 32, 7, 16, 4, 5, 3, 16, 2, 14 311 68 14 316
icon
Texte
Jahr  Umschlag Titel Abrufe IBOBKBLB
1950 web  Computing Machinery and Intelligence (Alan Turing) 2, 2, 4, 5, 7, 12, 4, 1, 4, 10, 1, 8 85 10 8 6294
2023 local web  ChatGPT for Good? (Enkelejda Kasneci, Kathrin Sessler, Stefan Küchemann, Maria Bannert, Daryna Dementieva, Frank Fischer, Urs Gasser, Georg Groh, Stephan Günnemann, Eyke Hüllermeier, Stephan Krusche, Gitta Kutyniok, Tilman Michaeli, Claudia Nerdel, Jürgen Pfeffer, Oleksandra Poquet, Michael Sailer, Albrecht Schmidt, Tina Seidel, Matthias Stadler, Jochen Weller, Jochen Kuhn, Gjergji Kasneci) 4, 10, 8, 13, 9, 2, 1, 3, 1, 7, 3, 7 13 17 7 114
2023 local web  GPT-4 Technical Report (OpenAI) 19 15 0 0
2023 local web  Attention Is All You Need (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin) 20 6 0 0

iconDieser wissenschaftliche Zeitschriftenartikel erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

iconTagcloud

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese SVG-Grafik fensterfüllend anzeigen

iconZitationsgraph (Beta-Test mit vis.js)

iconZeitleiste

iconAnderswo finden

icon

iconVolltext dieses Dokuments

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBeat und dieser wissenschaftliche Zeitschriftenartikel

Beat hat Dieser wissenschaftliche Zeitschriftenartikel erst in den letzten 6 Monaten in Biblionetz aufgenommen. Er hat Dieser wissenschaftliche Zeitschriftenartikel einmalig erfasst und bisher nicht mehr bearbeitet. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es gibt bisher nur wenige Objekte im Biblionetz, die dieses Werk zitieren.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.