Från och med den 20 juli, OpenAI har drog tyst ut kontakten på deras A.I. detektionsprogramvara, AI Classifier, med hänvisning till dess 'låg noggrannhet.' Om det här är första gången du hör om det här, bli inte förvånad – OpenAI begravde nyheterna så djupt under jorden att det tog en vecka för någon att ens märka att den fanns där.
AI-klassificerarens slut kom inte med en smäll, utan ett gnäll. Istället för att tillkännage ändringen i ett uttalande tog OpenAI ner AI Classifiers målsida, som nu helt enkelt visar en felmeddelande , sedan redigerad i två meningar som informerar användarna om att verktyget upphört högst upp i Januari blogginlägg som först lanserade produkten. I det uppdaterade inlägget sa OpenAI att företaget 'forskar mer effektiva härkomsttekniker.'
OpenAI avböjde att kommentera utöver blogginlägget i januari.
korthuset spin off
AI Classifiers felaktighet är inte precis en chock, med tanke på att dess första tillkännagivande ägnade fler ord som beskriver dess varningar och begränsningar än dess styrkor. Detekteringsverktyget kunde bara korrekt identifiera 26 procent av A.I.-skriven text och, mer oroväckande, spottade ut falska positiva (bedömningar som bedömde mänskligt skriven text vara plagierad från A.I.) 9 procent av tiden, enligt OpenAI.
För lärare, opålitliga A.I. Plagiatdetektorer medför mycket fler faror än fördelar
Stängningen av AI Classifier är särskilt oroande för utbildningssektorn. Skapandet av ChatGPT skickade akademiska institutioner i kläm när det blev uppenbart att eleverna blev alltmer beroende av generativ A.I. för nästan allt . A.I. detektionsprogramvara sågs ursprungligen som en av de få fyrar som var tillgängliga för att vägleda lärare genom det stormiga havet av A.I.-genererat plagiat, men det ser ut som att ljuset kan flimra ut.
Marc Watkins, professor vid University of Mississippi som är specialiserad på A.I. inom utbildning, ser AI Classifiers avstängning som symbol för ett större problem.
'Detta är ett erkännande av att [A.I. detektionsprogram] fungerar inte riktigt överallt”, sa han till Observer och noterade University of Pittsburghs nyligen avbruten användning av A.I. detektionsverktyg Turnitin för noggrannhetsskäl.
'Med tanke på att verktyget släpptes i januari och sedan stängdes av i juli verkar det som en ganska tydlig indikation på att detta inte fungerar', sa Watkins om AI Classifier.
Watkins är inte den enda som tappar tron på A.I. detektionsteknik; i en Twitter-undersökning som publicerades den 25 juli sa endast 15,3 procent av 667 tillfrågade att de tror att det är möjligt för vem som helst att göra en konsekvent exakt detektor.
I ljuset av @OpenAI stänger av dess AI-detektionsverktyg på grund av dålig noggrannhet, tror du att någon någonsin kommer att kunna göra en detektor som exakt upptäcker AI-skrivet innehåll?
dog Glen Campbell idag— DataChazGPT 🤯 (inte en bot) (@DataChaz) 25 juli 2023
känslan av ett slut (2017)
När allt kommer omkring, om OpenAI, företaget bakom ChatGPT, inte kan avgöra vilken text som genereras av dess egen algoritm, är det svårt att föreställa sig andra detektionsverktyg som GPT-0 eller Originality.AI klarar sig mycket bättre.
Konsekvenserna av felaktig A.I. upptäckten går djupare än att bara sakna några GPT-skrivna papper. Som student vid University of California upptäckt från första hand i våras har A.I. Plagiatdetektorer kan vara triggernöjda med sina anklagelser och i slutändan få lärare att felaktigt rapportera elever för uppsatser skrivna helt utan påverkan utifrån.
Dessa falska positiva är inte heller slumpmässiga. Till exempel, 'icke-engelsktalande studenter får lägre poäng på förvirring, ett av huvudramarna för A.I. detektorer som används för att bestämma A.I. genererad text', sa Watkins, 'vilket innebär att icke-modersmålstalare kommer att felflaggas i mycket högre takt.'
Även om slutet av AI Classifier har väldigt liten påtaglig inverkan (det finns tusentals fler online), symboliserar det något mycket större: den utbredda odugligheten hos de nuvarande tekniska folierna till ChatGPT.
Watkins sa till Observer att han inte 'förespråkar eller rekommenderar något av de detektionsverktyg' som finns tillgängliga för närvarande, och med OpenAIs generade reträtt från klassificeringsmjukvarans frontlinjer är det inte svårt att se varför.
