Mathematicians issue AI warning: "Can't trust students to submit their own work"

I slutet av maj meddelade företaget Open AI att deras AI-modell hade hittat en lösning på ett välkänt problem som matematiker gått bet på i 80 år. Det är det senaste beviset på att AI nu kan resonera logiskt och behärskar avancerad matematik.

Som svar på den snabba utvecklingen publicerade 16 matematikforskare, med stöd av kollegor och ämnesorganisationer, på tisdagen ”Leidendeklarationen om artificiell intelligens och matematik”. ”Denna deklaration uppmanar till åtgärder för att ta itu med de utmaningar som användningen av artificiell intelligens inom matematikforskning medför”, skriver de. Under de första dygnen fick deklarationen fler än 1 200 underskrifter från forskare i hela världen.

En av undertecknarna är Martin Trapp, biträdande professor i maskininlärning i AI-programmet WASP, Wallenberg AI, Autonomous Systems and Software Program, vid Kungliga tekniska högskolan, KTH, i Stockholm.

– Eftersom jag själv bedriver grundforskning inom AI är jag både entusiastisk över de möjligheter som AI kan ge och oroad över hur missbruk av AI påverkar samhället och forskarsamhället, säger han.

– Leidendeklarationen ser jag som ett viktigt första steg i rätt riktning för att se till att AI-verktyg används med eftertanke.

Arbetet med deklarationen började vid en konferens på universitetet i Leiden i Nederländerna i september förra året. Det elva sidor långa dokumentet presenterar flera möjliga hot mot matematikforskningens grundläggande värderingar, som att AI-modeller kan producera argument som verkar trovärdiga men som kan vara opålitliga eller felaktiga, och svåra att skilja från riktiga matematiska bevis.

– Språkmodeller och AI-agenter kan snabba upp delar av forskningsprocessen. Men de medför också lätt att man tappar kontrollen, och att man får fram triviala, ointressanta eller felaktiga resultat, säger Martin Trapp.

Deklarationen innehåller också rekommendationer för enskilda matematiker, för forskningsorganisationer och finansiärer, för makthavare och för utvecklingen av kommersiell AI. Matematiker uppmanas bland annat att vara tydliga med vilka verktyg de använt, att bidra till att underlätta granskning av resultat och att som människa ta ansvar för att det man presenterar är korrekt. Bland rekommendationerna till makthavare finns uppmaningar att inte tro blint på överdrivna rapporter om vad tekniken kan göra, och att reglera AI-industrin.

David Sumpter, professor i tillämpad matematik vid Uppsala universitet, leder en informell grupp vid universitetet som undersöker hur AI kommer att påverka forskning och undervisning. I januari i år bad han en AI-modell lösa en uppgift som han skulle ge sina studenter.

– Den svarade med en perfekt lösning, bättre än en student skulle göra. Det blev något av en väckarklocka för mig, säger han.

Därför kommer han nu att ha muntliga tentor för studenterna.

– Det är 500 studenter. Men vi måste, för det går inte längre att lita på att de själva har kommit fram till det de skickar in till oss.

Själv skriver David Sumpter aldrig under upprop och deklarationer, och han kommer inte heller att skriva under denna. Han håller med om delar av den, men tycker också att den fokuserar för mycket på fel saker, som hur forskare ska kunna behålla systemet med att bedöma varandra och meritera sig för nya tjänster genom de forskningsartiklar de publicerar.

– Vi har länge behövt ändra hur vi gör den typen av bedömningar. De har länge haft mycket stora begränsningar. Som jag ser det har AI bara satt ljuset på problemet, säger han.

Syftet med forskning kan inte vara att bygga en egen karriär, menar David Sumpter.

– Något som för fem år sedan skulle ha bedömts som en bra artikel kan en AI nu skriva ihop på en halvtimme. Vad ska vi då hålla på med?

– De frågorna kommer inte att lösas genom ett manifest. Men det är ett bra sätt att börja en diskussion.

Läs mer:

AI:s senaste genombrott skrämmer matematiker

”Under en halvtimme löste AI:n det jag försökt under hela min karriär”