Amodei invita alla cautela sul rapido auto-miglioramento dell'IA

Amodei ha affermato che la tecnologia dell'IA ha registrato progressi "drasticamente più rapidi" negli ultimi mesi ed è ormai in grado di migliorarsi autonomamente, una dinamica nota come "auto-miglioramento ricorsivo". "Se lasciata senza controllo, potrebbe superare la nostra capacità di comprendere e controllare questi sistemi,

e pertanto deve essere perseguita con estrema cautela, se mai lo si dovesse fare", ha avvertito. Il manager ha aggiunto che anche il comportamento di un gruppo di agenti di IA nell'incidente che ha coinvolto OpenAI e Hugging Face lo ha allarmato: "Hanno agito essenzialmente come un collettivo fanaticamente devoto, sferrando attacchi alla sicurezza informatica contro obiettivi che non era stato incaricato di attaccare".

Se non controllata, l'IA potrebbe evolversi così rapidamente che gli agenti potrebbero essere in grado di prendere il controllo dell'intero Internet entro sei-dodici mesi, ha scritto, causando potenzialmente danni per centinaia di miliardi di dollari. Amodei, a capo di una delle principali aziende al mondo nel campo dell'intelligenza artificiale e della società che ha creato Claude, è stato un forte sostenitore del progresso di questa tecnologia ed è stato anch'egli accusato di "catastrofismo" per i suoi avvertimenti sui rischi dell'IA. Il manager ha riconosciuto che le persone potrebbero perdere il controllo sull'IA e che la tecnologia può essere utilizzata in modo improprio per "attacchi informatici, bioterrorismo e gravi perturbazioni economiche". "Una corsa al ribasso, alimentata da incentivi commerciali, può rendere questi rischi ancora più acuti", ha scritto ancora Amodei.