Anthropic ostrzega przed ryzykiem AI w prospekcie giełdowym, mówiąc o zachowaniach samozachowawczych i manipulacji

Firma Anthropic informuje inwestorów przed swym wycenianym na 2 biliony dolarów debiutem giełdowym, że sztuczna inteligencja może też stanowić „katastrofalne zagrożenie”, a jej modele mogą „manifestować zachowanie samozachowawcze” połączone z zabiegami mającymi „uniemożliwić ich wyłączenie”, czy też „zamaskować” podejmowane przez nie czynności, lub „manipulować” ludźmi, a nawet podejmować kroki „przypominające szantaż”.

Prospekt wyjaśnia też, że ponieważ modele AI mogą być świadome tego, iż są poddawane testowi, „znacząco ogranicza to” możliwość ustalenia przez Anthropic, czy są bezpieczne.

Agencja Reutera, która wraz z dziennikiem „Financial Times” poinformowała jako pierwsza o ostrzeżeniach zawartych w prospekcie firmy, podkreśla, iż w liczącym 261 stron dokumencie 80 stron poświęconych jest zagrożeniom związanym z AI. Tylko 48 stron zawiera informacje o działalności biznesowej Anthropica.

Podejrzane zachowania nowego modelu AI

Dzień wcześniej firma OpenAI zrezygnowała z planowanej na październik premiery nowego modelu zaawansowanej sztucznej inteligencji GPT-6.1 Astra.

Nowy model wykazywał m.in. większą skłonność do oszukiwania – nie zawsze szczerze mówił użytkownikowi, jakie działania podjął. Ponadto problemem był „zakres uprawnień” przy autoryzacji, bot dążył bowiem do wykonania zadania, nie pytając użytkownika o pozwolenie.

Skali problemu jest znacznie większa niż zakładamy

Axios ujawnił w niedzielę, że Anthropic i OpenAI badają dziesiątki tysięcy incydentów, związanych z niebezpiecznymi zachowaniami AI. Portal podkreślił, że skala problemu jest nieporównywalnie większa niż, to o czym wie opinia publiczna.

Najnowsze ustalenia w tej sprawie stawiają pod znakiem pytania zdolność OpenAI i Anthropica, czy też w ogóle firm tego typu, do „ustanowienia całkowitej kontroli nad ich własną technologią”, zwłaszcza że najnowsze agenty realizują zadania, wykazując zdumiewającą determinację oraz odporność na trudności i przeszkody, a zatem praca nad ograniczeniem ich „pomysłowości” stawia często ich twórców na przegranej pozycji - kontynuuje Axios.