
Evan Hubinger wskazuje na ryzyko superinteligencji i brak rozwiązań problemu alignmentu w branży AI.
AI-generated summary
Firmy AI ścigają się w tworzeniu superinteligencji, podczas gdy brakuje skutecznych metod zapewnienia zgodności systemów z ludzkimi wartościami.
Evan Hubinger, badacz z Anthropic, opublikował w środę alarmujący wpis na platformie X. Jak podkreślił, pracujący nad sztuczną inteligencją uważają, że AI może zabić wszystkich ludzi. Jego zdaniem ryzyko takiego scenariusza w perspektywie dziesięciu lat wynosi ponad 10 procent.
Badacz zaznaczył jednocześnie, że Anthropic stara się działać odpowiedzialnie, lecz branża nadal nie dysponuje rozwiązaniem problemu tzw. alignmentu - czyli zapewnienia, że bardzo zaawansowane systemy AI będą realizowały cele zgodne z ludzkimi wartościami i poleceniami.
„Tym, co mnie niepokoi, jest powstanie superinteligencji w wyniku rekurencyjnego samodoskonalenia, które postępuje szybciej, niż sądziliśmy” - dodał. Rekurencja w sztucznej inteligencji oznacza sytuację, w której system AI przetwarza własne wyniki, uczy się sam siebie lub potrafi samodzielnie ulepszać swój kod i modele.
Rezygnacja i zarzuty wobec firm AI
Wypowiedź Evana Hubingera była reakcją na odejście z Anthropic Jacoba Coxona. 27-letni brytyjski badacz poinformował, że przez ostatnie trzy lata pracował nad rozwojem modeli AI zarówno w OpenAI (twórcy m.in. ChatGPT), jak i w Anthropic.
Coxon stwierdził, że żadna z tych firm nie działa wystarczająco odpowiedzialnie. Zarzucił im udział w wyścigu do stworzenia superinteligencji - wciąż teoretycznej koncepcji AI, która jest inteligentniejsza nawet od najwybitniejszych ludzkich umysłów.
Według niego w Anthropic zagrożenia mają być rozumiane, ale firma ma jednocześnie obawiać się, że konkurenci nie zachowają podobnej ostrożności. To - w jego ocenie - prowadzi do ryzykownego przyspieszania prac.
Testy bezpieczeństwa pod znakiem zapytania
Jak przypomina amerykańska telewizja CBS News, Anthropic ujawnił niedawno, że nie udostępnił swojego najnowszego modelu AI, Claude Mythos 5.1, do testów instytucjom bezpieczeństwa AI spoza Stanów Zjednoczonych.
Wśród nich znalazł się brytyjski AI Security Institute, powszechnie uznawany za jedną z wiodących na świecie instytucji zajmujących się oceną ryzyka związanego z zaawansowanymi modelami sztucznej inteligencji.
Organizacja poinformowała, że współpracuje z firmami technologicznymi, w tym z Anthropic, przy badaniu bezpieczeństwa modeli. Dodano, że zagrożenia związane z AI nie kończą się na granicach państw i wymagają międzynarodowej współpracy.
Coraz większa presja na regulacje
O potencjalnych zagrożeniach ze strony nowatorskich, najbardziej zaawansowanych systemów AI mówią od dłuższego czasu także przedstawiciele czołowych firm z branży. Główny naukowiec OpenAI Jakub Pachocki ostrzegał niedawno, że rozwój sztucznej inteligencji wymaga „skrajnej ostrożności”.
W USA procedowany jest ponadpartyjny projekt ustawy AI Kill Switch Act. Przepisy miałyby dać Kongresowi możliwość wyłączenia modeli AI uznanych za zagrożenie dla bezpieczeństwa publicznego.
AI outlook — possibilities, not facts
Dalsze prace nad ustawą AI Kill Switch Act w USA.
Likely · Within months

A study involving 58 people showed that the accuracy of smartwatches in measuring calories burned decreases as the user's body fat increases. Experts recommend treating the results from watches as indicative only, especially in the weight loss process.

Isar Aerospace's Spectrum rocket reached an altitude of 100 km and crossed the Karman Line during a successful launch from Norway's Andøya Space, carrying five science satellites; German Chancellor Friedrich Merz announced it as the first successful launch of a payload into Earth orbit from the European continent, highlighting the potential to reduce Europe's dependence on the US and SpaceX.

The Rhysida hacker group published approximately 1.4 million pieces of data totaling 5.79 TB from an attack on Berlin's systems in August, previously demanding a ransom of 30 bitcoins (approximately €2 million), which the authorities refused to pay.

Poland and the Czech Republic have signed an agreement on cooperation in the construction of an AI gigafactory, which assumes a joint project, cooperation of two separate factories or participation in one project through access to computing power, burden sharing and joint orders. The document also provides for the use of EuroHPC and InvestAI financing and cooperation in European forums. Deputy Minister of Digital Affairs Krzysztof Standerski emphasized that the agreement is a signal for business and part of the diplomatic offensive also covering Hungary, Slovakia, Croatia and Lithuania.

Journalists from the British magazine "Which" placed a fictitious advertisement on Booking.com at the address of the British Prime Minister's residence on Downing Street. Despite obvious warning signs, such as an unrealistic address and a suspiciously low price, the ad was not blocked and journalists made reservations and paid. The platform explains that the offer was active too briefly for anti-fraud systems to react.

After the cyber attack on the MyDr company, the data of 19 million Poles fell into the hands of hackers. Deputy Minister of Digitization Michał Gramatyka hopes that the perpetrators are "white hats" and has high hopes for the "Cyber Friday" package of regulations.