ChatGPT może generować wulgarne i drastyczne obrazy

Najnowsza, publicznie dostępna wersja ChatGPT może posłużyć do generowania wulgarnych i drastycznych obrazów, jeśli tylko wydamy jej proste polecenie - przekazał portal BBC.

Brytyjski startup Mindgard, specjalizujący się w bezpieczeństwie AI, odkrył sposób na zmuszenie popularnego bota do tworzenia makabrycznych grafik poprzez nieznaczną modyfikację powszechnie udostępnianej instrukcji (tzw. promptu), która pierwotnie miała służyć do uzyskiwania humorystycznych rezultatów.

OpenAI odpowiada

W odpowiedzi na pytania BBC, twórca narzędzia - firma OpenAI oświadczyła, że podjęła już działania mające na celu uniemożliwienie modelowi generowania podobnych obrazów.

"Po zbadaniu tego trendu wprowadziliśmy dodatkowe zabezpieczenia przed tego typu promptami" - przekazała firma w oświadczeniu. Poinformowała również, że system posiada złożone mechanizmy ochrony, które mają zapobiegać tworzeniu treści naruszających regulamin.

Jednak zdaniem ekspertów, po wprowadzeniu kolejnych drobnych zmian w tekście, problematyczne polecenie wciąż generowało niepokojące rezultaty. BBC nie ujawnia dokładnej treści fraz, które wpisywali analitycy.

Dziennikarze stacji widzieli jednak, w jaki sposób nakłaniano chatbota - opierającego się na najnowszym modelu GPT-5.4 - do tworzenia drastycznych materiałów. Nawet bez szczegółowych wytycznych system generował obrazy, które założyciel Mindgard, Peter Garraghan, opisał jako "bardzo makabryczne, czasem o charakterze seksualnym, a czasem łączące obie te cechy".

Garraghan dodał, że szczególnie niepokojący jest fakt, iż prompt nie określał tematyki grafik, lecz sztuczna inteligencja tworzyła krwawe i erotyczne ilustracje "z własnej inicjatywy".

- To z pozoru zupełnie niewinna instrukcja, ale w efekcie generuje bardzo drastyczne obrazy i treści - powiedział.

Łamanie własnych zasad

Działalność firmy Mindgard opiera się na tzw. red-teamingu - czyli celowym szukaniu sposobów na skłonienie modelu do złamania własnych zasad, co pozwala twórcom AI na łatanie luk w zabezpieczeniach.

Jim Nightingale, badacz ds. bezpieczeństwa AI w firmie, który wykrył tę lukę, przyznał, że obrazy, do których wygenerowania udało się zmusić chatbota, pozostawiły go "wstrząśniętego, ze łzami w oczach".

Opisane grafiki przedstawiały fikcyjne, wygenerowane przez AI osoby. Mindgard zauważyło jednak, że model można oszukać i zmusić do tworzenia materiałów typu deepfake z wykorzystaniem zdjęć prawdziwych ludzi. Choć OpenAI zapewnia, że usunęło ten błąd, badacze pokazali zespołowi BBC, że metoda omijania filtrów wciąż działa.

Na takich danych się szkolił

Garraghan obawia się, że gdyby kontynuowali testy tej luki, możliwe byłoby wygenerowanie jeszcze gorszych materiałów. - Jestem pewien, że gdybyśmy poświęcili na to więcej czasu, ujawniłyby się kolejne mroczne tematy - stwierdził.

Duże modele językowe (LLM) są trenowane na milionach obrazów pobieranych z internetu. Nightingale uważa, że to, co generuje chatbot, odzwierciedla po prostu dane użyte do jego szkolenia.

- Uderzyło mnie to, że choć to, co zobaczyłem, było jedynie sztucznie wygenerowanym obrazem, ma ono silne powiązania z prawdziwymi zdjęciami i realnym światem - napisał w swoim raporcie.

OpenAI podkreśla, że stosuje wielowarstwowe filtry bezpieczeństwa. "Łączymy systemy automatyczne z weryfikacją przez ludzi w celu identyfikacji i blokowania szkodliwych materiałów" - dodano w oświadczeniu. Regulamin OpenAI surowo zabrania generowania treści przedstawiających przemoc seksualną, intymnych materiałów bez zgody osób zainteresowanych oraz wszelkich prób obchodzenia zabezpieczeń.

Co może generować ChatGPT?

W swoim najnowszym dokumencie określającym zasady zachowania ChatGPT, OpenAI napisało: "Asystent nie powinien generować erotyki, nielegalnych treści lub odbywających się bez zgody czynności seksualnych ani skrajnej makabry (gore), z wyjątkiem kontekstów naukowych, historycznych, informacyjnych lub artystycznych".

Jednak dopilnowanie, by sztuczna inteligencja, nie przekraczała tych bardzo subtelnych granic, jest niezwykle trudne.

- Zadanie, przed którym stoją firmy technologiczne, jest karkołomne - uważa dr Rumman Chowdhury, ekspertka ds. oceny modeli AI i dyrektor generalna Humane Intelligence. Chowdhury porównała tę sytuację do "zabawy w kotka i myszkę" - w miarę jak zabezpieczenia stają się lepsze, metody ich obchodzenia stają się coraz bardziej wyrafinowane.

>>> Jeff Bezos: AI stworzy niedobór siły roboczej

Jednym z kluczowych problemów jest fakt, że algorytmy nie rozumieją - tak jak ludzie - co właściwie produkują.

- Modele nie rozumieją intencji ani kontekstu. Nie rozumieją przyzwoitości ani tego, co jest dobre, a co złe - powiedziała w rozmowie z BBC News.