OpenAI, AB'nin Yapay Zeka Yasası kapsamında metinlere görünmez filigran yerleştirmeye başladı

Yapay zeka şirketi OpenAI, Avrupa Birliği'nin (AB) Yapay Zeka Yasası kapsamındaki şeffaflık yükümlülüklerine uyum sağlamak amacıyla geçen aylarda aynı adımı atan Anthropic'i takip ederek ürettiği metinlere görünmez filigran yerleştirmeye başlıyor.

Şirket, yaptığı açıklamada, gelecek haftalardan itibaren AB sınırları içindeki ChatGPT ve Codex kullanıcılarının metin çıktılarına "textGrain" adını verdiği görünmez istatistiksel işaretler ekleyeceğini bildirdi.

Küresel ölçekteki API müşterileri belirli modeller için bugünden itibaren isteğe bağlı olarak bu sistemi etkinleştirebilecek, ancak özellik API üzerinde varsayılan olarak kapalı kalacak.

Şirket ayrıca bulut ortakları üzerinden erişilen model çıktılarına da bu özelliğin dahil edilmesi için çalışmalar yürütüyor.

KELİMELER DEĞİŞTİKÇE TESPİT GÜCÜ ZAYIFLIYOR

Açıklanan teknik verilere göre textGrain teknolojisi, modelin kelime seçimlerine insan gözüyle fark edilemeyen istatistiksel sinyaller yerleştiriyor.

Ancak sistem, metin üzerinde yapılan müdahaleler karşısında belirgin zayıflıklar gösteriyor.

Şirketin paylaştığı test sonuçlarında, yüzde 1 hedeflenen yanlış pozitiflik oranında, psikoloji gibi esnek kelime seçimine uygun 400 tokenlik metinlerde yüzde 95 seviyesinde olan tespit oranı, 200 tokenlik metinlerde yaklaşık yüzde 80'e geriledi.

Matematik gibi kelime seçeneklerinin sınırlı olduğu alanlarda tespit oranları belirgin biçimde daha düşük kaldı.

Metin düzenlemeleri de sinyalin gücünü hızla düşürüyor. 400 tokenlik bir metindeki kelimelerin yüzde 10'u eşanlamlılarıyla değiştirildiğinde tespit oranı yüzde 92'den yüzde 66'ya iniyor. Kelimelerin yüzde 25'i değiştirildiğinde ise tespit oranı yüzde 17 seviyesine kadar düşüyor.

OpenAI, bu teknolojik kısıtlar ve hem yanlış pozitif hem de yanlış negatif sonuç üretme riskleri nedeniyle tespit aracını doğrudan kamuoyuna açmayacağını kaydetti.

Doğrulama aracına erişim, sistemi değerlendirmeleri ve geliştirmeleri amacıyla ilk aşamada yalnızca onaylanmış araştırmacılara ve uzman kuruluşlara başvuru yoluyla sağlanacak.

Şirket, en son öncü modeli Astra üzerinde gerçekleştirdiği testlerde filigran uygulamasının çıktı kalitesinde anlamlı bir performans farkı yaratmadığını duyurdu.

Çeşitli kıyaslama testlerine göre sistem; yapay zeka analiz endeksinde filigransız metinde 49,57 puan alırken filigranlı metinde 49,76 puan seviyesine ulaştı.

Benzer biçimde GPQA Diamond testinde filigransız sonuç yüzde 94,44 iken filigranlı sonuç yüzde 93,94 olarak ölçüldü.

OpenAI, filigranın neleri gösterip neleri gösteremeyeceği konusunda da ayrıntılı uyarılarda bulundu.

Yapılan açıklamaya göre görünmez işaretler metindeki insan katkısının oranını ölçmüyor, telif hakkı veya sorumluluk tayini yapmıyor, metni üreten kullanıcıyı, hesabı ya da girdiyi açığa çıkarmıyor ve içeriğin doğruluğunu teyit etmiyor.

Bir metinde filigran bulunmaması da o içeriğin mutlaka insan tarafından yazıldığını kanıtlamıyor; zira metnin kısa olması, tercüme edilmesi, düzenlenmesi ya da desteklenmeyen bir modelden alınması tespiti engelleyebiliyor.

Şirket, görsel ve sesli içeriklerde kullanılan SynthID ve C2PA standartlarına dayalı açık doğrulama araçlarının ise kamuya açık kalmayı sürdüreceğini bildirdi.