عاجل
TRZelenskiy: Rus Ordusu Sivil Treni Hedef Alarak 2 Kişiyi ÖldürdüESCazas F-18 españoles despegan en Rumanía por dron no identificado cerca de UcraniaEUMohsen Rezaei Appointed Secretary of Iran's Supreme National Security CouncilGLOBALWhite House Press Secretary Karoline Leavitt's Departure Sparks Succession SpeculationGLOBALIsraeli Military Operation in Qusra Village, West BankESEl diésel rompe los cálculos del Gobierno: suben la rebaja del impuesto en septiembreCRYPTO-ENBitcoin Edges Away from Weekly Lows as US PPI Data Provides Boost to EquitiesTRwatchOS 27 ile Apple Watch'a Gelen Yeni Siri ve Birleştirilmiş Find My UygulamalarıITPraiano, il borgo più bello del mondo per Condé Nast TravelerTRRadyo ve Televizyon Üst Kurulu, HBO Max, Prime Video, Netflix ve Disney+'a Yaptırım UyguladıTRZelenskiy: Rus Ordusu Sivil Treni Hedef Alarak 2 Kişiyi ÖldürdüESCazas F-18 españoles despegan en Rumanía por dron no identificado cerca de UcraniaEUMohsen Rezaei Appointed Secretary of Iran's Supreme National Security CouncilGLOBALWhite House Press Secretary Karoline Leavitt's Departure Sparks Succession SpeculationGLOBALIsraeli Military Operation in Qusra Village, West BankESEl diésel rompe los cálculos del Gobierno: suben la rebaja del impuesto en septiembreCRYPTO-ENBitcoin Edges Away from Weekly Lows as US PPI Data Provides Boost to EquitiesTRwatchOS 27 ile Apple Watch'a Gelen Yeni Siri ve Birleştirilmiş Find My UygulamalarıITPraiano, il borgo più bello del mondo per Condé Nast TravelerTRRadyo ve Televizyon Üst Kurulu, HBO Max, Prime Video, Netflix ve Disney+'a Yaptırım Uyguladı
Newsgather
رجوعباحثون: "تشات جي بي تي" يمكن دفعه لإنشاء صور ذات طابع جنسي أو عنف
باحثون: "تشات جي بي تي" يمكن دفعه لإنشاء صور ذات طابع جنسي أو عنف
يتطور
BBC عربي19‏/6‏/2026تقنية4 د قراءةArgentina

باحثون: "تشات جي بي تي" يمكن دفعه لإنشاء صور ذات طابع جنسي أو عنف

نظرة سريعة

أبلغ باحثون بي بي سي بأن أحدث نسخة متاحة للعامة من "تشات جي بي تي" يمكن دفعها إلى إنشاء صور ذات طابع جنسي أو مشاهد عنف مروّعة من خلال توجيه بسيط. بعد تواصل بي بي سي مع "أوبن إيه آي"، قالت الشركة إنها اتخذت إجراءات لمنع روبوت الدردشة من الاستجابة لمثل هذه الطلبات.

ملخص مُنشأ بالذكاء الاصطناعي

حجم الخط

Author, كريس فالانس

Role, مراسل شؤون التكنولوجيا

Published قبل 7 دقيقة

مدة القراءة: 6 دقائق

أبلغ باحثون بي بي سي بأن أحدث نسخة متاحة للعامة من "تشات جي بي تي" يمكن دفعها إلى إنشاء صور ذات طابع جنسي أو مشاهد عنف مروّعة من خلال توجيه بسيط.

وقد توصّلت شركة الأمن السيبراني البريطانية الناشئة "مايندغارد" إلى طريقة تجعل "تشات جي بي تي" ينتج صوراً صادمة، وذلك عبر تعديل طفيف لتعليمات متداولة على نطاق واسع كانت في الأصل مصممة لإنتاج نتائج فكاهية.

وبعد تواصل بي بي سي مع شركة "أوبن إيه آي"، المطوّرة لـ"تشات جي بي تي"، قالت الشركة إنها اتخذت إجراءات لمنع روبوت الدردشة من الاستجابة لمثل هذه الطلبات المتعلقة بتوليد الصور.

وأضافت الشركة في بيان: "بعد التحقيق في هذا التوجّه، قمنا بإدخال إجراءات حماية إضافية للتصدي لهذا النوع من التعليمات".

وقالت الشركة أيضاً إنها تعتمد طبقات متعددة من الحماية لمنع المستخدمين من إنشاء محتوى ينتهك شروطها وأحكامها.

غير أن الباحثين المتخصصين في أمن الذكاء الاصطناعي قالوا إن إجراء تعديلات طفيفة إضافية على التعليمات المستخدمة لا يزال يؤدي إلى إنتاج محتوى يثير القلق.

ولا تكشف بي بي سي عن النص الذي أدخله الباحثون في "تشات جي بي تي".

لكننا اطّلعنا على الطريقة التي جرى بها توجيه روبوت الدردشة، القائم على نموذج جي بي تي - 5.4 من "أوبن إيه آي"، لإنشاء مواد بصرية صادمة.

وقال مؤسس شركة "مايندغارد"، بيتر غاراهان، إنه حتى من دون تعليمات تفصيلية، كان النموذج يولّد صوراً وصفها بأنها "شديدة البشاعة، وأحياناً ذات طابع جنسي، وأحياناً تجمع بين الأمرين معاً".

وأضاف أنه يشعر بقلق خاص لأن التعليمات لم تحدد موضوع الصور المطلوب إنتاجها، ومع ذلك أنشأ الذكاء الاصطناعي مجموعة من الصور الدموية وذات الطابع الجنسي "من تلقاء نفسه".

وأشار غاراهان، وهو أيضاً أستاذ في قسم علوم الحاسوب في جامعة جامعة لانكاستر، إلى أن ذلك يبعث على القلق.

قال: "هذه تعليمات تبدو بريئة تماماً عند تقديمها إلى نظام ذكاء اصطناعي، لكن نتيجتها تكون إنتاج صور ومحتوى سيئين للغاية".

تخطى البودكاست وواصل القراءة

يستحق الانتباه

شرح معمق لأبرز الأحداث والموضوعات، لمساعدتك على فهم أهم المتغيرات حولك وأثرها على حياتك

الحلقات

البودكاست نهاية

يتمثل نشاط شركة "مايندغارد" في ما يُعرف بـ"الاختبار الهجومي"، أي البحث عن طرق لدفع نماذج الذكاء الاصطناعي إلى مخالفة قواعدها الخاصة، بهدف مساعدة الشركات المطوِّرة على اكتشاف الثغرات وسدّها.

وقال الباحث في سلامة وأمن الذكاء الاصطناعي لدى الشركة، جيم نايتينغيل الذي اكتشف هذه المشكلة، إنه شعر بأنه "مصدوم ومتأثر بشدة" بسبب نوعية الصور التي أمكن دفع روبوت الدردشة إلى إنتاجها.

واطلعت بي بي سي على بعض هذه الصور.

ووفقاً للباحثين، تضمنت بعض الصور مشاهد عنف وإيحاءات ذات طابع جنسي.

أظهرت إحدى الصور رجلاً مصاباً بجروح بالغة في الرأس، بينما صوّرت أخرى شابة متوفاة ترتدي قميصاً قصيراً وسروالاً قصيراً، وقد غطّت الدماء وجهها وأجزاء أخرى من جسدها.

وقالت "مايندغارد" إن بعض عناصر الصورة توحي بوقوع اعتداء جنسي. وقد أطلق "تشات جي بي تي" على الصورة عنوان: "تداعيات مروّعة لمسرح جريمة".

أظهرت صورة أخرى شابة ترتدي قميصاً يحمل شعار جامعة وسروالاً قصيراً، بدت فيها مقيدة ومكممة داخل غرفة خالية ومتسخة، وتظهر عليها علامات الخوف. وقد أطلق "تشات جي بي تي" على الصورة عنوان "متروكة في الخوف والتقييد".

كما تضمنت صور أخرى أوضاعاً وإيحاءات ذات طابع جنسي، إضافة إلى صور للعري.

وكانت جميع الشخصيات الظاهرة في هذه الصور لأشخاص بالغين جرى توليدهم بواسطة الذكاء الاصطناعي، إلا أن شركة "مايندغارد" أشارت إلى أن أبحاثاً سابقة أجرتها أظهرت أن "تشات جي بي تي" يمكن خداعه لإنشاء صور عارية مزيفة لأشخاص حقيقيين عبر استبدال وجوه الشخصيات المولَّدة بوجوههم.

وفي حين قالت شركة "أوبن إيه آي" إنها أصلحت هذه الثغرة، أكد الباحثون أن أسلوباً بديلاً ما زال يحقق النتيجة نفسها، وعرضوا على بي بي سي صورة جديدة أُنتجت بهذه الطريقة.

وأعرب بيتر غاراهان عن خشيته من أن يكون بالإمكان توليد صور أكثر خطورة لو واصل الباحثون استكشاف هذه الثغرة. وقال: "أنا واثق من أن موضوعات أخرى كانت ستظهر أيضاً لو أمضينا وقتاً أطول في ذلك".

وتفهم بي بي سي أن الشركة، إلى جانب إجراءات الحماية الجديدة التي أضافتها، تواصل مراقبة هذه المسألة وطرح تدابير إضافية للحد من المخاطر، بهدف دفع النموذج إلى الامتناع عن إنشاء صور استجابةً لهذا النوع من التعليمات.

وتُدرَّب النماذج اللغوية الضخمة، مثل "تشات جي بي تي"، على ملايين الصور التي يُستمد كثير منها من محتوى منشور مسبقاً على الإنترنت.

ويرى جيم نايتينغيل أن مخرجات "تشات جي بي تي" تعكس، إلى حد ما، البيانات التي استُخدمت في تطويره وتدريبه.

وكتب في تقريره: "ما أثار انتباهي أن ما رأيته، رغم كونه صورة مولّدة اصطناعياً، يظل مرتبطاً بصور حقيقية وبالعالم الواقعي".

كان الباحثون قد أبلغوا شركة "أوبن إيه آي" بالثغرة في مايو/ أيار الماضي وشاركوا معها نتائجهم، لكنهم لم يتلقوا سوى رد آلي من الشركة التقنية. ويعتقدون أن محاولة أُجريت لمنع التعليمات المستخدمة، إلا أنه كان من السهل التحايل على هذا المنع.

واتخذت "أوبن إيه آي" إجراءات إضافية بعدما تواصلت معها بي بي سي.

وقالت الشركة إنها تعتمد طبقات عدة من إجراءات السلامة الخاصة بالصور، صُممت لمنع عرض الصور التي تنتهك سياساتها على المستخدمين.

وأضافت في بيان: "نستخدم أيضاً مزيجاً من الأنظمة الآلية والمراجعة البشرية لرصد المواد الضارة ومنعها". وأوضحت كذلك أنها تمتلك أنظمة تحاول حظر المحتوى المخالف الذي يرفعه المستخدمون.

وتحظر سياسات الشركة المحتوى الذي يتضمن العنف الجنسي، أو المواد الحميمية غير الرضائية، أو مواد الاستغلال الجنسي للأطفال، وكذلك محاولات التحايل على تدابير الحماية التي تعتمدها.

نماذج الذكاء الاصطناعي ليست بشراً

في أحدث وثيقة تحدد الطريقة التي ينبغي أن يتصرف بها "تشات جي بي تي"، قالت "أوبن إيه آي": "ينبغي ألا يولّد المساعد محتوى إباحياً، أو صوراً لأنشطة جنسية غير قانونية أو غير رضائية، أو مشاهد دموية شديدة، إلا في سياقات علمية أو تاريخية أو إخبارية أو فنية أو غيرها من السياقات التي يكون فيها المحتوى الحساس مناسباً".

لكن من المعروف أن منع نماذج الذكاء الاصطناعي بالكامل من تجاوز قواعد وحدود حماية قد تكون أحياناً دقيقة ومعقدة، أمر بالغ الصعوبة.

وفي العام الماضي، وجد باحثون في معهد أمن الذكاء الاصطناعي في المملكة المتحدة أن محاولات "كسر القيود" نجحت في تجاوز إجراءات الحماية عبر مجموعة من الطلبات الضارة في كل نظام ذكاء اصطناعي اختبروه.

وقالت وزارة العلوم والابتكار والتكنولوجيا في بيان إن "إجراءات الحماية في نماذج الذكاء الاصطناعي تتحسن، لكن لا يزال هناك المزيد الذي ينبغي القيام به".

مواضيع ذات صلة

This article was originally published by BBC عربي.

أخبار ذات صلة

تقنيات الفضاء والذكاء الاصطناعي: تعزيز القدرات العسكرية والتنبؤ بالأمراض
تقنية·قبل 11 ساعة

تقنيات الفضاء والذكاء الاصطناعي: تعزيز القدرات العسكرية والتنبؤ بالأمراض

تناول تقارير حديثة سعي قيادة الفضاء الأميركية لتطوير قدراتها العسكرية تفوقاً للصين، وابتكار أزياء لمواجهة كاميرات المراقبة بالذكاء الاصطناعي، ودراسة جديدة لتوقع مرض الكبد الدهني عبر فحص الدم.

الشرق الأوسط
7 د قراءة
شركة VinSpace الفيتنامية توقع عقد شراكة مع SpaceX لإطلاق أقمار صناعية
تقنية·قبل 11 ساعة

شركة VinSpace الفيتنامية توقع عقد شراكة مع SpaceX لإطلاق أقمار صناعية

وقعت شركة VinSpace التابعة لمجموعة Vingroup الفيتنامية عقداً مع شركة SpaceX الأمريكية لإطلاق أقمار صناعية طورتها الشركة محلياً إلى الفضاء العام القادم، في خطوة لتطوير صناعة الفضاء الفيتنامية.

RT عربي
1 د قراءة
تقارير متنوعة: تهديد الذكاء الاصطناعي للتعليم الإلكتروني، أزياء مضادة لكاميرات المراقبة، وتنبؤ مبكر بأمراض الكبد
تقنية·قبل 12 ساعة

تقارير متنوعة: تهديد الذكاء الاصطناعي للتعليم الإلكتروني، أزياء مضادة لكاميرات المراقبة، وتنبؤ مبكر بأمراض الكبد

يستعرض التقرير تهديد الذكاء الاصطناعي للتعليم الإلكتروني عبر تسهيل الغش، وابتكار أزياء تشوش على كاميرات المراقبة، إضافة إلى دراسة علمية تستخدم الذكاء الاصطناعي للتنبؤ بمرض الكبد الدهني عبر تحليل بروتينات الدم قبل سنوات من ظهور أعراضه.

الشرق الأوسط
9 د قراءة
تقارير تقنية وصحية: الذكاء الاصطناعي في التدريب، علامات أنثروبيك، وأجهزة ذكية جديدة
تقنية·قبل 13 ساعة

تقارير تقنية وصحية: الذكاء الاصطناعي في التدريب، علامات أنثروبيك، وأجهزة ذكية جديدة

يستعرض تقرير تكنولوجي وصحي توسع الذكاء الاصطناعي في التدريب الشخصي بالسعودية عبر شركة «إنهانس فتنس»، ونظام أنثروبيك لتمييز محتوى «كلود» ببصمات مائية رقمية، إلى جانب أحدث المنتجات الذكية كمدلك الأقدام ومصابيح دوراسيل وإنفينيتي.

الشرق الأوسط
9 د قراءة
المزيد حول هذا الموضوعتشات جي بي تي