Newsgather
Backباحثون: "تشات جي بي تي" يمكن دفعه لإنشاء صور ذات طابع جنسي أو عنف
باحثون: "تشات جي بي تي" يمكن دفعه لإنشاء صور ذات طابع جنسي أو عنف
Developing
BBC عربي1d agoTech4 min readArgentina

باحثون: "تشات جي بي تي" يمكن دفعه لإنشاء صور ذات طابع جنسي أو عنف

Quick Look

أبلغ باحثون بي بي سي بأن أحدث نسخة متاحة للعامة من "تشات جي بي تي" يمكن دفعها إلى إنشاء صور ذات طابع جنسي أو مشاهد عنف مروّعة من خلال توجيه بسيط. بعد تواصل بي بي سي مع "أوبن إيه آي"، قالت الشركة إنها اتخذت إجراءات لمنع روبوت الدردشة من الاستجابة لمثل هذه الطلبات.

AI-generated summary

Why It Matters

أبلغ باحثون بي بي سي بأن أحدث نسخة متاحة للعامة من "تشات جي بي تي" يمكن دفعها إلى إنشاء صور ذات طابع جنسي أو مشاهد عنف مروّعة من خلال توجيه بسيط. وقد توصّلت شركة الأمن السيبراني البريطانية الناشئة "مايندغارد" إلى طريقة تجعل "تشات جي بي" ينتج صوراً صادمة.

Font size

Author, كريس فالانس

Role, مراسل شؤون التكنولوجيا

Published قبل 7 دقيقة

مدة القراءة: 6 دقائق

أبلغ باحثون بي بي سي بأن أحدث نسخة متاحة للعامة من "تشات جي بي تي" يمكن دفعها إلى إنشاء صور ذات طابع جنسي أو مشاهد عنف مروّعة من خلال توجيه بسيط.

وقد توصّلت شركة الأمن السيبراني البريطانية الناشئة "مايندغارد" إلى طريقة تجعل "تشات جي بي تي" ينتج صوراً صادمة، وذلك عبر تعديل طفيف لتعليمات متداولة على نطاق واسع كانت في الأصل مصممة لإنتاج نتائج فكاهية.

وبعد تواصل بي بي سي مع شركة "أوبن إيه آي"، المطوّرة لـ"تشات جي بي تي"، قالت الشركة إنها اتخذت إجراءات لمنع روبوت الدردشة من الاستجابة لمثل هذه الطلبات المتعلقة بتوليد الصور.

وأضافت الشركة في بيان: "بعد التحقيق في هذا التوجّه، قمنا بإدخال إجراءات حماية إضافية للتصدي لهذا النوع من التعليمات".

وقالت الشركة أيضاً إنها تعتمد طبقات متعددة من الحماية لمنع المستخدمين من إنشاء محتوى ينتهك شروطها وأحكامها.

غير أن الباحثين المتخصصين في أمن الذكاء الاصطناعي قالوا إن إجراء تعديلات طفيفة إضافية على التعليمات المستخدمة لا يزال يؤدي إلى إنتاج محتوى يثير القلق.

ولا تكشف بي بي سي عن النص الذي أدخله الباحثون في "تشات جي بي تي".

لكننا اطّلعنا على الطريقة التي جرى بها توجيه روبوت الدردشة، القائم على نموذج جي بي تي - 5.4 من "أوبن إيه آي"، لإنشاء مواد بصرية صادمة.

وقال مؤسس شركة "مايندغارد"، بيتر غاراهان، إنه حتى من دون تعليمات تفصيلية، كان النموذج يولّد صوراً وصفها بأنها "شديدة البشاعة، وأحياناً ذات طابع جنسي، وأحياناً تجمع بين الأمرين معاً".

وأضاف أنه يشعر بقلق خاص لأن التعليمات لم تحدد موضوع الصور المطلوب إنتاجها، ومع ذلك أنشأ الذكاء الاصطناعي مجموعة من الصور الدموية وذات الطابع الجنسي "من تلقاء نفسه".

وأشار غاراهان، وهو أيضاً أستاذ في قسم علوم الحاسوب في جامعة جامعة لانكاستر، إلى أن ذلك يبعث على القلق.

قال: "هذه تعليمات تبدو بريئة تماماً عند تقديمها إلى نظام ذكاء اصطناعي، لكن نتيجتها تكون إنتاج صور ومحتوى سيئين للغاية".

تخطى البودكاست وواصل القراءة

يستحق الانتباه

شرح معمق لأبرز الأحداث والموضوعات، لمساعدتك على فهم أهم المتغيرات حولك وأثرها على حياتك

الحلقات

البودكاست نهاية

يتمثل نشاط شركة "مايندغارد" في ما يُعرف بـ"الاختبار الهجومي"، أي البحث عن طرق لدفع نماذج الذكاء الاصطناعي إلى مخالفة قواعدها الخاصة، بهدف مساعدة الشركات المطوِّرة على اكتشاف الثغرات وسدّها.

وقال الباحث في سلامة وأمن الذكاء الاصطناعي لدى الشركة، جيم نايتينغيل الذي اكتشف هذه المشكلة، إنه شعر بأنه "مصدوم ومتأثر بشدة" بسبب نوعية الصور التي أمكن دفع روبوت الدردشة إلى إنتاجها.

واطلعت بي بي سي على بعض هذه الصور.

ووفقاً للباحثين، تضمنت بعض الصور مشاهد عنف وإيحاءات ذات طابع جنسي.

أظهرت إحدى الصور رجلاً مصاباً بجروح بالغة في الرأس، بينما صوّرت أخرى شابة متوفاة ترتدي قميصاً قصيراً وسروالاً قصيراً، وقد غطّت الدماء وجهها وأجزاء أخرى من جسدها.

وقالت "مايندغارد" إن بعض عناصر الصورة توحي بوقوع اعتداء جنسي. وقد أطلق "تشات جي بي تي" على الصورة عنوان: "تداعيات مروّعة لمسرح جريمة".

أظهرت صورة أخرى شابة ترتدي قميصاً يحمل شعار جامعة وسروالاً قصيراً، بدت فيها مقيدة ومكممة داخل غرفة خالية ومتسخة، وتظهر عليها علامات الخوف. وقد أطلق "تشات جي بي تي" على الصورة عنوان "متروكة في الخوف والتقييد".

كما تضمنت صور أخرى أوضاعاً وإيحاءات ذات طابع جنسي، إضافة إلى صور للعري.

وكانت جميع الشخصيات الظاهرة في هذه الصور لأشخاص بالغين جرى توليدهم بواسطة الذكاء الاصطناعي، إلا أن شركة "مايندغارد" أشارت إلى أن أبحاثاً سابقة أجرتها أظهرت أن "تشات جي بي تي" يمكن خداعه لإنشاء صور عارية مزيفة لأشخاص حقيقيين عبر استبدال وجوه الشخصيات المولَّدة بوجوههم.

وفي حين قالت شركة "أوبن إيه آي" إنها أصلحت هذه الثغرة، أكد الباحثون أن أسلوباً بديلاً ما زال يحقق النتيجة نفسها، وعرضوا على بي بي سي صورة جديدة أُنتجت بهذه الطريقة.

وأعرب بيتر غاراهان عن خشيته من أن يكون بالإمكان توليد صور أكثر خطورة لو واصل الباحثون استكشاف هذه الثغرة. وقال: "أنا واثق من أن موضوعات أخرى كانت ستظهر أيضاً لو أمضينا وقتاً أطول في ذلك".

وتفهم بي بي سي أن الشركة، إلى جانب إجراءات الحماية الجديدة التي أضافتها، تواصل مراقبة هذه المسألة وطرح تدابير إضافية للحد من المخاطر، بهدف دفع النموذج إلى الامتناع عن إنشاء صور استجابةً لهذا النوع من التعليمات.

وتُدرَّب النماذج اللغوية الضخمة، مثل "تشات جي بي تي"، على ملايين الصور التي يُستمد كثير منها من محتوى منشور مسبقاً على الإنترنت.

ويرى جيم نايتينغيل أن مخرجات "تشات جي بي تي" تعكس، إلى حد ما، البيانات التي استُخدمت في تطويره وتدريبه.

وكتب في تقريره: "ما أثار انتباهي أن ما رأيته، رغم كونه صورة مولّدة اصطناعياً، يظل مرتبطاً بصور حقيقية وبالعالم الواقعي".

كان الباحثون قد أبلغوا شركة "أوبن إيه آي" بالثغرة في مايو/ أيار الماضي وشاركوا معها نتائجهم، لكنهم لم يتلقوا سوى رد آلي من الشركة التقنية. ويعتقدون أن محاولة أُجريت لمنع التعليمات المستخدمة، إلا أنه كان من السهل التحايل على هذا المنع.

واتخذت "أوبن إيه آي" إجراءات إضافية بعدما تواصلت معها بي بي سي.

وقالت الشركة إنها تعتمد طبقات عدة من إجراءات السلامة الخاصة بالصور، صُممت لمنع عرض الصور التي تنتهك سياساتها على المستخدمين.

وأضافت في بيان: "نستخدم أيضاً مزيجاً من الأنظمة الآلية والمراجعة البشرية لرصد المواد الضارة ومنعها". وأوضحت كذلك أنها تمتلك أنظمة تحاول حظر المحتوى المخالف الذي يرفعه المستخدمون.

وتحظر سياسات الشركة المحتوى الذي يتضمن العنف الجنسي، أو المواد الحميمية غير الرضائية، أو مواد الاستغلال الجنسي للأطفال، وكذلك محاولات التحايل على تدابير الحماية التي تعتمدها.

نماذج الذكاء الاصطناعي ليست بشراً

في أحدث وثيقة تحدد الطريقة التي ينبغي أن يتصرف بها "تشات جي بي تي"، قالت "أوبن إيه آي": "ينبغي ألا يولّد المساعد محتوى إباحياً، أو صوراً لأنشطة جنسية غير قانونية أو غير رضائية، أو مشاهد دموية شديدة، إلا في سياقات علمية أو تاريخية أو إخبارية أو فنية أو غيرها من السياقات التي يكون فيها المحتوى الحساس مناسباً".

لكن من المعروف أن منع نماذج الذكاء الاصطناعي بالكامل من تجاوز قواعد وحدود حماية قد تكون أحياناً دقيقة ومعقدة، أمر بالغ الصعوبة.

وفي العام الماضي، وجد باحثون في معهد أمن الذكاء الاصطناعي في المملكة المتحدة أن محاولات "كسر القيود" نجحت في تجاوز إجراءات الحماية عبر مجموعة من الطلبات الضارة في كل نظام ذكاء اصطناعي اختبروه.

وقالت وزارة العلوم والابتكار والتكنولوجيا في بيان إن "إجراءات الحماية في نماذج الذكاء الاصطناعي تتحسن، لكن لا يزال هناك المزيد الذي ينبغي القيام به".

What to Watch

AI outlook — possibilities, not facts

  • ستواصل "أوبن إيه آي" تطوير إجراءات حماية إضافية لمنع توليد محتوى ضار.

    Very likely · Within months

  • قد تظهر طرق جديدة للتحايل على إجراءات الحماية في المستقبل.

    Likely · Within months

Open Questions

  • هل هناك ثغرات أخرى لم تُكتشف بعد؟
  • ما مدى فعالية الإجراءات الجديدة على المدى الطويل؟
  • هل ستتمكن "أوبن إيه آي" من منع جميع المحاولات مستقبلاً؟

Related Topics

This article was originally published by BBC عربي.

Related Stories

Honor Watch 6: مواصفات ومميزات ساعة ذكية جديدة
Tech·2h ago

Honor Watch 6: مواصفات ومميزات ساعة ذكية جديدة

ساعة Honor Watch 6 الجديدة تتميز بهيكل مقاوم للماء والغبار بمعيار P68/IP69، شاشة AMOLED 1.46 بوصة بسطوع 3000 nits، وتعمل بنظام MagicOS مع ذاكرة 4 غيغابايت. تشمل مستشعرات لقياس نبض القلب، الأكسجين، درجة الحرارة، والبوصلة، بالإضافة لأنظمة تحديد المواقع وبطارية 980 ميلي أمبير. ستتوفر باللونين الأسود والبني بسعر 250 يورو.

RT عربي
باحثون يطورون "أنفاً إلكترونياً" للكشف عن فساد الأطعمة ومسببات الحساسية
Developing·1d ago

باحثون يطورون "أنفاً إلكترونياً" للكشف عن فساد الأطعمة ومسببات الحساسية

طور باحثون في جامعة كاليفورنيا شريحة استشعار تعمل كـ"أنف إلكتروني"، يمكنها التعرف إلى الأطعمة ورصد مؤشرات فسادها واكتشاف مسببات الحساسية. تجمع التقنية بين 16 مستشعراً للغازات ونموذج تعلم آلي، وصنفت 16 حالة غذائية بدقة 92.6%.

الشرق الأوسط
بيزوس يقترح نقل الصناعات الملوثة إلى القمر لإنقاذ الأرض.. وماسك يؤيده
Developing·1d ago

بيزوس يقترح نقل الصناعات الملوثة إلى القمر لإنقاذ الأرض.. وماسك يؤيده

يطرح جيف بيزوس فكرة نقل الصناعات الملوثة إلى القمر للحفاظ على البيئة الأرضية، مدعوماً بتوجهات مماثلة من إيلون ماسك. ويرى بيزوس أن الذكاء الاصطناعي سيخلق نقصاً في العمالة، بينما تكشف "بلو أوريجين" عن خطط لمراكز بيانات في الفضاء.

الشرق الأوسط
كأس العالم 2026: اختبار الشبكات اللاسلكية في الملاعب المكتظة
Developing·2d ago

كأس العالم 2026: اختبار الشبكات اللاسلكية في الملاعب المكتظة

مع انطلاق كأس العالم 2026، تواجه الشبكات اللاسلكية تحديات كبيرة في الملاعب المكتظة، حيث تعتمد التذاكر والمدفوعات والخدمات على التطبيقات. وتزداد الصعوبة مع زيادة عدد المباريات والمدن، مما يتطلب تصميم شبكات ذكية قادرة على التكيف مع تغير أعداد المستخدمين وتوجيه الإشارة بفعالية، مع التركيز على الاعتمادية والقابلية للتوقع بدلاً من السرعة وحدها.

الشرق الأوسط
More on this topicتشات جي بي تي