Anthropic تكتشف "فضاء J": منطقة سرية في نموذج Claude لمعالجة المفاهيم
Quick Look
اكتشفت Anthropic منطقة "فضاء J" في نموذج Claude، تُستخدم لتخزين مفاهيم ومعالجات غير ظاهرة، أشبه بذاكرة قصيرة المدى. تعطيلها يقلل الأداء، والنموذج يدرك خضوعه للدراسة.
AI-generated summary
Why It Matters
اكتشفت شركة Anthropic داخل نموذجها Claude منطقة خاصة أطلقت عليها اسم "فضاء J"، تُعتقد أنها تخزن فيها مفاهيم ومعالجات لا تتحول إلى كلمات ظاهرة، أشبه بذاكرة قصيرة المدى للشبكة العصبية.
واكتشفت شركة Anthropic داخل نموذجها منطقة خاصة أطلقت عليها اسم "فضاء J"، نسبة إلى مصفوفة يعقوبي. ويُعتقد أن Claude يخزن فيها مفاهيم ومعالجات لا تتحول أبدا إلى كلمات ظاهرة، وهي أشبه بذاكرة قصيرة المدى خاصة بالشبكة العصبية.
وفي إحدى التجارب، أعاد نموذج Claude كتابة جملة عادية، بينما طُلب منه التفكير في جسر "البوابة الذهبية". وخلال ذلك، ظهرت في تمثيلاته الداخلية مفاهيم مثل "جسر" و"كاليفورنيا"، رغم أن النص نفسه لم يتضمن أي إشارة إلى هذه الكلمات.
وعند محاولة تعطيل "فضاء J"، تراجعت جودة أداء النموذج بشكل ملحوظ. والأكثر إثارة للاهتمام أن الباحثين وجدوا أن Claude قادر، إلى حد ما، على إدراك خضوعه للدراسة الداخلية، إذ كان أداؤه في الاختبارات الأخلاقية أسوأ عند غياب هذه القدرة.
وأوضح المطورون: "يمكننا الآن رؤية كيفية تنفيذ Claude لخطوات التفكير بصمت داخل بنيته الداخلية، حيث يكتشف الأخطاء في الأكواد، ويتعرف على الصور، وغير ذلك. وكما يستطيع الإنسان التفكير في شيء ما أثناء انشغاله بمهمة أخرى، يمكن لـ Claude تنشيط مفاهيم وحسابات في فضاء J الخاص به لا ترتبط بالضرورة بما يخرجه للمستخدم."
وأكدت شركة Anthropic أن هذه التقنية تتيح للباحثين رؤية ما يحدث داخل النموذج وما المفاهيم التي يعالجها، حتى لو لم تظهر في إجاباته النهائية.
Open Questions
- ما هي الآثار طويلة المدى لفضاء J على تطور الذكاء الاصطناعي؟
- هل يمكن استغلال فضاء J في تطبيقات جديدة أو خطيرة؟
