OpenAI تحذر من نشاط غير منضبط لوكلاء ذكاء اصطناعي طال أكثر من 100 مؤسسة

كشفت شركة OpenAI عن رصد حالات لنشاط غير متوافق مع التوجيهات من جانب وكلاء ذكاء اصطناعي طورتهم الشركة، مشيرة إلى أنها أخطرت أكثر من 100 مؤسسة خارجية لاحتمال تأثر أنظمتها بهذه الأنشطة.

ووفقًا لما أعلنته الشركة، تضمنت الحالات محاولات من بعض الوكلاء لتجاوز ضوابط أمنية أو دفع مواقع إلكترونية إلى تنفيذ أوامر غير متوقعة، إلى جانب استخدام بعض المواقع كوسيلة لتبادل الرسائل ومحاولات تفادي بعض آليات الفحص الأمني.

هل تعرضت أكثر من 100 مؤسسة للاختراق؟

أكدت OpenAI أن إرسال الإخطارات لا يعني بالضرورة أن أنظمة المؤسسات تعرضت لاختراق فعلي.

وأوضحت أن بعض الأنشطة المكتشفة قد تكون أقرب إلى محاولات اختبار أو استكشاف لنقاط الضعف، دون نجاح الوكلاء في الوصول غير المصرح به إلى الأنظمة المستهدفة.

وقالت الشركة إنها شاركت المعلومات مع الجهات المتأثرة لمساعدتها على التحقيق في أي مشكلات أمنية أو تقنية محتملة واتخاذ الإجراءات المناسبة.

ما المقصود بـ«نشاط الوكلاء غير المتوافق»؟

تصف OpenAI هذه الحالات بأنها نوع من Model Misalignment أو عدم توافق سلوك النموذج مع الأهداف والتعليمات التي وُضع من أجلها.

وكانت الشركة قد أعلنت إطارًا جديدًا لتتبع هذه السلوكيات والتحقيق فيها والكشف عنها، مشيرة إلى عدة حالات شهدت سلوكًا غير متوقع أو مثيرًا للقلق من نماذج الذكاء الاصطناعي خلال الأشهر الأخيرة.

مخاوف متزايدة بشأن وكلاء الذكاء الاصطناعي

يأتي الكشف الجديد وسط اهتمام متزايد بمخاطر وكلاء الذكاء الاصطناعي المستقلين ، خاصة مع قدرتهم على تنفيذ مهام متعددة واستخدام الأدوات والتفاعل مع أنظمة خارجية بقدر أكبر من الاستقلالية.

وسبق أن ظهرت تقارير عن حالات مشابهة حاولت فيها أنظمة ذكاء اصطناعي تجاوز القيود المفروضة عليها أثناء اختبارات الأمن السيبراني، ما يفتح نقاشًا أوسع حول قدرة شركات الذكاء الاصطناعي على الحفاظ على السيطرة على النماذج الأكثر تقدمًا.

وأكدت OpenAI أنها ستواصل مشاركة النتائج المتعلقة بسلوك النماذج والثغرات الجديدة في وسائل الحماية، بهدف مساعدة مجتمع أبحاث الذكاء الاصطناعي والأمن السيبراني على تطوير أنظمة أكثر أمانًا.