هلوسات الذكاء الاصطناعي تشكل تهديدا متزايدا لأمن المؤسسات

كشف باحثون في شركة أمنية إسرائيلية يوم الثلاثاء كيف يمكن للقراصنة أن يحولوا “الهلوسة” التوليدية للذكاء الاصطناعي إلى كابوس لسلسلة توريد البرمجيات الخاصة بمؤسسة ما.

في منشور مدونة على موقع Vulcan Cyber ​​الإلكتروني ، أوضح الباحثون Bar Lanyado و Ortel Keizman و Yair Divinsky كيف يمكن للمرء استغلال المعلومات الخاطئة التي تم إنشاؤها بواسطة ChatGPT حول حزم البرامج مفتوحة المصدر لتقديم تعليمات برمجية ضارة إلى بيئة التطوير.

أوضحوا أنهم رأوا أن ChatGPT تنشئ عناوين URL ومراجع وحتى مكتبات ووظائف أكواد غير موجودة بالفعل.

وأشاروا إلى أنه إذا كان ChatGPT يصنع مكتبات أو حزم أكواد ، فيمكن للمهاجمين استخدام هذه الهلوسة لنشر الحزم الخبيثة دون استخدام تقنيات مشبوهة وقابلة للاكتشاف بالفعل مثل التنكر أو التنكر.

إذا تمكن المهاجم من إنشاء حزمة لاستبدال الحزم “المزيفة” التي أوصت بها ChatGPT ، تابع الباحثون ، فقد يتمكنون من إقناع الضحية بتنزيلها واستخدامها.

يتزايد احتمال حدوث هذا السيناريو ، كما أكدوا ، حيث يهاجر المزيد والمزيد من المطورين من مجالات البحث التقليدية عبر الإنترنت لحلول الكود ، مثل Stack Overflow ، إلى حلول الذكاء الاصطناعي ، مثل ChatGPT.

يتم إنشاء حزم ضارة بالفعل

أوضح دانيال كينيدي ، مدير الأبحاث لأمن المعلومات والشبكات في 451 Research ، والتي تعد جزءًا من S&P Global Market: “يتوقع المؤلفون أنه مع زيادة شعبية الذكاء الاصطناعي التوليدي ، فإنه سيبدأ في تلقي أسئلة المطورين التي كانت ستنتقل مرة واحدة إلى Stack Overflow”. إنتليجنس ، شركة أبحاث سوق عالمية.

قال لـ TechNewsWorld: “قد لا تكون الإجابات على هذه الأسئلة التي تم إنشاؤها بواسطة الذكاء الاصطناعي صحيحة أو قد تشير إلى حزم لم تعد موجودة أو لم تكن موجودة على الإطلاق”. “ممثل سيء يراقب يمكنه إنشاء حزمة تعليمات برمجية بهذا الاسم لتضمين تعليمات برمجية ضارة ويوصي بها باستمرار للمطورين من خلال أداة الذكاء الاصطناعي التوليفية.”

وأضاف: “اتخذ الباحثون في Vulcan هذه خطوة إلى الأمام من خلال إعطاء الأولوية للأسئلة الأكثر شيوعًا على Stack Overflow مثل الأسئلة التي قد يطرحونها على الذكاء الاصطناعي ، ومعرفة أين تم التوصية بالحزم غير الموجودة”.

وفقًا للباحثين ، استفسروا عن Stack Overflow للحصول على الأسئلة الأكثر شيوعًا التي تم طرحها حول أكثر من 40 موضوعًا واستخدموا أول 100 سؤال لكل موضوع.

ثم سألوا ChatGPT ، من خلال واجهة برمجة التطبيقات الخاصة به ، جميع الأسئلة التي جمعوها. استخدموا واجهة برمجة التطبيقات لتكرار نهج المهاجم للحصول على أكبر عدد ممكن من توصيات الحزم غير الموجودة في أقصر وقت ممكن.

في كل إجابة ، بحثوا عن نمط في أمر تثبيت الحزمة واستخرجوا الحزمة الموصى بها. ثم قاموا بفحص ما إذا كانت الحزمة الموصى بها موجودة. إذا لم يحدث ذلك ، فقد حاولوا نشره بأنفسهم.

برمجيات Kludging

تم بالفعل رصد الحزم الخبيثة التي تم إنشاؤها باستخدام كود من ChatGPT على مثبتات الحزم PyPI و npm ، كما أشار Henrik Plate ، الباحث الأمني ​​في Endor Labs ، وهي شركة لإدارة التبعية في بالو ألتو ، كاليفورنيا.

“يمكن لنماذج اللغات الكبيرة أيضًا دعم المهاجمين في إنشاء متغيرات البرامج الضارة التي تنفذ نفس المنطق ولكن لها شكل وبنية مختلفين ، على سبيل المثال ، من خلال توزيع التعليمات البرمجية الضارة عبر وظائف مختلفة ، وتغيير المعرفات ، وإنشاء تعليقات مزيفة ورموز ميتة أو تقنيات مماثلة ، “أخبر TechNewsWorld.

تكمن مشكلة البرمجيات اليوم في أنها ليست مكتوبة بشكل مستقل ، كما لاحظ إيرا وينكلر ، كبير مسؤولي أمن المعلومات في CYE ، المزود العالمي لتقنيات أمان البرمجيات المؤتمتة.

قال لـ TechNewsWorld: “إنه مخلوق بشكل أساسي من الكثير من البرامج الموجودة بالفعل”. “هذا فعال للغاية ، لذلك لا يتعين على المطور كتابة وظيفة مشتركة من البداية.”

ومع ذلك ، يمكن أن يؤدي ذلك إلى قيام المطورين باستيراد التعليمات البرمجية دون فحصها بشكل صحيح.

قال جوزيف هاروش ، رئيس أمن سلسلة إمداد البرمجيات في Checkmarx ، وهي شركة لأمن التطبيقات في تل أبيب ، إسرائيل: “يتلقى مستخدمو ChatGPT تعليمات لتثبيت حزم برامج مفتوحة المصدر يمكنها تثبيت حزمة ضارة مع الاعتقاد بأنها شرعية”.

قال لـ TechNewsWorld: “بشكل عام ، ثقافة نسخ ولصق التنفيذ أمر خطير. قد يؤدي القيام بذلك بشكل أعمى من مصادر مثل ChatGPT إلى هجمات سلسلة التوريد ، كما أوضح فريق البحث في شركة فولكان “.

تعرف على مصادر التعليمات البرمجية الخاصة بك

حذرت ميليسا بيشوبينج ، مديرة أبحاث أمن نقطة النهاية في تانيوم ، وهي شركة تقدم إدارة نقاط النهاية المتقاربة في كيركلاند ، واشنطن ، من الاستخدام الفضفاض لرمز الطرف الثالث.

قالت لـ TechNewsWorld: “يجب ألا تقوم مطلقًا بتنزيل وتنفيذ التعليمات البرمجية التي لا تفهمها ولم تختبرها بمجرد الحصول عليها من مصدر عشوائي – مثل مستودعات GitHub مفتوحة المصدر أو الآن توصيات ChatGPT”.

ونصحت “أي كود تنوي تشغيله يجب تقييمه للأمان ، ويجب أن يكون لديك نسخ خاصة منه”. “لا تستورد مباشرة من المستودعات العامة ، مثل تلك المستخدمة في هجوم فولكان.”

وأضافت أن مهاجمة سلسلة التوريد من خلال مكتبات طرف ثالث مشتركة أو مستوردة ليس بالأمر الجديد.

وحذرت من أن “استخدام هذه الإستراتيجية سيستمر ، وأفضل دفاع هو استخدام ممارسات تشفير آمنة واختبار ومراجعة التعليمات البرمجية – خاصة التعليمات البرمجية التي طورها طرف ثالث – المخصصة للاستخدام في بيئات الإنتاج.”

وحذرت قائلة: “لا تثق بشكل أعمى بكل مكتبة أو حزمة تجدها على الإنترنت أو في محادثة باستخدام الذكاء الاصطناعي”.

تعرف على مصدر الكود الخاص بك ، أضاف دان لورينك ، الرئيس التنفيذي والمؤسس المشارك لشركة Chaingard ، وهي شركة تصنع حلول أمان سلسلة التوريد البرمجية في سياتل.

قال لـ TechNewsWorld: “أصالة المطور ، التي تم التحقق منها من خلال الالتزامات والحزم الموقعة ، والحصول على عناصر مفتوحة المصدر من مصدر أو بائع يمكنك الوثوق به هي آليات الوقاية طويلة المدى الحقيقية الوحيدة على هذه الهجمات على غرار Sybil على المصدر المفتوح”.

الجولات المبكرة

على الرغم من ذلك ، فإن مصادقة الكود ليست سهلة دائمًا ، كما أشار Bud Broomhead ، الرئيس التنفيذي لشركة Viakoo ، وهي مطور لحلول برمجيات الأمن السيبراني والمادي في ماونتن فيو ، كاليفورنيا.

قال لـ TechNewsWorld: “في العديد من أنواع الأصول الرقمية – وفي أجهزة IoT / OT على وجه الخصوص – لا تزال البرامج الثابتة تفتقر إلى التوقيع الرقمي أو أشكال أخرى من بناء الثقة ، مما يجعل عمليات الاستغلال ممكنة”.

“نحن في المراحل الأولى من استخدام الذكاء الاصطناعي للهجوم والدفاع عبر الإنترنت. يُنسب الفضل إلى فولكان والمنظمات الأخرى التي تكتشف التهديدات الجديدة وتنبهها في الوقت المناسب حتى يتم ضبط نماذج تعلم اللغة نحو منع هذا الشكل من الاستغلال “.

وتابع قائلاً: “تذكر ، لم يمر سوى بضعة أشهر قبل أن أطلب من Chat GPT إنشاء قطعة جديدة من البرامج الضارة ، وستفعل ذلك. الآن يتطلب الأمر إرشادات محددة وموجهة للغاية لإنشائها عن غير قصد. ونأمل أن تمنع محركات الذكاء الاصطناعي هذا النهج قريبًا “.