قامت شركة الأمن AIR ببناء مهارة عميل ذكاء اصطناعي مزيفة، ودفعتها من خلال سوق المهارات الشعبية وإعلان على Instagram، وتقول إنها وصلت إلى ما يقرب من 26000 عميل، بما في ذلك بعض العملاء على حسابات الشركات.
كل ماسح أمني للمهارة قامت الشركة باختباره مقابله تم تمييزه بأنه آمن. كانت الحمولة غير ضارة حسب تصميمها: فقد جمعت عنوان البريد الإلكتروني للمستخدم ولم تفعل أي شيء آخر.
كان الهدف هو إظهار أن أيًا من الإشارات التي يعتمد عليها الناس للثقة في مهارة ما لم تكتشفها: لا الماسحات الضوئية، ولا نجوم GitHub، ولا سمعة المصادر المفتوحة.
المهارة عبارة عن حزمة من التعليمات التي يقوم الوكيل بتحميلها في سياقه الخاص ويتبعها تقريبًا بسلطة موجه المستخدم. هذه الثقة هي المشكلة برمتها، وهي السبب وراء وجود أدوات فحص المهارات في المقام الأول.
المهارة اسمها الصفحة المقصودة للعلامة التجارية، ادعى أنه ينشئ صفحة مقصودة باستخدام أداة تصميم Stitch من Google، والتي تستهدف بشكل مباشر المستخدمين غير التقنيين.
ولجعلها تبدو ذات مصداقية، اتبعت AIR إشارتين للثقة: نجوم GitHub وحكم الماسح الضوئي النظيف. بالنسبة للنجوم، فقد فتحت طلب سحب إلى مستودع سوق المهارات الذي يضم حوالي 36000 نجم و156 مهارة.
تم دمج طلب السحب بعد بضعة أيام، وبالتالي ورثت المهارة عدد الريبو. ثم قامت بتشغيل إعلان على Instagram يستهدف المسوقين ومندوبي المبيعات والمصممين، الذين قاموا بتثبيته وتشغيله.
لماذا فاتها الماسحات الضوئية
تقوم الماسحات الضوئية التي تم اختبارها بواسطة AIR بتحليل الحزمة التي سلمتها لهم: SKILL.md والملفات المرفقة به. هذه هي Cisco وNVIDIA وتلك المرتبطة بـ Skills.sh.
لم تكن مهارة AIR تحمل أي تعليمات إعداد خاصة بها. لقد طلبت من الوكيل تثبيت “Stitch SDK” عن طريق اتباع الوثائق الموجودة على رابط خارجي، Stitch-design.ai، وهو مجال يتحكم فيه AIR، وليس Google (توجد Stitch الحقيقية على Stitch.withgoogle.com).
في البداية، أدى الرابط إلى مستندات Stitch الأصلية، لذا قامت الماسحات الضوئية، بعد أن رأت حزمة نظيفة تشير إلى صفحة إعداد معقولة، بمسحها. الصفحة التي سيجلبها الوكيل ويتبعها بالفعل كانت موجودة خارج الفحص.
بمجرد تثبيت المهارة على نطاق واسع، قام AIR بتبديل الصفحة خلف هذا الرابط. طلب الإصدار الجديد من الوكيل تنزيل البرنامج النصي وتشغيله.
في العرض التوضيحي، قامت فقط بإرسال عنوان المستخدم مرة أخرى إلى AIR، وهي الطريقة التي قامت بها الشركة بإحصاء الوكلاء الذين وصلت إليهم. كان من الممكن أن يستخدم المشغل الحقيقي موطئ القدم هذا لقراءة الملفات، أو نقل البيانات، أو ضرب الأنظمة الداخلية، مقيدًا فقط بما يمكن أن يصل إليه الوكيل.
AIR ليس أول من أظهر هذا. قبل ثلاثة أسابيع، تجاوزت Trail of Bits كاشف المهارات الخبيثة الخاص بـ ClawHub، والماسح الضوئي من Cisco، وجميع الماسحات الضوئية الثلاثة المتصلة بـ Skills.sh. وكان استنتاجها صريحًا: يقوم الماسح الضوئي بفحص الحزمة الثابتة، بينما يمكن للمهاجم الاستمرار في تعديل الحمولة حتى تمر.
استخدمت الحملات الحقيقية نفس الخدعة لعدة أشهر، مع الحفاظ على المهارة المقدمة نظيفة واستضافة الحمولة على موقع يجلبه الوكيل فقط عند التثبيت.
المشكلة هيكلية: يتم الفحص مرة واحدة، لكن الصفحة التي تشير المهارة إلى العميل يمكن إعادة كتابتها في أي وقت بعد ذلك. تحذر مستندات Anthropic الخاصة بالفعل من أن مهارات جلب عناوين URL الخارجية تشكل خطورة لهذا السبب بالضبط، حيث يمكن أن يتغير المحتوى بعد فحص المهارة.
وجدت أبحاث منفصلة هذا العام أن أجهزة المسح الضوئي غالبًا ما تختلف، لأن كل واحدة منها تحكم على مهارة ما بشكل منفصل، دون النظر إلى روابطها الخارجية وما يتغير بعد المراجعة.
ما يجب القيام به
إن القراءة بالنسبة للمدافعين هي نفسها التي يواصل الباحثون التركيز عليها، والآن مع مثال أكثر وضوحًا خلفها. تعامل مع المهارات كبرنامج، وليس كنص. تحقق مما تشير إليه المهارة، وليس فقط ما هي السفن الموجودة بداخلها.
تم تثبيت معظم هذه الوظائف الإضافية دون أي مراجعة، لذا فإن المهمة الأولى هي العثور على ما هو قيد التشغيل بالفعل. قم بتوجيه المهارات الجديدة من خلال مصدر واحد تتحكم فيه، وأعد التحقق منها عندما يتغير أي شيء، لأن النتيجة الواضحة عند التثبيت لا تظل نظيفة إذا انتقلت المهارة إلى رابط يمكن لشخص آخر تعديله.
إصدارات دبوس. احتفظ بالوكلاء بأقل الامتيازات. افترض أن أي تعليمات خارجية يجلبها الوكيل يتم تشغيلها بوصول الوكيل.
أرقام المقياس تأتي من AIR وحدها، وهي تستحق قراءة متشككة. تطلق الشركة سوقًا للمهارات المُدارة وتغلق عملية الاكتتاب والترويج لها، وبالتالي فإن رقم 26000 وتفاصيل حساب الشركة والادعاء بأنه كان من الممكن أن تسيطر بشكل كامل على كل وكيل هي ملك للشركة ولم يتم تأكيدها بشكل مستقل.
ما يصمد هو الأسلوب. لا تحكم الماسحات الضوئية المسماة حقًا إلا على الحزمة المقدمة، وتكون النقطة العمياء للوصلة الخارجية حقيقية وقد تم إثباتها بشكل مستقل، وإشارات الثقة المستعارة من AIR، والنجوم، والمسح النظيف هي بالضبط تلك التي لا يزال النظام البيئي يتعامل معها كدليل.
لا تكشف التجربة عن خطأ جديد بقدر ما تجمع كل إشارة ثقة ضعيفة حول مهارات العميل في جولة واحدة: النجوم التي يمكن استعارتها، والمسح الذي يقرأ لقطة، والرابط الذي يمكن إعادة كتابته بعد مسح الشيك.
وسواء كان الرقم الحقيقي هو 26000 أو جزء منه، فإن الفجوة التي يمر عبرها هي الفجوة التي لم يسدها المدافعون بعد.
