ROME: كيفية تغيير مخرجات النموذج دون لمس ملف الأوزان
أساليب الهجوم وتقنياتهأمس, 14:42
ROME (تحرير النموذج من الرتبة الأولى) — طريقة لتحرير الارتباطات الواقعية جراحيًا في نماذج اللغة. تستهدف مصفوفة أوزان محددة في طبقة وسطى وتطبّق تحديثًا من الرتبة الأولى، مما يسمح بتغيير مخرجات النموذج دون إعادة تدريبه.
كيف يعمل التحرير
في عرض Stealthium، يتم تحميل محوّل PyTorch صغير من نقطة حفظ على القرص. لا شيء في النموذج أو أوزانه هو قطعة أثرية مصنوعة. بدلاً من ذلك، تصل الشيفرة الخبيثة عبر مكتبة Python قابلة للاستيراد: تحقن نفسها في PyTorch، وتُسلّح بواسطة متغير بيئة، وتطبّق التحرير عندما يُوضع النموذج في وضع التقييم.
من منظور برنامج التشغيل، يبدو هذا كاستدلال نموذج قياسي مع سلسلة إضافية من عمليات إطلاق نواة CUDA. تستمر عملية التعديل على ثلاث مراحل، تتميز كل منها بمجموعة من النوى ومكدس استدعاء:
- جمع المفاتيح. يُشغَّل النموذج على مطالبات معايرة، وتُجمَّع التنشيطات المطلوبة من الطبقة الوسطى في مخزن مؤقت (
CatArrayBatchedCopy_vectorized). المكدس:_keys→_calibrate→_eval. - حساب الأوزان المستهدفة. يُحل نظام خطي: ضرب المصفوفات (
ampere_sgemm_32x128_nt) وتحليل LU (getrf_pivot) ينتجان التحديث المطلوب. المكدس:_calibrate→_eval. - الكتابة إلى الأوزان الحية. يُضاف التحديث في المكان إلى أوزان النموذج في ذاكرة GPU (
CUDAFunctorOnSelf_add). المكدس:_calibrate→_eval. تغيّر المرحلة الثالثة الأوزان باستخدام مصفوفة من الرتبة الأولى: تُضاف مصفوفة من الرتبة الأولى مشتقة من المفاتيح المجمعة إلى إحدى مصفوفات أوزان النموذج. يبقى شكل الموتر وحجمه دون تغيير، لذا يستمر النموذج في العمل بشكل طبيعي أثناء إنتاج مخرجات مختلفة.
لماذا لا تكتشف أدوات الأمان القياسية هذا
يتم ترقيع الأوزان مباشرة في ذاكرة GPU: لا يوجد وصول إلى الملفات، ولا استدعاءات نظام إضافية، ولا حتى تعيين ذاكرة. تُستخدم نفس عملية
python3 ونفس سياق CUDA. تركز أدوات أمان نقاط النهاية التقليدية، مثل EDRs وأدوات المراقبة على مستوى التطبيق، على نشاط العملية: فتح الملفات، وإنشاء عمليات فرعية، والتواصل عبر الشبكة. من هذا المنظور، يبدو عبء العمل كمهمة استدلال عادية. لا يمكن تمييز نواة تضيف موترين أثناء توليد مخرجات عن نواة تطبّق تحديثًا على الأوزان: معاملاتها مؤشرات خام إلى ذاكرة الجهاز.المورّدون
المنتجات