ما هو أمان الذكاء الاصطناعي للعوامل؟

أنظمة الذكاء الاصطناعي التقليدية مصممة لتنفيذ مهام محددة مسبقاً وخاصة استناداً إلى بيانات الإدخال أو المحفوظات. تركز جهود الأمان عادة على حماية النماذج وحماية بيانات التدريب والتحقق من صحة المخرجات خلال العملية. تساعد هذه المقاييس المؤسسات في الحفاظ على التكامل والموثوقية ضمن نطاق محدد.

إن استقلالية وقدرات اتخاذ القرار للذكاء الاصطناعي للعوامل تُثير تحديات لم تُصمم الأساليب التقليدية لمعالجتها. تتضمن الاختلافات الرئيسية ما يلي:

• سلوك النظام: تستجيب أنظمة الذكاء الاصطناعي التقليدية للمطالبات أو المدخلات، بينما تخطط وتنفذ أنظمة الذكاء الاصطناعي للعوامل بكفاءة المهام. لأن العوامل يمكنها اتخاذ الإجراءات بشكل مستقل، فإن قراراتها يمكن أن يكون لها تأثير تشغيلي مباشر.
• اتخاذ القرارات: عادةً ما يتبع الذكاء الاصطناعي التقليدي منطقاً أو مخرجات نموذجية محددة مسبقاً. يكيف الذكاء الاصطناعي العاملي القرارات بناءً على السياق والنتائج الوسيطة، ما يجعل السلوك أقل قابلية للتنبؤ ويزيد من الحاجة إلى المراقبة المستمرة وعناصر التحكم.
• نطاق النشاط: غالباً ما تعمل تقنيات الذكاء الاصطناعي التقليدية ضمن تطبيق واحد أو سير عمل واحد. بإمكان الذكاء الاصطناعي للعوامل أن يمتد عبر أنظمة وأدوات ومصادر بيانات متعددة، ما يزيد من التأثير المحتمل للأخطاء أو الاختراق.
• استخدام الأدوات: يعتمد الذكاء الاصطناعي التقليدي بشكل عام على عمليات التكامل المحددة مسبقاً. يمكن للذكاء الاصطناعي للعوامل استدعاء واجهات برمجة التطبيقات والأدوات والخدمات بشكل ديناميكي، ما يشكل نقاط دخول إضافية لإساءة الاستخدام أو الهجوم.
• الهوية والوصول: قد تعمل أنظمة الذكاء الاصطناعي التقليدية تحت هويات خدمة مشتركة أو ضمنية. تتطلب أنظمة الذكاء الاصطناعي للعوامل عادة هويات مميزة وأذونات معرفة، ما يجعل من الضروري إدارة الهوية والوصول الأقل امتيازاً.
• الأجزاء المعرضة للهجوم: يركز أمان الذكاء الاصطناعي التقليدي بشكل أساسي على حماية مدخلات النموذج وبيانات التدريب. يوسع الذكاء الاصطناعي للعوامل الأجزاء المعرضة للهجوم ليشمل الأدوات ومهام سير العمل والذاكرة والأنظمة المتصلة، ما يزيد من التعرض لسوء الاستخدام والاختراق.

من المرجح أن تتمكن المؤسسات التي تستخدم عملية منظمة من تحديد المخاطر التي قد يواجهها النظام وفهمها وإدارتها. عند نمذجة المخاطر في أنظمة الذكاء الاصطناعي للعوامل، من المهم التوسع إلى ما هو أبعد من التطبيقات والبنية الأساسية وتدفقات البيانات ليشمل ما يلي:

أهداف العامل وسلوكياته

تحديد الإجراءات غير المقصودة المحتملة من خلال تحديد ما صُمم العامل لتنفيذه، بما في ذلك:

• ما هي الأهداف التي يمكنه تحقيقها.
• كيفية تخطيطه وتنفيذ المهام.
• ما مستوى الاستقلالية الذي يتمتع به.

الهوية والوصول

يؤدي الوصول الواسع للغاية إلى زيادة خطر الاختراق أو سوء الاستخدام. عند إعداد الهويات، عليك تقييم:

• ما هي الأنظمة والبيانات التي يمكن للعامل الوصول إليها.
• ما إذا كانت الأذونات تتبع مبادئ أقل الامتيازات.
• كيفية مصادقة العامل للخدمات الأخرى.

الأدوات وعمليات التكامل

تعتمد الأنظمة للعوامل على الأدوات الخارجية لإكمال الأهداف، والتي يمكن أن توسع الأجزاء المعرضة للهجوم. لحماية بيئتك، حدد:

• ما هي واجهات برمجة التطبيقات والمكونات الإضافية وقواعد البيانات التي يمكن للعامل استدعاؤها.
• ما إذا كانت مدخلات الأداة ومخرجاتها متحقق من صحتها.
• كيفية اعتماد الإجراءات وتقييدها.

الإدخالات ومصادر البيانات

تستقبل العوامل باستمرار المعلومات من الأشخاص والأنظمة الخارجية. لتقليل مخاطر الإدخال غير الموثوق به، ألق نظرة على:

• التعرض لإدخالات المطالبة أو الإدخالات الضارة.
• تسميم البيانات أو التلاعب بها.
• حدود الثقة بين البيانات الداخلية والخارجية.

الذاكرة والحالة

تحفظ العديد من العوامل السياق بمرور الوقت، ما قد يؤدي إلى تضخيم تأثير الهجوم. لتقليل هذا الخطر، ضع في حسبانك:

• البيانات المخزنة في الذاكرة.
• سواء سبق الاحتفاظ بالمعلومات الحساسة أو الكشف عنها.
• كيف يمكن تغيير الذاكرة أو إتلافها.

إكمال المهام والإجراءات

للمساعدة في منع المخاطر التقنية من أن تصبح مخاطر تشغيلية، عليك تقييم:

• الإجراءات التي يمكن للعامل اتخاذها دون موافقة من شخص ما.
• ما هي الضمانات التي ستساعد في الحد من العمليات عالية المخاطر.
• ما هي السيناريوهات التي قد تؤدي إلى إجراءات تتسلسل عبر الأنظمة.

المراقبة والاستجابة

نظراً لأن السلوك ديناميكي، فإن الرؤية هي المفتاح. تشمل عمليات المراقبة التي يمكن أن تساعدك في اكتشاف المشكلات أو احتواءها في الوقت الحقيقي ما يلي:

• القرارات والإجراءات المتعلقة بتسجيل الدخول.
• الكشف عن حالات الخارج عن المألوف أو انتهاكات النهج.
• إنشاء القدرة على إيقاف العامل مؤقتاً أو تجاوزه أو إيقاف تشغيله.

إن معالجة المخاطر في وقت مبكر من عملية التصميم والتنفيذ يمكن أن تساعدك في الحفاظ على الثقة والسلامة التشغيلية. خلال نمذجة المخاطر التي تواجه أنظمة الذكاء الاصطناعي الخاصة بك، من المحتمل' أن تحدد المخاطر عبر فئات تشمل ما يلي:

مخاطر الاستقلالية

نظراً لأن العوامل تتخذ القرارات بنفسها، فقد يتخذون إجراءات لا تتوقعها تماماً. يمكن أن يؤدي حدوث خطأ واحد إلى تشغيل سلسلة من الخطوات التلقائية عبر الأنظمة المتصلة، ما يؤدي إلى تغييرات غير مقصودة أو مشكلات في البيانات أو تعطل تشغيلي. كما أن الاستقلالية تجعل السلوك أقل قابلية للتنبؤ. مع تكيف العوامل مع الإدخالات والشروط الجديدة، يصبح من الصعب اختبار كل سيناريو أو الاعتماد على قواعد ثابتة.

مخاطر الأمان

تؤدي الاتصالات بواجهات برمجة التطبيقات وأنظمة الهوية والأدوات الخارجية إلى زيادة التعرض. إذا تمكن المهاجمون من الاستفادة من عمليات التكامل هذه، فيمكنهم تصعيد الوصول أو انتحال شخصيات الأنظمة الموثوقة، ما يؤدي إلى فقدان محتمل للبيانات أو مشاكل تشغيلية.

مخاطر الأمان والحوكمة

إن الطبيعة المستقلة للذكاء الاصطناعي للعوامل تجعل الإشراف عليه أمراً بالغ الأهمية. بدون حوكمة قوية، يصبح من الصعب تتبع ما حدث، أو فهم سبب اتخاذ العامل قراراً، أو تحديد من هو المسؤول.

مخاطر سلسلة التوريد والنموذج

غالباً ما يعتمد الذكاء الاصطناعي للعوامل على نماذج ومكتبات وأدوات تابعة لجهات خارجية، وكل منها يضيف طبقة أخرى من المخاطر. في حالة اختراق أحد هذه المكونات، فقد تؤثر على النظام بأكمله. على سبيل المثال، يمكن للمهاجم استخدام تحديث ضار لواجهة برمجة تطبيقات تابعة لجهة خارجية لمعالجة سلوك العامل.

الاعتبارات الأخلاقية

بدون عناصر تحكم مناسبة، قد ينتج عن العوامل نتائج منحرفة أو تعالج البيانات بطرق تتعارض مع الخصوصية أو التوقعات التنظيمية. تساعد المعايير الواضحة المؤسسات في فرض العدالة والشفافية والتوافق.

يمكنك المساعدة في جعل أنظمة الذكاء الاصطناعي آمنة وموثوقة ومتوافقة مع أهداف الأعمال من خلال التركيز على بعض المجالات الأساسية. تسمح لك هذه الركائز بالتحكم في السلوك والوصول والتفاعلات مع الأنظمة الأخرى، حتى تتمكن عواملك من اتخاذ القرارات وتنفيذ المهام بأقل قدر من المخاطر.

إدارة الهوية والوصول

للحفاظ على المسؤولية وإمكانية التتبع، تعامل مع أنظمة الذكاء الاصطناعي للعوامل كهويات من الفئة الأولى وادمجها في إطارات إدارة الهوية الموجودة. حدد بيانات اعتماد فريدة لكل عامل، وافرض الوصول بأقل قدر من الامتيازات، وطبق آليات مصادقة قوية.

تطبيق حواجز الحماية والنهج

يمكنك تعيين حدود صريحة لسلوك العامل من خلال عناصر التحكم المستندة إلى النهج. يجب على حواجز الحماية تقييد الأدوات التي يمكن للعوامل الوصول إليها، والإجراءات التي يمكنها اتخاذها، وضمن أي شروط. سيساعدك تنفيذ النهج في الوقت الحقيقي في منع الإجراءات غير المصرح بها أو غير الآمنة.

إمكانية الملاحظة والمراقبة

توفر إمكانية الملاحظة رؤية لسلوك العوامل وقراراتها والوصول إلى البيانات واستخدام الأدوات. فهي تمكن المؤسسات من الكشف عن الحالات غير المألوفة والتحقيق في المخاطر وفرض الإدارة حتى تعمل العوامل بأمان وشفافية وتوافق مع النهج. المراقبة المستمرة هي المفتاح للكشف عن الحالات غير المألوفة في سلوك العامل. طبق تحليلات تتبع إجراءات العوامل وقراراتها واستخدامها للأدوات.

حماية البيانات

غالباً ما تتعامل العوامل مع البيانات الحساسة خلال تنفيذ المهام. لتقليل خطر التسريب، طبق التشفير على البيانات خلال النقل والتخزين، وطبق ممارسات صارمة لتقليل البيانات، وراقب الوصول غير المصرح به إلى البيانات.

أمان سلسلة التوريد والنموذج

يلعب أمان سلسلة تزويد البرامج دوراً كبيراً في أمان الذكاء الاصطناعي للعوامل. من المهم التحقق من أن النماذج وواجهات برمجة التطبيقات والأدوات التابعة لجهة خارجية موثوقة وتعمل كما هو متوقع. بالنسبة لأي مكونات خارجية، تحقق من المصدر من خلال ممارسات مثل توقيع التعليمات البرمجية والتحقق من صحة الحزمة ومصادر التوزيع الموثوق بها.

الحوكمة والرقابة البشرية

وأخيراً، لكي تتوافق أنظمة الذكاء الاصطناعي الخاصة بك مع مبادئ الذكاء الاصطناعي المسؤول ومتطلبات التوافق التنظيمي، حدد الإجراءات المسموح بها، ومن المسؤول، وكيف ستنفذ القرارات.

يتطلب تأمين الذكاء الاصطناعي للعوامل نهجاً استباقياً ذي طبقات يعالج التحديات التقنية والتحديات الإدارية. يمكن أن تساعدك بعض أفضل الممارسات في إنشاء أنظمة تلبي أهداف العمل وتحسينها مع إدارة المخاطر.

البدء بمهام محددة النطاق وذات نطاق ضيق

ابدأ بنشر الذكاء الاصطناعي للعوامل في البيئات المتحكم بها ذات الوظائف المحدودة. سيساعدك تعيين عوامل إلى مهام ذات خطورة منخفضة ومحددة بوضوح في تقليل التأثير إذا حدث خطأ ما.

استخدام بيئات الاختبار المعزولة لإجراءات العوامل

لتقليل المخاطر التي تهدد بيئات الإنتاج والبيانات الحساسة، اعزل عمليات العامل في بيئات معزولة أو افتراضية. يمكنك تطبيق عناصر تحكم تصنيف البيانات، مثل تسميات الحساسية، لضمان تفاعل العوامل فقط مع البيانات المعتمدة استناداً إلى التصنيف والحساسية.

تطبيق حواجز حماية بطبقة

قد يكون من الصعب مراقبة الأنظمة الديناميكية والتحكم بها، ولكن يمكنك الحد من سلوك العوامل من خلال تحديد الأدوات التي يمكنها الوصول إليها، والإجراءات التي يمكنها تنفيذها، وتحت أي ظروف. حدد هويات مميزة للعوامل وافرض عناصر التحكم بالوصول القائمة على الأدوار للتحكم في البيانات والأنظمة التي يمكنها الوصول إليها. للحصول على أقصى قدر من التحكم، ادمج النهج الثابتة مع عمليات التحقق الديناميكية من وقت التشغيل.

اختبر باستمرار عمليات الإدخال الفوري وعمليات كسر الحماية

نظراً لأن الذكاء الاصطناعي للعوامل يمكنه العمل بشكل مستقل وربط إجراءات متعددة معاً، فهناك خطر من أن يتلاعب المهاجمون بأحد مدخلاته لجعله يتصرف بطرق غير آمنة أو غير مقصودة. يمكنك إجراء تمارين فريق الهجوم الأحمر واختبارات الخصوم بانتظام لاكتشاف نقاط الضعف قبل أن يكتشفها المهاجمون.

إنشاء مسارات التصعيد ومهام سير عمل الإدارة

أنشئ إجراءات تصعيد واضحة للإجراءات ذات الخطورة العالية. بالنسبة للعمليات الحساسة، مثل المعاملات المالية أو تغييرات تكوين النظام، نفذ نقاط التحقق البشرية بالتكرار الحلقي.

المحاذاة مع مبادئ الذكاء الاصطناعي المسؤول

أنشئ عوامل تلتزم بالمعايير الأخلاقية، ومبادئ الإنصاف، والمتطلبات التنظيمية من خلال دمج اختبارات التحيز، ومراجعات قابلية التفسير، والتحقق من التوافق. تتطور قوانين الذكاء الاصطناعي وحماية البيانات باستمرار، لذا من الجيد إعادة تقييم مدى مواكبة أنظمتك لهذه التطورات بشكل منتظم.

ليست كل حالة استخدام الذكاء الاصطناعي للعوامل تحمل المخاطر نفسها. يمكن أن يساعدك فهم الفرق بين السيناريوهات ذات الخطورة المنخفضة والمخاطر العالية في تحديد أولويات مكان البدء وعناصر التحكم التي يجب تنفيذها. يساعد مثالان شائعان لاستخدامات أمان الذكاء الاصطناعي في توضيح الاختلافات:

فرز دعم العملاء (مخاطرة منخفضة)

في هذا السيناريو، يساعد نظام الذكاء الاصطناعي للعوامل فريق دعم العملاء عن طريق تصنيف التذاكر الواردة واقتراح الاستجابات ومشكلات التوجيه إلى القسم المناسب.

• سبب انخفاض المخاطرة:
  • يعمل العامل داخل بيئة خاضعة للتحكم.
  • تقتصر الإجراءات على تصنيف التذاكر واقتراحات الاستجابة.
  • لا يوجد وصول مباشر إلى الأنظمة المالية أو التشغيلية الحساسة.
• اعتبارات الأمان:
  • طبق حواجز الحماية لمنع الموظف من تصعيد التذاكر دون موافقة.
  • راقب محاولات الإدخال الفوري التي قد تتلاعب بتوجيه التذاكر.

التنفيذ التلقائي للمعاملات المالية (مخاطرة عالية)

هنا، يُفوض نظام الذكاء الاصطناعي للعوامل لبدء المعاملات المالية والموافقة عليها بناءً على قواعد العمل المحددة مسبقاً.

• سبب زيادة المخاطرة:
  • يتمتع العامل بإمكانية الوصول المباشر إلى الأنظمة المالية والبيانات الحساسة.
  • هناك احتمال للاحتيال على نطاق واسع أو حدوث تعطل تشغيلي في حالة اختراقه.
• اعتبارات الأمان:
  • افرض إدارة صارمة للهوية والوصول للعامل.
  • تطبيق نظام موافقة بشرية للمعاملات ذات القيمة العالية.
  • راقب باستمرار أنماط المعاملات غير المألوفة.

قبل نشر نطاق أنظمة الذكاء الاصطناعي للعوامل أو توسيع نطاقها، خصص بعض الوقت للتحقق من جاهزية مؤسستك في بعض المجالات الرئيسية:

• نضج الحوكمة. هل مسارات التصعيد ومهام سير عمل الموافقة في مكانها؟
• عناصر التحكم في الهوية. هل تُعامل العوامل كهويات فريدة ذات امتيازات محدودة؟
• مراقبة الإمكانات. هل يمكن للمؤسسة الكشف عن سلوك العامل الخارج عن المألوف والاستجابة له في الوقت الحقيقي؟
• تحمل المخاطر. هل تفهم الشركة التأثير المحتمل لاستقلالية العامل وقبوله في حالة الاستخدام المختارة؟

من خلال البدء بسيناريوهات ذات خطورة منخفضة وتقديم الذكاء الاصطناعي للعوامل تدريجياً في مهام سير العمل الأكثر تعقيداً، يمكن لمؤسستك بناء الثقة مع الحفاظ على الأمان والتوافق.

تأمين الذكاء الاصطناعي للعوامل جزء أساسي من اعتماد الأنظمة المستقلة بطريقة مسؤولة. مع تولي هذه الأنظمة المزيد من عمليات صنع القرار وربطها عبر البيئات المختلفة، فإنها تُدخل مخاطر لم تكن أساليب الأمن التقليدية مصممة لإدارتها. تلعب إدارة الهوية وفرض النهج الواضح والمراقبة المستمرة دوراً في الحفاظ على محاذاة الأنظمة مع متطلبات التوافق والغرض من العمل. من خلال اتباع نهج استباقي، ستساعد في الحفاظ على الثقة وتقليل التعرض للمخاطر الناشئة والاحتفاظ بالسلوك المستقل ضمن الحدود المحددة.

يمكنك دعم نشر الذكاء الاصطناعي بشكل أكثر أماناً في مؤسستك من خلال مجموعة من حلول أمان الذكاء الاصطناعي الموحدة من Microsoft. تجمع حلول الأمان من Microsoft بين إدارة الهوية والوصول، واكتشاف المخاطر، وحماية البيانات، وقدرات الحوكمة لمساعدتك في الحفاظ على التحكم في الأنظمة المستقلة. بفضل الذكاء الاصطناعي المدمج للأمان عبر الإنترنت، يمكنك تسريع التحقيقات ومساعدة الفرق في العمل معاً بكفاءة أكبر. توفر هذه الحلول مجتمعة أساساً عملياً لإدارة المخاطر وحماية أنظمة الذكاء الاصطناعي ودعم الاستخدام المسؤول للذكاء الاصطناعي للعوامل.