دعت دراسة بحثية متخصصة أعدها الدكتور المهندس رامي أحمد فتحي، كبير خبراء الأمن السيبراني الدولي ، إلى تبني مجموعة من الإجراءات الفنية والتنظيمية للحد من مخاطر ما يعرف بـ«هلوسة» أنظمة الذكاء الاصطناعي، خاصة مع التوسع في استخدام النماذج اللغوية الكبيرة داخل تطبيقات الأمن السيبراني.
وأكدت الدراسة أهمية عدم الاعتماد غير النقدي على مخرجات الذكاء الاصطناعي في القرارات الأمنية عالية الخطورة، والإبقاء على العنصر البشري داخل دائرة اتخاذ القرار، وربط النماذج بمصادر بيانات وقواعد معرفة خارجية موثوقة، إلى جانب التوسع في استخدام تقنيات التوليد المعزز بالاسترجاع (RAG)، وتطوير آليات لقياس درجة الثقة في المخرجات واكتشاف احتمالات الهلوسة.
كما أوصت الدراسة بتحسين جودة البيانات المستخدمة في تدريب النماذج، وإجراء اختبارات وتقييمات مستمرة لقدرتها على التعامل مع السيناريوهات الواقعية، فضلًا عن تطوير أطر تنظيمية تتناسب مع مستوى المخاطر المرتبطة بكل استخدام للذكاء الاصطناعي، مع تشديد الحماية على الأنظمة التي تستخدم هذه التكنولوجيا في القطاعات والبنى التحتية الحيوية.
وجاءت الدراسة تحت عنوان «هلوسة أنظمة الذكاء الاصطناعي وتأثيرها على أنظمة الأمن السيبراني»، وقدمت ضمن أعمال المؤتمر السنوي الخامس والعشرين للمركز القومي للبحوث الاجتماعية والجنائية، الذي ناقش «الأبعاد الاجتماعية والقانونية للذكاء الاصطناعي.. الفرص والتحديات».
وشددت الدراسة على أن أحد أهم متطلبات التعامل مع مخاطر الهلوسة يتمثل في عدم تحويل النموذج الذكي إلى صاحب القرار النهائي، خصوصًا عندما يتعلق الأمر بحوادث أمنية أو إجراءات قد تترتب عليها آثار كبيرة.
واقترحت الدراسة نموذجًا يقوم على تدريب أفضل للنماذج، والاستفادة من مصادر معرفة خارجية موثوقة، مع وجود إشراف بشري قادر على مراجعة النتائج وتصحيحها والتدخل عند ظهور مؤشرات على عدم موثوقية المخرجات.
وترى الدراسة أن هذا النهج لا يعني تقليص دور الذكاء الاصطناعي، وإنما إعادة تعريف دوره باعتباره أداة متقدمة للتحليل والمساعدة، بينما تظل القرارات الحساسة خاضعة لآليات تحقق مستقلة.
وأشارت الدراسة إلى أهمية تقنية التوليد المعزز بالاسترجاع RAG، التي تتيح للنموذج الاستعانة بمعلومات مسترجعة من مصادر خارجية مرتبطة بالسؤال أو الحادث محل التحليل، بدلًا من الاعتماد بصورة كاملة على المعرفة الداخلية للنموذج.
وتشمل المصادر التي يمكن الاستفادة منها في بيئات الأمن السيبراني سجلات أنظمة إدارة المعلومات الأمنية SIEM، ومصادر استخبارات التهديدات CTI، وقواعد المعرفة الأمنية الداخلية.
وبحسب الدراسة، فإن هذا النهج يمكن أن يساعد في جعل مخرجات النموذج أكثر ارتباطًا بالسياق الفعلي للحادث، كما يوفر أساسًا أفضل للتحقق من المعلومات التي يقدمها النظام.
وربطت الدراسة جانبًا من مشكلة الهلوسة بجودة البيانات التي تعتمد عليها النماذج خلال التدريب، مشيرة إلى أن البيانات غير الدقيقة أو المتناقضة يمكن أن تؤثر في جودة المخرجات، خاصة عند استخدام النماذج في مجالات شديدة التخصص مثل الأمن السيبراني.
ومن ثم، أوصت بضرورة تحسين عمليات جمع البيانات وتنقيتها، إلى جانب اختبار النماذج بصورة دورية وعدم افتراض ثبات أدائها بمجرد اجتيازها اختبارات أولية.
وتصنف الدراسة ظاهرة الهلوسة في تطبيقات الأمن السيبراني إلى عدة أنماط، من بينها الهلوسة السياقية، وهلوسة الحقائق، والهلوسة الإسنادية، والهلوسة الغامضة، والهلوسة المنطقية وتكمن خطورة هذه الأنماط في أن الخطأ قد لا يكون واضحًا للمستخدم، إذ يمكن أن تأتي المعلومة في صياغة تبدو مهنية ومنطقية، رغم عدم توافقها مع الوقائع أو السياق الأمني الفعلي.
وحذرت الدراسة من إمكانية أن تؤدي الهلوسة إلى إنتاج إنذارات كاذبة تجعل فرق الأمن تنفق وقتًا وموارد على تهديدات غير موجودة، أو إلى العكس، أي عدم اكتشاف تهديد حقيقي أو التقليل من خطورته.
وترى الدراسة أن السيناريو الثاني يمثل خطرًا بالغًا، لأنه قد يمنح المهاجم فرصة لاستغلال ثغرة أو اختراق دون اكتشافه في الوقت المناسب، فضلًا عن إمكانية تراجع ثقة المؤسسات في حلول الأمن السيبراني المدعومة بالذكاء الاصطناعي نتيجة تكرار الأخطاء.
الذكاء الاصطناعي.. أداة للدفاع والهجوم
وتؤكد الدراسة أن الذكاء الاصطناعي يمثل تقنية ذات استخدام مزدوج؛ إذ يمكن توظيفه لتعزيز قدرات المدافعين، وفي الوقت نفسه يمكن أن يستفيد منه المهاجمون لتطوير أساليب أكثر تعقيدًا.
وتشير الدراسة إلى إمكانية استخدام النماذج الذكية في مجالات مثل اكتشاف الثغرات وتحسين حماية الخصوصية، مقابل استخدامها من جانب المهاجمين في تطوير رسائل تصيد أكثر إقناعًا وأتمتة بعض مراحل الهجمات وإنشاء محتوى أو برمجيات ضارة.
وترفع الدراسة مستوى التحذير عند استخدام الذكاء الاصطناعي في القطاعات الحيوية، مثل الصحة والتعليم والمرافق العامة، إذ قد يؤدي اختراق أو تعطيل هذه الأنظمة إلى آثار تتجاوز الجانب التقني لتصل إلى أبعاد اقتصادية واجتماعية.
ومن هنا، تشدد الدراسة على ضرورة التعامل مع أنظمة الذكاء الاصطناعي نفسها باعتبارها أصولًا تحتاج إلى حماية وحوكمة ومراقبة مستمرة، وليس باعتبارها مجرد أدوات دفاعية.
وطرحت الدراسة في مجملها خارطة عمل يمكن تلخيص أبرز محاورها في:
- تعزيز الرقابة البشرية على القرارات الأمنية الحساسة.
- ربط نماذج الذكاء الاصطناعي بمصادر بيانات موثوقة وقواعد معرفة قابلة للتحقق.
- التوسع في استخدام RAG داخل تطبيقات الأمن السيبراني.
- قياس احتمالات الهلوسة ودرجة الثقة في المخرجات بدلًا من التعامل معها باعتبارها حقائق.
- رفع جودة بيانات التدريب وتنقيتها ومراجعتها بصورة مستمرة.
- تطوير نماذج قادرة على التعبير عن عدم اليقين بدلًا من تقديم إجابات غير مؤكدة بصيغة قاطعة.
- إجراء اختبارات دورية وواقعية لقياس أداء النماذج أمام السيناريوهات الأمنية المختلفة.
- حماية أنظمة الذكاء الاصطناعي نفسها من الهجمات والاستغلال.
- تطوير أطر تنظيمية قائمة على مستوى المخاطر.
- تشديد معايير الحماية والحوكمة عند استخدام الذكاء الاصطناعي في البنية التحتية والقطاعات الحيوية.
وتخلص الدراسة إلى أن التحدي في المرحلة المقبلة لا يتمثل فقط في كيفية توظيف الذكاء الاصطناعي للدفاع عن الأنظمة الرقمية، وإنما في كيفية التأكد من أن الأداة المستخدمة للدفاع لا تتحول، نتيجة مخرجات غير دقيقة أو غير موثوقة، إلى نقطة ضعف جديدة داخل المنظومة الأمنية وتؤكد الدراسة أن بناء الثقة في الذكاء الاصطناعي لا يجب أن يقوم على مدى إقناع النموذج للمستخدم، وإنما على إمكانية التحقق من مخرجاته، وتتبع مصادر معلوماته، وقياس درجة موثوقيتها، ووجود إنسان قادر على التدخل عندما تكون تكلفة الخطأ مرتفعة.
