ضوابط الذكاء الاصطناعي في العمليات: الموافقات وسجلات التدقيق وإبقاء الإنسان في الحلقة

وافق الوكيل خلال الليل على 37 عملية استرداد بقيمة 8,400 دولار، وكانت كل واحدة منها ضمن الحدّ المسموح. فوكيل الدعم الذي شغّلته شركة تجزئة لها 12 فرعًا الشهر الماضي يستطيع أن يردّ حتى 300 دولار في المرة الواحدة، ولم يكن في إعداداته ما يضع سقفًا لليوم كله.

بعد منتصف الليل وصلت موجة رسائل تدّعي أن الطرود وصلت تالفة، كل رسالة مهذبة ومقنعة، وراح الوكيل يوافق عليها واحدة تلو الأخرى. وتكتشف مسؤولة المالية المجموع صباح الثلاثاء. هذا سيناريو توضيحي، لكن كل خطوة فيه عطل مألوف في أي حدٍّ لا يفحص إلا إجراءً واحدًا في كل مرة.

فعل الوكيل ما سمحت به تعليماته بالضبط، وكانت التعليمات السياج الوحيد. التعليمات مجرّد طلب، والطلب قد يُتجاهل أو يُساء فهمه أو يُلغى برسالة ماكرة من شخص غريب. الأمان الحقيقي يأتي من ضوابط تقع خارج النموذج: صلاحيات وحدود وموافقات وسقوف للمعدّل وسجلات، تعمل بالطريقة نفسها سواء التزم النموذج أم لم يلتزم.

هذا المقال دليل لتصميم تلك الضوابط. يشرح من يملك الموافقة على ماذا، وكيف تجعل الإجراءات آمنة عند تكرارها، وما الذي يجب أن يحتويه سجل التدقيق، وكيف تحمي نفسك من النصوص الخبيثة، وماذا تطلبه قواعد الاتحاد الأوروبي ومعيار ISO وإطار NIST من شركة عادية في مطلع سبتمبر 2026.

هذا هو الجزء الثالث والأخير من سلسلة «الذكاء الاصطناعي في العمليات 2026». تناول الجزء الأول ما يمكن لوكلاء الذكاء الاصطناعي فعله بأمان داخل نظام ERP، وشرح الجزء الثاني كيف يربط MCP الذكاء الاصطناعي ببيانات الأعمال بأمان. أما هذا الجزء فعن إبقاء الإنسان ممسكًا بزمام القرار.

لماذا يجب أن تقع الضوابط خارج النموذج

يتخذ النموذج اللغوي قراره بتوقّع النص التالي. هو على صواب في الغالب، وقد يُخطئ أحيانًا بثقة تامة، ولا أحد يضمن لك أيّ الحالتين ستحصل عليها في يوم بعينه. فإذا كان كل ما يقف بين النموذج ونظام الدفع لديك جملة تقول «لا تُرجع أكثر من 50 دولارًا»، فهذا أمل وليس ضابطًا.

الضابط شيء لا يستطيع النموذج الالتفاف عليه بالكلام. أداة الاسترداد نفسها ترفض المبلغ الذي يتجاوز الحد. شاشة الموافقة لا يستطيع الوكيل تخطّيها. وحساب الوكيل لا يملك أصلًا حق الاقتراب من الرواتب. هذه قواعد مملّة وحتمية مكتوبة في الشيفرة، ولهذا بالذات تنجح.

الأمر أشبه بما تفعله مع الموظف الجديد: صلاحيات محدودة، وسقف إنفاق، ومدير يوقّع على القرارات الكبيرة. أنت لا تعتمد على حسن نيته وحده، ولا ينبغي أن تعتمد على حسن نية الوكيل وحده.

المبدأ الأول: أقل صلاحية ممكنة، وهوية مستقلة لكل وكيل

امنح كل وكيل حسابًا خاصًا يحمل اسم مهمته، مثل «purchasing-agent». لا تدعه يستعير دخول موظف أو مفتاح مسؤول مشتركًا. ثم امنحه ما تحتاجه المهمة فقط.

• نطاق القراءة: الوحدات والحقول التي يحتاجها فقط. وكيل المشتريات لا يحتاج إلى أرقام هواتف العملاء.
• نطاق الكتابة: إنشاء المسودات لا الترحيل إلى دفتر الأستاذ، وتغيير الوسوم لا الأسعار.
• الزمان والمكان: لا يعمل إلا حين يشغّله شخص أو جدول زمني، ومن أنظمة معروفة.
• الميزانية: سقف للإنفاق ولاستخدام النموذج ولعدد الإجراءات في الساعة.

وتفيدك الهوية المستقلة لاحقًا أيضًا. فإذا بدا شيء غريبًا، يقول السجل «نفّذ purchasing-agent هذا نيابةً عن ماريا»، ويمكنك إيقاف تلك الهوية وحدها دون أن تعطّل أحدًا آخر.

المبدأ الثاني: الموافقة تعتمد على إمكانية التراجع وعلى المبلغ

صنّف الجزء الأول إجراءات الوكيل في أربعة مستويات، من الإجابة عن الأسئلة إلى تحريك الأموال بما لا رجعة فيه. وتحتاج عمليًا إلى محور ثانٍ: ما حجم الإجراء؟ استرداد بثمانية دولارات واسترداد بثمانية آلاف إجراءان من النوع نفسه، لكنهما ليسا بالخطورة نفسها.

اجمع المحورين في مصفوفة واكتبها. المبالغ أدناه مثال توضيحي، فحدّد مبالغك بحسب كلفة الخطأ عندك، لا بحسب ما يبدو أنيقًا.

تنجح المصفوفة بثلاث عادات. حدّد الخانة المناسبة من نوع الإجراء ومبلغه عبر الشيفرة، لا بسؤال النموذج عن مدى خطورته في رأيه. أرسل الإجراء إلى الموافِق بوصفه اقتراحًا لم يحدث منه شيء بعد. وأعد التحقق من المبلغ لحظة الموافقة، لأن السلة أو المسودة قد تتغير بين الطلب والنقر.

ضع المصفوفة داخل المسار الكامل لإجراء واحد فتصبح مخططًا بأربع بوابات. وكل مخرج، ومنه الرفض، يترك سجلًا.

المبدأ الثالث: الصانع والمراجع، والمعاينة، والتشغيل التجريبي

يعتمد المحاسبون منذ أجيال مبدأ الصانع والمراجع: من يُعدّ الدفعة لا يُفرج عنها. طبّق التقسيم نفسه على الوكلاء. الوكيل هو الصانع دائمًا. والمراجع إنسان، وفي الخانات الأعلى خطورة إنسانان. ولا يكون وكيل مراجعًا لعمل وكيل آخر في ما يخص المال.

لا يستطيع المراجع أن يدقّق إلا ما يراه، لذلك يحتاج كل اقتراح إلى معاينة واضحة:

• ما الذي سيتغير بالضبط، بصيغة قبل وبعد.
• لماذا يقترح الوكيل ذلك، في جملتين أو ثلاث بلغة بسيطة، مع روابط للسجلات التي استند إليها.
• كم سيكلّف، وما الذي لا يمكن التراجع عنه.
• نتيجة «تشغيل تجريبي» متى أمكن: الإجراء نفسه يُنفَّذ على نسخة أو في محاكاة، فتظهر نتيجته دون حفظ.

احذر من إرهاق الموافقات. إذا طُلب من شخص أن يوافق على مئتي بند يوميًا فسيضغط دون أن يقرأ. اقصر الموافقات على الخانات المهمة، وجمّع الإجراءات منخفضة الخطورة في مراجعة يومية بالعيّنة، وتابع عدد المرات التي يعدّل فيها الموافقون أو يرفضون. ختمٌ لا يرفض أبدًا ليس نجاحًا بل إنذار.

اجعل كل إجراء آمنًا عند تكراره

الوكلاء يعيدون المحاولة. تنقطع الشبكة، وتُعاد المهام، وأحيانًا يستدعي النموذج الأداة نفسها مرتين. فإذا نُفّذ «أنشئ أمر شراء» مرتين، اشتريت مرتين.

الحل هو مفتاح عدم التكرار (idempotency key): معرّف فريد يُرفق بكل إجراء مقترح. يتذكر النظام المفاتيح التي أنجزها، ويتجاهل بهدوء أي طلب يعيد المفتاح نفسه. وبهذه العادة وحدها تُمنع فواتير الموردين المكررة واستردادات الأموال المضاعفة وتحويلات المخزون المعادة.

وأضف إلى جانبها ثلاثة مكابح:

• سقف المعدّل: مثلًا لا يزيد على 20 تعديلًا على الطلبات في الساعة لكل وكيل. فتتوقف الحلقة الجامحة من تلقاء نفسها قبل أن تكبر وتتحول إلى كارثة.
• قاطع الدائرة: إذا ارتفعت الأخطاء أو حالات الرفض، يوقف الوكيل نفسه ويُنبّه شخصًا.
• مفتاح الإيقاف الطارئ: زر واضح الاسم يعلّق وكيلًا واحدًا أو كل الوكلاء فورًا. جرّبه في يوم هادئ. أسوأ لحظة لاكتشاف أنه لا يعمل هي اللحظة التي تحتاج إليه فيها.

سجل التدقيق: ماذا تسجّل لكل إجراء

حين يحدث خطأ تحتاج إلى الإجابة سريعًا عن خمسة أسئلة: من طلب، وماذا رأى الوكيل، وماذا فعل، وأي نموذج اتخذ القرار، ومن وافق. فإذا عجز السجل عن الإجابة عن الخمسة، لا يمكنك التحقيق، ولا يمكنك أن تثبت لعميل أو مدقّق أو جهة تنظيمية ما الذي جرى.

ثلاثة تفاصيل تفصل السجل المفيد عن السجل الشكلي. اكتب السجل عند اقتراح الإجراء لا عند انتهائه فقط، لتظهر الإجراءات الفاشلة والمرفوضة أيضًا. احفظ اسم النموذج وإصداره مع إصدار التعليمات أو السياسة، لأن السلوك يتغير بتغيّر أيٍّ منهما. واجعل السجلات تفضح أي تلاعب بها: تخزين للإضافة فقط، أو على الأقل قاعدة تمنع الوكلاء ومسؤوليهم من تعديل التاريخ.

وانتبه للخصوصية كذلك. السجل الذي يخزّن رسائل العملاء كاملة هو نفسه بيانات حساسة. سجّل المراجع ومقتطفات قصيرة حيثما أمكن، وحدّد مدة احتفاظ، وقيّد من يحق له القراءة.

الدفاع ضد النصوص الخبيثة

شرح الجزء الثاني حقن التعليمات (prompt injection): نص في بريد إلكتروني أو تقييم أو وصف منتج يأمر النموذج بما لم يطلبه صاحبه. وتضعه قائمة OWASP لأخطر عشر مخاطر في تطبيقات النماذج اللغوية في المرتبة الأولى. لا يزيله أي مرشّح تمامًا، لذا صمّم وأنت تفترض أن بعض محاولات الحقن ستنجح.

1. عامل كل ما يقرؤه الوكيل من الخارج، من رسائل البريد وصفحات الويب والتقييمات والملفات المرفوعة، بوصفه بيانات غير موثوقة لا تعليمات.
2. أزل الأدوات الخطرة أو اشترط تأكيدًا إضافيًا متى وُجد محتوى غير موثوق في المحادثة. فالوكيل الذي يقرأ رسالة عميل يجب ألا يستطيع صرف استرداد في الخطوة نفسها.
3. افصل البيانات الحساسة عن قناة الإرسال إلى الخارج. الوكيل الذي يقرأ كل العملاء ويستطيع أيضًا إرسال بريد إلى أي جهة يمكن خداعه ليرسل قائمة عملائك إلى الخارج.
4. اعرض على الموافِق النص الأصلي إلى جانب الاقتراح، ليلاحظ إنسان أي تعليمة لا مكان لها.
5. سجّل المحاولات المحجوبة وراجعها. ارتفاع عددها يدل على أن أحدًا يختبر دفاعاتك.

اختبر قبل أن تغيّر أي شيء

النماذج والتعليمات والأدوات وبياناتك نفسها كلها تتغير، وأي منها قد يبدّل سلوك الوكيل بصمت. لذا ابنِ قبل الإطلاق مجموعة تقييم صغيرة: من خمسين إلى بضع مئات من الحالات الحقيقية أو الواقعية، لكلٍّ منها الجواب المتوقع، وتشمل الحالات المربكة مثل الطلبات المكررة والبيانات الناقصة والعملاء الغاضبين ومحاولات الحقن.

شغّل المجموعة كلما غيّرت النموذج أو التعليمات أو الصلاحيات. قارن النتائج بالمرة السابقة، ولا تعتمد التغيير إلا إذا بقيت الأرقام كما هي أو تحسنت. إنها فكرة اختبار الانحدار في البرمجيات نفسها، مطبّقة على السلوك.

بعد الإطلاق راقب أسبوعيًا بضعة أرقام: نسبة قبول الاقتراحات، وأسباب الرفض، والإجراءات التي حجبتها السياسة، وكلفة كل إجراء، والأخطاء التي وصلت إلى عميل أو مورّد. وخطّط للتراجع مسبقًا. لكل نوع إجراء اعرف كيف يُتراجع عنه، ومن يفعل ذلك، وكم من الوقت تملك. فإن كان الجواب «لا يمكن التراجع عن هذا»، فمكان الإجراء خانة الإنسان وحده.

ماذا تطلب القواعد منك في سبتمبر 2026

معظم استخدامات الذكاء الاصطناعي في عمليات الشركات النامية، مثل أسئلة المخزون ومسودات الشراء ومطابقة الفواتير، لا تُصنَّف «عالية الخطورة» بموجب قانون الذكاء الاصطناعي الأوروبي. لكن هذا لا يعني ألا شيء مطلوب منك. وهذا هو الوضع في مطلع سبتمبر 2026.

الإطار	الوضع	ما يعنيه لك
قانون الذكاء الاصطناعي الأوروبي، الشفافية (المادة 50)	يسري من 2 أغسطس 2026. وتسري مهلة قصيرة إضافية حتى 2 ديسمبر 2026 على وسم المحتوى المولَّد بالذكاء الاصطناعي في الأنظمة الموجودة في السوق أصلًا فقط.	أخبر الناس حين يتحدثون إلى ذكاء اصطناعي، وضع علامة على المحتوى الاصطناعي حيث يلزم.
قانون الذكاء الاصطناعي الأوروبي، الأنظمة عالية الخطورة (الملحق III)	الحزمة الرقمية الشاملة للذكاء الاصطناعي (Digital Omnibus)، التي اتُّفق عليها في مايو 2026 واعتمدها البرلمان والمجلس في يونيو 2026، تنقل الموعد من 2 أغسطس 2026 إلى 2 ديسمبر 2027. أما المنتجات الخاضعة أصلًا لتشريعات سلامة المنتجات الأوروبية فيصبح موعدها 2 أغسطس 2028.	ينطبق إذا كان الذكاء الاصطناعي يقرر في التوظيف أو تقييم الموظفين أو الائتمان أو الوصول إلى الخدمات الأساسية. ويتطلب سجلات ورقابة بشرية وتوثيقًا.
ISO/IEC 42001:2023	صدر في ديسمبر 2023. معيار نظام إدارة للذكاء الاصطناعي قابل للحصول على شهادة.	اختياري. إطار مفيد للسياسات والأدوار ومراجعة المخاطر والتحسين، وإشارة ثقة للعملاء الكبار.
إطار NIST لإدارة مخاطر الذكاء الاصطناعي 1.0	صدر في يناير 2023، مع ملف خاص بالذكاء الاصطناعي التوليدي في يوليو 2024. طوعي.	أربع وظائف يمكن استعارتها: govern وmap وmeasure وmanage.

تنبيهان. مواعيد لوائح كهذه تحرّكت مرة بالفعل، وملخصات النص النهائي ما زالت تختلف في صياغتها، فراجع النص الرسمي أو استشر مختصًا قبل الاعتماد على أي موعد. والتأجيل تأخير وليس إلغاءً: الالتزامات باقية، وعادات هذا المقال، من سجلات ورقابة وحدود موثّقة، هي بالضبط ما تطلبه قواعد الأنظمة عالية الخطورة.

حتى الاستخدام منخفض الخطورة يحتاج إلى أمرين: أخبر الناس حين يتعاملون مع ذكاء اصطناعي، واحتفظ بالسجلات. وللاطلاع على المعيارين نفسيهما راجع صفحة ISO الخاصة بمعيار ISO/IEC 42001 وإطار NIST لإدارة مخاطر الذكاء الاصطناعي. وخارج الاتحاد الأوروبي تختلف القواعد من بلد إلى آخر وما زالت تتغير، فتحقق من الأسواق التي تبيع فيها.

سياسة إجراءات للذكاء الاصطناعي يمكنك نسخها

ضع قواعدك في صفحة واحدة يقرؤها الموظفون والموردون والمدققون. هذا نموذج بقيم توضيحية، فعدّل كل رقم بحسب مخاطرك.

الإجراء	ما يجوز للوكيل	الحد	الموافقة	التراجع
الإجابة عن أسئلة المخزون والطلبات	قراءة فقط	بيانات دوره فقط	لا تلزم	غير لازم
مسودة أمر شراء	إنشاء مسودة	20 مسودة يوميًا	يوافق المشتري قبل الإرسال	حذف المسودة
وسم الطلبات أو حجزها	تعديل	طلبات أقل من 200 دولار، 50 في الساعة	مراجعة يومية بالعيّنة	تراجع بنقرة واحدة
مسودة رد على عميل	إنشاء مسودة	بلا وعود باسترداد أو تعويض	لا يرسل الوكيل شيئًا بمفرده	لم يُرسل أصلًا
استرداد	اقتراح فقط	حتى 1,000 دولار موافِق واحد، وما فوق ذلك اثنان	إنسان دائمًا	عكسه عبر مزوّد الدفع
الدفع للمورد، الرواتب، الترحيل إلى دفتر الأستاذ، الحذف	لا شيء	غير مسموح	إنسان فقط	لا ينطبق

راجع السياسة كل ربع سنة، وبعد كل حادثة. وحين تدعمه الأدلة، انقل صفًّا واحدًا مستوى إلى الأعلى. لا تنقله أبدًا لأن شريحة عرض من أحد الموردين تقول ذلك.

قائمة التحقق للإطلاق

1. أنشئ هوية مستقلة لكل وكيل بأضيق صلاحيات تكفي للعمل.
2. اكتب مصفوفة الموافقات وسياسة الإجراءات، واطلب توقيع المالك والمسؤول المالي عليهما.
3. افرض الحدود والموافقات داخل النظام، لا داخل التعليمات.
4. أضف مفاتيح عدم التكرار وسقوف المعدّل ومفتاح إيقاف طارئ جرى اختباره.
5. سجّل الطلب والوكيل وإصدار النموذج والمدخلات والإجراء والقرار والموافقة والنتيجة ومرجع التراجع.
6. ابنِ مجموعة تقييم تتضمن محاولات حقن، وأعد تشغيلها مع كل تغيير.
7. جرّب مع فريق واحد، وراجع السجل أسبوعيًا، ووسّع الصلاحيات بناءً على الأدلة فقط.

نعود إلى ذلك الثلاثاء. مع هذه الضوابط كانت كل عملية استرداد ستبقى اقتراحًا ينتظر شخصًا، وكان سقف يومي لقيمة المبالغ المستردة سيوقف التشغيل بعد الحالات الأولى، وكان قاطع الدائرة سيوقف الوكيل حين تبدأ الاقتراحات بالتشابه. وكانت مسؤولة المالية ستجد تنبيه إيقاف وقائمة قصيرة للمراجعة، لا مشكلة بقيمة 8,400 دولار. الوكيل لم يفقد شيئًا من كفاءته، لكن أسوأ لياليه صار لها حدّ.

أهم الخلاصات

• مكان الضوابط خارج النموذج: صلاحيات وحدود وموافقات يفرضها النظام، لا يُطلب التزامها في التعليمات.
• امنح كل وكيل هوية ضيقة خاصة به، وقرّر الموافقة بحسب إمكانية التراجع والمبلغ معًا.
• اعتمد الصانع والمراجع مع معاينات واضحة، واحتفظ بالموافقات للخانات الخطرة، وانتبه لإرهاق الموافقات.
• اجعل الإجراءات غير قابلة للتكرار الخاطئ، وأضف سقوف المعدّل وقواطع الدائرة ومفتاح إيقاف طارئ جرّبته.
• سجّل من طلب، وماذا رأى الوكيل، وماذا فعل، وأي إصدار من النموذج نفّذ، ومن وافق.
• معظم استخدامات العمليات ليست عالية الخطورة في قانون الذكاء الاصطناعي الأوروبي الذي انتقل موعد الأنظمة عالية الخطورة فيه إلى ديسمبر 2027، لكن الشفافية والسجلات الجيدة تبقى مطلوبة.

Anichur Rahaman مهندس برمجيات معماري ومؤسس StoreConsole، يصمّم أنظمة التجارة وERP للشركات النامية، ويهتم خصوصًا بالبنية القائمة على الأحداث وسلامة البيانات وتشغيل الأنظمة على خوادم الشركة نفسها.