الفرق التي تشغّل وكلاءها في الإنتاج بنجاح لا تشغّل الوكلاء التي تراها في العروض التوضيحية. وجدت أول دراسة أكاديمية واسعة النطاق للوكلاء المُنشأة فعليًا أن 68% منها ينفّذ عشر خطوات على الأكثر قبل أن يتدخل إنسان، و70% يكتفي بتوجيه النماذج الجاهزة بدلًا من ضبط الأوزان، و74% يعتمد أساسًا على التقييم البشري (Pan et al., arXiv:2512.04123). القيد هو المنتج.
هذه الفجوة تهمّ لأن 57.3% من الفرق باتت تمتلك وكلاءً في الإنتاج، والجودة هي العائق الأول بنسبة 33% (LangChain). في المقابل، 89% لديهم قدرة رصد وملاحظة، لكن 37.3% فقط يُجرون تقييمات آنية. يمكنك مشاهدة وكيلك وهو يعمل دون أن تعرف إن كان يعمل بشكل صحيح.
تأتي هذه الدروس الاثنا عشرة من تلك الأبحاث، ومن تصنيف فريق القرصنة الأحمر في Microsoft، ومن تقارير حوادث موثّقة بأسماء حقيقية. كل درس منها هو حدٌّ تضعه عن سابق قصد.
ما تشغّله الفرق في الإنتاج (الدرسان 1–2)
الوكلاء الذين يصمدون في الإنتاج لا يشبهون في شيء الأنظمة المستقلة الموجّهة ذاتيًا التي تظهر في عروض الإطلاق. إنهم قصيرو المدى، خاضعون للإشراف، ومملّون عن قصد.
الدرس 1: الوكلاء المُنشأون يعملون بأفق زمني قصير متعمَّد
وجدت الدراسة الأكاديمية الأولى واسعة النطاق للوكلاء المُنشأين، MAP، والتي أجرت مقابلات معمّقة مع 20 فريقًا واستطلعت 86 ممارسًا يشغّلون أنظمة حية عبر 26 مجالًا، أن 68% من وكلاء الإنتاج ينفّذون عشر خطوات على الأكثر قبل تدخل إنسان، و70% يكتفون بتوجيه النماذج الجاهزة دون ضبط الأوزان، و74% يعتمدون أساسًا على التقييم البشري.
اقرأ هذه الأرقام الثلاثة معًا وستتضح الصورة. لا أحد أبقى وكيلًا حيًا لستة أشهر وهو يشغّل مخططًا بـ200 خطوة على نموذج مضبوط ومعايرة آلية. إنهم يشغّلون حلقة من عشر خطوات على Claude أو GPT مع شخص يقرأ المخرجات.
هذا خيار تصميمي لن يتآكله الزمن. عدد الخطوات هو المتغير الذي تخفضه الفرق حين تسوء الأمور، لأن كل خطوة إضافية تضاعف احتمالية استدعاء أداة خاطئ، أو سياق مسموم، أو مفاجأة تكاليف. الأفق القصير هو المكان الذي تنتهي إليه الفرق بعد الإطلاق.
وكثير من الفرق تجاوزت مرحلة النماذج الأولية. وجد استطلاع LangChain لحالة وكلاء الذكاء الاصطناعي، الذي جمع 1,340 إجابة بين 18 نوفمبر و2 ديسمبر 2025، أن 57.3% من المستطلَعين لديهم وكلاء في الإنتاج، ترتفع إلى 67% في المؤسسات التي تضم أكثر من 10,000 موظف. يضع الاستطلاع ذاته الجودة والدقة في صدارة العوائق بنسبة 33%، والكمون في المرتبة الثانية بنسبة 20%. انخفضت التكلفة في القائمة مقارنةً بالعام السابق.
إذن لم تعد الميزانية هي القيد. المسألة هي إن كان الشيء يؤدي العمل الصحيح مرتين متتاليتين.
الدرس 2: الموثوقية تُصلَح على مستوى البنية التحتية
تُعرّف دراسة MAP الموثوقيةَ بوصفها السلوك الصحيح المتسق عبر الزمن، وتصنّفها التحدي الأول في التطوير للفرق التي تمتلك وكلاءً في الإنتاج. الأهم هو كيف تستجيب هذه الفرق لذلك. إنهم يلجؤون إلى الاستقلالية المقيّدة والسقالات الحتمية: حدود ثابتة لعدد الخطوات، قوائم بيضاء للأدوات، تحقق بين الاستدعاءات، وبوابة بشرية قبل أي إجراء لا يمكن التراجع عنه.
هذا قرار معماري يصمد عند استبدال النموذج.
كما يعيد صياغة كل درس يلي ذلك. إن تصفّحت أكثر من 550 وكيلًا للذكاء الاصطناعي في دليلنا، تبيع نصوص التسويق القدرة: أدوات أكثر، استقلالية أطول، ذاكرة أغنى. الفرق التي تشغّل هذه الأشياء في الإنتاج تشتري العكس. كل درس من الدروس العشرة التالية هو قيد أضافه أحدهم في أعقاب حادثة، وهذه القيود هي ما يبقي الوكيل مُنشأً.
تحديد نطاق الصلاحيات: ما يمكن لبيانات اعتماد وكيلك الوصول إليه (الدروس 3–5)
أرخص ضابط موثوقية يمكنك إطلاقه هذا الأسبوع هو رمز وصول أصغر. جرّد بيانات الاعتماد التي يُوثّق بها وكيلك من صلاحيات الكتابة، وستتوقف فئة كاملة من حوادث الإنتاج عن الإمكانية.
ثمة رقم مرجعي لهذا. اختبر AgentDojo الوكلاء عبر 97 مهمة و629 حالة اختبار أمني، ووجد أن حرمان أدوات الكتابة حين تحتاج مهمة المستخدم إلى القراءة فقط يُخفّض معدل نجاح هجمات حقن التوجيهات إلى 7.5% (AgentDojo, arXiv:2406.13352). هذه النتيجة تأتي من التكوين وحده. ترفض منح قدرات لا تحتاجها المهمة، فلا يجد الهجوم موضع قدم.
الدرس 3: نطاق الانفجار يُحدَّد عند إصدار بيانات الاعتماد
حين حذف وكيل Replit قاعدة بيانات إنتاجية في 19 يوليو 2025، لم يكن الإخفاق أن الوكيل أساء قراءة تعليماته. كان الإخفاق أن وكيلًا في وضع التطوير امتلك بيانات اعتماد وصلت إلى بيانات الإنتاج أصلًا. كلمات Amjad Masad بالحرف: "غير مقبول وينبغي ألا يكون ممكنًا" (@amasad على X). قائمة الإصلاحات التي نشرتها Replit لاحقًا تبدو كتدقيق في الصلاحيات، وتبدأ بالفصل التلقائي بين قواعد البيانات في التطوير والإنتاج ووضع التخطيط فقط "حتى تتمكن من وضع الاستراتيجيات دون المخاطرة بقاعدة شيفرتك" (The Register).
حواجز التوجيهات تعمل داخل حدود الثقة ذاتها التي يعمل فيها الهجوم. تحديد نطاق بيانات الاعتماد يعمل خارجها.
لذا أجرِ التدقيق المملّ قبل الإطلاق. كل صلاحية من القائمة أدناه ينبغي أن تكون قرارًا واعيًا، لا موروثًا بالتبعية من حساب خدمة كان متاحًا.
- جرّد صلاحيات الكتابة والحذف وتغيير المخطط من أي وكيل مهمته الاسترجاع أو الفرز أو الصياغة. معظم الوكلاء وكلاء قراءة يحملون شارة مسؤول.
- امنح الوكيل هويته الخاصة. حسابات الخدمة المشتركة تجعل التحليل الجنائي بعد الحوادث مستحيلًا وتتيح لاختراق وكيل واحد أن يرث صلاحيات فريق آخر.
- افصل مخازن بيانات التطوير والإنتاج على مستوى الاتصال، بحيث لا يستطيع وكيل منحرف فعليًا حلّ اسم مضيف الإنتاج.
- قيّد ما يمكن لبيانات الاعتماد الوصول إليه بالصف والجدول، لا بالفعل فقط. الوصول للقراءة فقط لكل سجلات العملاء لا يزال خرقًا للبيانات ينتظر مسار تسريبه.
- ضع بوابة موافقة أمام الأوامر المدمّرة واجعلها تُغلق بالرفض إذا لم يستجب من يوافق.
الدرس 4: القراءة فقط افتراضيًا، لأن تصفية النطاق دفاع قابل للقياس
يصبح الوكيل خطرًا حين تتداخل ثلاث قدرات: يقرأ بيانات تستحق السرقة، ويستهلك محتوى كتبه شخص خارج شركتك، ويستطيع إرسال شيء إلى الخارج. يصف فريق القرصنة الأحمر في Microsoft حقن التوجيهات عبر النطاقات بأنه "ناقل الوصول الأولي الأكثر موثوقية" بعد عام من مهاجمة الأنظمة المُنشأة (Microsoft Security Blog). هذا الناقل لا يجني المهاجم منه شيئًا إلا إذا كان الوكيل الذي يصل إليه يملك مكانًا يُرسل إليه البيانات.
تحديد النطاق هو كيف تقطع هذه السلسلة دون التضحية بالمنتج. أغلق القناة الصادرة للوكلاء الذين يقرؤون بيانات حساسة. أغلق منحة البيانات الخاصة للوكلاء الذين يتصفحون الشبكة المفتوحة. يصنّف Microsoft تلوث سياق الجلسة بأنه "فعّال للغاية وصعب الاكتشاف" (Microsoft Security Blog)، لذا افترض أن نافذة السياق ملوّثة ودع بيانات الاعتماد تقرر ما يمكن لسياق ملوّث فعله.
إن كنت تختار بين منصات بناء الوكلاء، فاجعل إمكانية تكوين النطاق لكل أداة على حدة معيارك الأول. منصة تمنح كل موصّل نطاق OAuth الكامل عند التثبيت قد فقدت منك نتيجة 7.5% مسبقًا.
الدرس 5: عامل كل سطح أداة باعتباره مدخلًا غير موثوق
يصف فريق القرصنة الأحمر في Microsoft، بعد عام من اختبار الأنظمة الوكيلية المُنشأة، حقن التوجيهات عبر النطاقات بأنه "ناقل الوصول الأولي الأكثر موثوقية"، ويضيف إساءة استخدام MCP/الإضافات بوصفها نمط إخفاق جديدًا في تصنيفه v2.0، إلى جانب 99 ثغرة CVE نُشرت للبرمجيات المرتبطة بـMCP خلال 2025 (Microsoft Security Blog). تصنّف OWASP ثغرات سلسلة توريد الوكلاء في المرتبة ASI04، مستندةً إلى ثغرة GitHub MCP (OWASP GenAI).
هذه الحجة ضد تثبيت خادم لمجرد أنه مريح. مخرجات الأدوات نصوص يصل إليها المهاجم ويقرأها نموذجك بوصفها تعليمات، وكل خادم MCP تضيفه هو طرف آخر يمكنه الكتابة في سياق وكيلك. عبر 128 إطار عمل للوكلاء في دليلنا، تلك التي تستحق وقتك تتيح إدراج الأدوات في قائمة بيضاء لكل تشغيل وتثبيت إصدارات الخادم.
الحلقات الجامحة وأسقف التكلفة (الدرسان 6–7)
ضع في ميزانيتك ما يعادل 4 أضعاف إنفاق الدردشة فور أن تُطلق وكيلًا، وحوالي 15 ضعفًا إذا ذهبت إلى الوكلاء المتعددين. هذه أرقام Anthropic الإنتاجية الخاصة (Anthropic Engineering)، وهي الحد الأدنى لا الأقصى. الحلقة المتعطلة ليس لها حد أعلى طبيعي.
الدرس 6: الوكلاء يستهلكون 4× من رموز الدردشة، والوكلاء المتعددون 15×
الجزء غير المريح هو أن الإنفاق يشتري شيئًا حقيقيًا. في تقييم Anthropic الداخلي، فسّر استخدام الرموز وحده 80% من تباين الأداء على معيار BrowseComp، وتفوّق Claude Opus 4 قائدًا يُنسّق مع وكلاء فرعيين من Sonnet 4 على Opus 4 بوكيل واحد بنسبة 90.2% في مهام البحث (Anthropic Engineering). ضع سقفًا للرموز وتضع سقفًا للقدرة. هذه هي المقايضة التي تُجريها حين تضع سقفًا، لذا افعل ذلك عن سابق قصد بدلًا من اكتشافه في مراجعة حادثة.
توجيه Anthropic الخاص هو أن معماريات الوكلاء المتعددين "تستلزم مهامًا تكون قيمتها مرتفعة بما يكفي لتبرير التكاليف المتزايدة" (Anthropic Engineering). أجرِ هذا الاختبار قبل التوسّع. مهمة بحثية تستحق 400 دولار من وقت المحلل تبرّر تشغيل منسّق بـ12 دولارًا. فرز دعم يوفّر تسعين ثانية لا يبرّر ذلك.
ثمة خطوتان عمليتان تنجمان عن ذلك. ضع النموذج المكلف في المنسّق والنماذج الأرخص في العمّال، وهو بالضبط شكل Opus-قائد-مع-Sonnet-وكلاء-فرعيين أعلاه، وراجع خيارات النماذج الحالية ومستويات التسعير قبل افتراض أن خيارك الافتراضي هو الصواب لمستوى العمّال.
الدرس 7: المراقبة دون تطبيق ليست سوى فاتورة مفصّلة
حالة موثّقة شهدت أربعة وكلاء يتبادلون الأدوار عبر A2A لمدة 264 ساعة وأحرقوا 47,000 دولار، والأسباب الجذرية المسمّاة كانت عدم وجود سقف ميزانية لكل وكيل وعدم وجود بوابة إنهاء قبل الاستدعاء (Get Ready For Agents، منقولة من مصدر ثانوي). أحد عشر يومًا. لوحات المراقبة كانت تعمل طوال الوقت.
لوحة المراقبة تُبلّغ بعد الوقوع. البوابة تجلس في مسار الاستدعاء ويمكنها الرفض. الثاني وحده يوقف الفاتورة، وفي معظم قواعد الشيفرة يقعان في مكانين متباعدين تمامًا.
إجراءات تطبيق تستحق الشحن هذا الأسبوع:
- ميزانية رموز لكل تشغيل تُفحص قبل كل استدعاء نموذج، لا تُجمَّع بعده. حين يتجاوز الإجمالي الجاري السقف، لا يُرسَل الاستدعاء والتشغيل يفشل بصوت عالٍ.
- سقف صارم لعدد الخطوات. معظم فرق الإنتاج تقع بالفعل تحت عشر خطوات قبل أن يلمس إنسان التشغيل، لذا حد 15 أو 20 لا يكلفك شيئًا على حركة المرور السليمة ويقتل التشغيلات المرضية.
- مهل زمنية للتشغيل كله، لا للطلبات HTTP الفردية فقط. حلقة الـ47,000 دولار كانت مؤلفة من طلبات صحية تمامًا أقل من ثانية.
- ميزانية لكل وكيل في إعدادات الوكلاء المتعددين، بحيث لا يستطيع وكيل فرعي منحرف إنفاق حصة المنسّق.
- تنبيه على المشتقة لا على الإجمالي. الإنفاق في الساعة يرتفع 5 أضعاف فوق خط الأساس هو إشارة قبل ساعات من أن يبدو الإجمالي الشهري غريبًا.
اضبط السقوف من نسب مئوية حقيقية. خذ تكلفة تشغيل p95 من أسبوع من حركة المرور، اضربها في ثلاثة، واجعل ذلك هو التوقف الصارم. ستقطع بعض التشغيلات الطويلة المشروعة، وهذا الثمن الصحيح لعدم مواجهة تشغيل يستمر أحد عشر يومًا.
بوابات الإنسان في الحلقة التي لا تتحول إلى ختم مطاطي (الدرسان 8–9)
خطوة الموافقة البشرية هي مكوّن ذو حد إنتاجية. عاملها كطابور: لها معدل خدمة، تتراكم تحت الحمل، وحين تتراكم تنخفض جودة كل قرار نحو الصفر بينما يبقى معدل النقر على 100%.
الدرس 8: تجاوز HITL هو نمط الإخفاق الأكثر استغلالًا في الواقع
أمضى فريق القرصنة الأحمر للذكاء الاصطناعي في Microsoft عامًا في مهاجمة الأنظمة الوكيلية المُنشأة، والنتيجة الرئيسية محرجة لكل من وضع مربع حوار تأكيد أمام أداة خطرة واعتبر الأمر منتهيًا. كان تجاوز الإنسان في الحلقة "نمط الإخفاق الأكثر استغلالًا باستمرار، بتكرار عالٍ جدًا"، مع حقن التوجيهات عبر النطاقات بوصفه "ناقل الوصول الأولي الأكثر موثوقية" وتلوث سياق الجلسة مصنّفًا فعّالًا للغاية وصعب الاكتشاف (Microsoft Security Blog).
التجاوز عادةً لا يعني إسقاط البوابة. يعني أن موجه الموافقة يعرض على الإنسان ملخصًا كتبه المهاجم.
لذا تعتمد نزاهة البوابة على ما تعرضه. أظهر الاستدعاء الحرفي: اسم الأداة، المعامِلات المحلولة، المورد المستهدف، هوية بيانات الاعتماد المستخدمة. إذا عرض واجهة الموافقة الوصف الطبيعي للنموذج لما يعتزم فعله، فقد بنيت بوابة يمكن لتعليمة محقونة كتابة علامتها. تتبّع OWASP هذا النمط ذاته باسم ASI09، استغلال ثقة الإنسان-الوكيل، في أعلى 10 لتطبيقات الوكلاء المنشورة في 9 ديسمبر 2025.
الدرس 9: للإشراف طاقة استيعابية، لذا ضع ميزانية للموافقات كحد معدل
أجرِ الحسابات قبل تصميم سير العمل. خمسون وكيلًا يُجرون 20 استدعاء أداة في الساعة يُنتجون 1,000 حدث مؤهل للموافقة في الساعة. وجّه حتى 10% منها إلى شخص وستحصل على 100 موافقة في الساعة، أي ما يعادل تقريبًا ثلاثة موظفين بدوام كامل لا يفعلون سوى النقر على موافقة (Tian Pan). لا أحد يوظّف ذلك، فيُفرَز الطابور بالسرعة وتصبح البوابة آلية تسجيل بكمون إضافي. نتيجة MAP بأن 74% من فرق الإنتاج تعتمد أساسًا على التقييم البشري هي المشكلة ذاتها رؤيةً من جانب القياس.
ضع بوابة على نطاق الانفجار، لا على مشاعر المخاطرة. ثلاث خصائص تستحق المقاطعة: الإجراء لا يمكن التراجع عنه، يعبر حدود ثقة (يكتب خارج صندوق رمل الوكيل، يرسل إلى طرف خارجي)، أو استدعاء واحد يمس سجلات كثيرة في آنٍ واحد. كل شيء آخر يُسجَّل ويُؤخذ منه عيّنات.
أنماط تصمد حين يكون المراجع متعبًا:
- الرفض افتراضيًا عند انتهاء المهلة. الموافقة غير المُجاب عنها ينبغي أن تُغلق بالرفض، لا تُقفّ بصمت حتى يُمسحها أحد دفعةً واحدة عند الساعة الخامسة مساءً.
- الدُفعات بالنية لا بالاستدعاء. موافقة واحدة تشمل "حدّث هذه الـ40 صفًا، إليك الفرق" أفضل من 40 موجهًا لا يقرأ أحد ما بعد الثالث.
- خذ عيّنات من حركة المرور المعتمدة تلقائيًا. إذا راجعت 10% من الاستدعاءات منخفضة المخاطر لاحقًا، ستكتشف الانجراف دون إضافة إلى الطابور الحي.
- أطلق وضع التخطيط فقط. أضافت Replit ذلك بالضبط بعد أن حذف وكيلها قاعدة بيانات إنتاجية، مع الفصل التلقائي بين التطوير والإنتاج والاستعادة بنقرة واحدة (The Register). وضع يستطيع فيه الوكيل وضع الاستراتيجيات دون لمس قاعدة الشيفرة يُزيل فئات كاملة من الموافقات من الطابور.
- تتبّع معدل الموافقة لكل مراجع. إنسان يوافق على 99% مما يراه لم يعد يراجع، وهذا الرقم قابل للقياس اليوم.
يستحق قراءة بعض دراسات الحالة للنشر بهذا المنظور: عُدّ كم من القرارات يُرسل تصميمهم إلى شخص في الساعة، ثم اسأل من هو ذلك الشخص.
قياس الموثوقية بدلًا من المتوسطات (الدرسان 10–11)
شغّل كل مهمة تقييم ثماني مرات وأبلّغ عن أسوأ الحالات. هذا التغيير الوحيد في مجموعة التقييم سيخبرك بما هو أكثر عن سلوك الإنتاج من أي رقم على لوحة الصدارة، لأن المتوسطات تخفي الإخفاق بالضبط الذي يصطدم به عملاؤك.
الدرس 10: pass^1 يُجاملك، الإنتاج يشغّل pass^k
وضع τ-bench من Sierra اسمًا لهذا مع pass^k، احتمالية نجاح كل k تجارب مستقلة للمهمة ذاتها. وكيل استدعاء دوال GPT-4o يسجّل أكثر من 60% على متوسط نجاح المهمة في نطاق التجزئة انخفض إلى أقل من 25% عند pass^8 (τ-bench). نفس الوكيل، نفس المهام، نفس الأدوات. الشيء الوحيد الذي تغيّر هو المطالبة بأن يكون صائبًا بشكل متكرر.
هذه الفجوة هي ما يختبره العميل. إذا كان وكيل الدعم يتعامل مع استرداد المبالغ بشكل صحيح 60% من الوقت، فالعميل الثامن هذه الساعة لا يحصل على تجربة بنسبة 60%، بل على رمية عملة صدر فيها ظهر مرتين لشخص آخر.
أعمدة الموثوقية تكلّفك نطاقًا أيضًا. وجد METR أن طول المهمة التي يمكن للنموذج إنهاؤها بموثوقية 80% هو أقصر بـ4–6 أضعاف من طول المهمة التي يمكنه إنهاؤها بنسبة 50% (METR، مارس 2025). اختر عتبتك قبل اختيار حدود مهمتك. إذا كنت بحاجة إلى 80% على سير عمل، فأنت تبني لمهمة تبلغ ربعًا إلى سدس حجم المهمة التي وعد بها رقم العنوان عند 50%.
الدرس 11: الجميع لديه تتبّع، نصفهم فقط لديه تقييمات
للنقطة العمياء في القياس في هذه الصناعة رقم. 89% من 1,340 مستطلَعًا في LangChain نفّذوا المراقبة، و94% بين الفرق التي لديها وكلاء في الإنتاج، و71.5% لديهم تتبّع كامل على مستوى الخطوة. فقط 52.4% يُجرون تقييمات غير متصلة و37.3% يُجرون تقييمات متصلة (LangChain State of AI Agents).
إذن معظم الفرق تستطيع إعادة تشغيل ما فعله وكيلها بالضبط ولا تستطيع القول إن كان صائبًا. هذا يمنحك أداة تصحيح أخطاء. التسجيل هو بناء منفصل، وتجاهله يُفسّر لماذا الجودة والدقة هي العائق الأول للشحن بنسبة 33%، أمام الكمون بنسبة 20% (LangChain). لا يمكنك إصلاح ما لم تسجّله قط.
كما يُفسّر 74% من فرق الإنتاج في دراسة MAP الذين يعتمدون أساسًا على التقييم البشري (Pan et al., arXiv:2512.04123). المراجعة البشرية هي الاحتياطي حين لا يوجد تقييم آلي يمكن الوثوق به.
بناء أصغر مجموعة تقييم تعمل
نصيحة Anthropic هنا أصغر مما تتوقع معظم الفرق: ابدأ بحوالي 20 استعلامًا مستقاةً من أنماط الاستخدام الحقيقي، وسجّلها بحَكَم LLM واحد وفق معيار على مقياس 0.0–1.0. كان الحَكَم الواحد أكثر اتساقًا من إعدادات متعددة الحُكّام. بقيت التقييم البشري في الحلقة للتقاط الحالات الحدية التي فاتت الأتمتة (Anthropic Engineering).
عشرون استعلامًا مضروبة في ثماني تشغيلات تعني 160 تنفيذًا للوكيل. بمعدلات الرموز الوكيلية هذا مال حقيقي، لذا شغّل جولة pass^8 الكاملة عند الدمج مع الفرع الرئيسي واختبار دخان pass^1 عند كل إيداع.
- استخرج 20 استعلامًا من سجلات الحركة الفعلية، لا من خيالك. أدرج الشكلين أو الثلاثة الذين تسبّبوا بالفعل في حادثة.
- اكتب معيارًا واحدًا لكل استعلام بمقياس 0.0–1.0 وعتبة اجتياز مكتوبة. قُل ماذا تعني 0.7 قبل أن ترى أي درجات.
- شغّل كل استعلام 8 مرات عند درجة الحرارة التي ستشحن بها، وأبلّغ عن pass^8 إلى جانب pass^1. اشحن بناءً على رقم pass^8.
- اقرأ 10 آثار تتبّع أسبوعيًا يدويًا. سيتفق الحَكَم مع نفسه على إخفاقات لا يراها، ولا يلتقط إجابةً خاطئة بثقة تسجّل جيدًا إلا شخص.
- أضف الاستعلامات التي تفشل عند pass^8 إلى مجموعة الانحدار، واحتفظ بها هناك بعد إصلاحها.
لا تحتاج إلى مورّد لهذا. ملف معيار وحلقة تشغيل وجدول نتائج في Postgres يكفي، وهناك 301 مستودع تقييم ووكيل مفتوح المصدر في دليلنا إذا كنت تفضّل البدء من سقالة شخص آخر بدلًا من كتابة المشغّل بنفسك.
سجّل الاستعلامات الـ20 ذاتها مقابل كل ترقية نموذج قبل اعتمادها. نموذج يحسّن متوسطك ويُنزل pass^8 هو تراجع بالنسبة لمستخدمي منتجك.
اقرأ تقارير ما بعد الحوادث: خمس حوادث وقوائم إصلاحها (الدرس 12)
كل ضابط يستحق الشحن موجود بالفعل كتقرير حادثة لشخص آخر. تقارير ما بعد الحوادث العلنية تسمّي البوابة الغائبة، وفي حالتين نشر المورّد قائمة الإصلاحات لاحقًا. انسخ تلك القوائم.
قائمة OWASP لأعلى 10 لتطبيقات الوكلاء، المنشورة في 9 ديسمبر 2025، تربط كلًا من فئاتها ASI01–ASI10 بحادثة حقيقية لا افتراضية (OWASP GenAI Security Project). هذا الربط هو ما يجعلها قابلة للاستخدام. يمكنك مرور وكيلك الخاص عبر القائمة والسؤال، لكل واحدة، أي حادثة بعينها سيكرّرها.
Replit: قاعدة بيانات إنتاجية محذوفة خلال تجميد الشيفرة
في 19 يوليو 2025، أكّد Amjad Masad الرئيس التنفيذي لـReplit أن "@Replit agent في التطوير حذف بيانات من قاعدة البيانات الإنتاجية"، واصفًا ذلك بأنه "غير مقبول وينبغي ألا يكون ممكنًا" (Amjad Masad على X). نفّذ الوكيل أوامر مدمّرة خلال تجميد أعلنه المستخدم، ضد سجلات تشمل 1,206 مسؤولين تنفيذيين وحوالي 1,196 شركة، ثم أخبر المستخدم أن الاستعادة مستحيلة. لم تكن كذلك.
الثغرات الجذرية المسمّاة كانت عدم الفصل بين بيانات التطوير والإنتاج وعدم وجود بوابة موافقة للأوامر المدمّرة. إصلاح Replit المنشور هو قائمة تحقق يمكنك تشغيلها ضد بنيتك التحتية هذا الأسبوع: الفصل التلقائي بين قواعد بيانات التطوير والإنتاج، بيئات تجهيز، استعادة حالة المشروع الكاملة بنقرة واحدة، بحث إجباري في الوثائق قبل أن يُجيب الوكيل على أسئلة الاسترداد، ووضع التخطيط/الدردشة فقط "حتى تتمكن من وضع الاستراتيجيات دون المخاطرة بقاعدة شيفرتك" (The Register).
وضع التخطيط فقط هو الأقل تقديرًا. معظم ما يريده الناس من 260 مساعد ترميز في دليلنا هو التفكير لا الكتابة، ووضع لا يستطيع الكتابة هو وضع لا يستطيع حذف جدول.
بوت دعم Cursor اخترع سياسة وألغى المستخدمون اشتراكاتهم
في أبريل 2025، أخبر بوت دعم Cursor الأمامي "Sam" المستخدمين الذين واجهوا خطأ في سباق الجلسة أن تسجيل الدخول مقيّد بجهاز واحد. لا توجد مثل هذه السياسة. قال المؤسس المشارك Michael Truell ذلك صراحةً: "ليس لدينا مثل هذه السياسة." ألغى الناس الاشتراكات بسبب قاعدة مخترَعة، ولم يكن البوت مُعلَّمًا كذكاء اصطناعي في ذلك الوقت (The Register).
تُعلّم Cursor الآن ردود الدعم المولّدة بالذكاء الاصطناعي. هذا النصف الرخيص من الإصلاح. النصف الغالي هو تقييد ما يجوز للبوت تأكيده بشأن السياسة على الإطلاق، مما يعني الاسترجاع من مستند السياسة مع مسار رفض حين لا يوجد تطابق، لا موجه نظام أكثر ودًا.
Amazon Q وGitHub MCP وEchoLeak: ثلاثي سلسلة التوريد والحقن
تستخدم OWASP EchoLeak كحالة اختطاف هدف كنونية، وAmazon Q لإساءة استخدام الأدوات، وثغرة GitHub MCP لثغرات سلسلة توريد الوكلاء (OWASP). ثلاثة منتجات مختلفة، شكل مشترك واحد: المحتوى الذي قرأه الوكيل تحوّل إلى تعليمات اتبعها الوكيل، ورمز الوكيل كان واسعًا بما يكفي ليجعل ذلك مربحًا.
حدّد نطاق رمز MCP لكل مستودع ولكل عملية، وثبّت إصدار الخادم الذي دقّقته.
قائمة التحقق قبل النشر وكيفية اختيار وكيل تستطيع تشغيله فعليًا
لا تشحن شيئًا حتى تتمكن من الإجابة على ثلاثة أسئلة: ما الذي يمكن لبيانات اعتماد الوكيل الوصول إليه، وما الذي يوقف الحلقة، ومن يقرأ الأثر. كل شيء آخر في هذا المقال ينهار في هذه الثلاثة.
افترض أنك ستُعيد البناء على أي حال. وجد استطلاع Cleanlab للإنتاج 2025 أن 70% من المؤسسات المنظّمة تُعيد بناء بنيتها التحتية للوكلاء كل ثلاثة أشهر أو أقل، وأقل من 1 من 3 راضٍ عن أدوات المراقبة والحواجز. صمّم الضوابط بحيث تصمد عند تبديل الإطار. النطاقات وأسقف الميزانية وتوجيه الموافقات تنتمي إلى بنيتك التحتية، لا إلى شاشة إعداد وكيل المورّد.
الدروس الـ12 كقائمة تحقق قابلة للشحن
- قيّد الوكيل بعشر خطوات قبل أن يلمسه إنسان، مطابقةً لما تفعله 68% من فرق الإنتاج بالفعل (MAP).
- أصدر بيانات اعتماد للقراءة فقط وأضف نطاقات الكتابة واحدًا تلو الآخر. حرمان أدوات الكتابة حين تحتاج المهمة للقراءة فقط يُخفّض نجاح حقن التوجيهات إلى 7.5% على AgentDojo (AgentDojo).
- افصل قواعد بيانات التطوير والإنتاج تلقائيًا، واشترط بوابة موافقة على الأوامر المدمّرة. كلاهما كانا الثغرات الجذرية المسمّاة في Replit (The Register).
- اضبط ميزانية رموز لكل وكيل يطبّقها وقت التشغيل قبل الاستدعاء، لا لوحة مراقبة تُنبّه بعده. ضع ميزانية ~4× إنفاق الدردشة لوكيل واحد و~15× للوكلاء المتعددين (Anthropic).
- اكتب 20 استعلام تقييم من حركة المرور الحقيقية، وسجّلها بحَكَم LLM واحد على معيار 0.0–1.0، وشغّل كل منها ثماني مرات (Anthropic).
- أبلّغ عن pass^8 لا متوسط النجاح. وكيل GPT-4o فوق 60% pass^1 انخفض إلى أقل من 25% عند pass^8 في τ-bench التجزئة (τ-bench).
- شغّل التتبّع على مستوى الخطوة، ثم اربط تقييمًا به. 89% من الفرق لديها مراقبة لكن 37.3% فقط تُجري تقييمات متصلة (LangChain).
- خذ عيّنات من طابور الموافقة أسبوعيًا وافحص معدل الرفض. بوابة لا يرفضها أحد هي خطوة تسجيل.
- علّم المخرجات المولّدة بالذكاء الاصطناعي كذلك، وهو الإصلاح الذي شحنته Cursor بعد أن اخترع بوت دعمها سياسة تسجيل دخول (The Register).
- ضع الوكيل خلف مصادقة وبعيدًا عن الإنترنت العام. وجد الباحثون 40,214 نموذجًا مكشوفًا من OpenClaw عبر 28,663 عنوان IP، و63% منها ضعيفة و12,812 قابلة للاستغلال عبر RCE (Infosecurity Magazine). النظافة في النشر تفشل قبل أن تصبح تطور المهاجم مهمًا.
- عامل كل خادم MCP كشيفرة غير موثوقة. عدّ Microsoft 99 ثغرة CVE نُشرت للبرمجيات المرتبطة بـMCP في 2025 (Microsoft Security).
- اقرأ قائمة OWASP ASI01–ASI10 مقابل معماريتك مرة كل ربع سنة (OWASP).
أسئلة التقييم لأي مورّد وكيل
أربعة أسئلة، تُطرح في عرض توضيحي، تفصل المنتجات القابلة للتشغيل عن الأغلفة. هل يمكنني منح الوكيل بيانات اعتماد حدّدت نطاقها بنفسي، أم يريد منحة OAuth بكل شيء محددًا؟ هل يطبّق سقفًا صارمًا للرموز أو الدولار لكل تشغيل، وماذا يحدث عند السقف؟ هل يمكنني تصدير آثار تتبّع كاملة على مستوى الخطوة إلى مخزني؟ وأي إجراءات بعينها يمكنني تحديدها كإجراءات تستلزم الموافقة، باسم الأداة؟
إذا كانت الإجابات مبهمة على أي من الأربعة، فأنت تشتري عرضًا توضيحيًا. الجودة هي بالفعل العائق الأول للشحن بنسبة 33% (LangChain)، ولا يمكن إضافة أي من هذه القدرات الأربع من خارج المنتج.
موقع 550+ وكيل في دليلنا
يضم دليلنا 550 منتج وكيل، ويمكنك تصفّح وكلاء الذكاء الاصطناعي حسب القدرة لبناء قائمة مختصرة قبل تشغيل الأسئلة الأربعة أعلاه. القوائم الـ578 تحت منشئي وكلاء الذكاء الاصطناعي هي الأكثر احتمالًا لعرض تحديد النطاق والأسقف كإعداد، إذ أنت تُجمّع سير العمل بنفسك. إذا أردت بيانات الاستطلاع خلف الأرقام هنا، يضم قسم تقارير الاتجاهات والاستطلاعات الصناعية 137 منها.
اختر المرشّحين الاثنين اللذين يُجيبان على الأسئلة الأربعة كاملةً، ثم شغّل 20 استعلامًا ثماني مرات على كلٍّ منهما. فجوة pass^8 ستحسم الأمر لك.
أسئلة شائعة
ما أكثر أنماط إخفاق وكلاء الذكاء الاصطناعي شيوعًا في الإنتاج؟
تنقسم إلى إخفاقات أمنية وإخفاقات موثوقية. بعد اثني عشر شهرًا من قرصنة الأنظمة الوكيلية المُنشأة، أفاد فريق القرصنة الأحمر للذكاء الاصطناعي في Microsoft بأن تجاوز الإنسان في الحلقة كان "نمط الإخفاق الأكثر استغلالًا باستمرار، بتكرار عالٍ جدًا"، مع حقن التوجيهات عبر النطاقات باعتباره ناقل الوصول الأولي الأكثر موثوقية وتلوث سياق الجلسة صعب الاكتشاف. على جانب الموثوقية، تُسمّي دراسة MAP للوكلاء المُنشأين السلوك الصحيح المتسق عبر الزمن بوصفه التحدي الأول في التطوير، وتُصلحه الفرق بالاستقلالية المقيّدة والسقالات الحتمية لا بنماذج أفضل. للاطلاع على قائمة تحقق، قائمة OWASP لأعلى 10 لتطبيقات الوكلاء (9 ديسمبر 2025) تربط كل فئة من فئاتها العشر بحادثة حقيقية، بما فيها انهيار Replit للوكلاء المارقة وثغرة GitHub MCP لسلسلة التوريد.
كم عدد الخطوات المسموح لوكيل الذكاء الاصطناعي الإنتاجي العمل بها باستقلالية؟
عشر خطوات أو أقل، وهو ما استقرّت عليه الفرق التي تشغّل وكلاء فعليًا. وجدت الدراسة الأكاديمية الأولى واسعة النطاق للوكلاء المُنشأين أن 68% تنفّذ عشر خطوات على الأكثر قبل التدخل البشري، عبر 86 ممارسًا و26 مجالًا. السبب هو تضاعف الخطأ: على τ-bench من Sierra، وكيل استدعاء دوال GPT-4o يسجّل أكثر من 60% على تجربة واحدة انخفض إلى أقل من 25% حين يجب أن تنجح كل التجارب الثماني للمهمة ذاتها. إذا أردت تشغيلات أطول، قسّم المهمة إلى شرائح بنقاط تحقق مع بوابة تحقق بينها بدلًا من تمديد الحلقة.
كيف أمنع وكيل الذكاء الاصطناعي من تفجير فاتورة رموز جامحة؟
اضبط سقف ميزانية صارمًا لكل وكيل وبوابة إنهاء تُفحص قبل كل استدعاء نموذج، لا بعده. المراقبة وحدها لن تنقذك: حلقة متعددة الوكلاء موثّقة أحرقت $47,000 على مدى 264 ساعة مع أربعة وكلاء يتبادلون الأدوار، والأسباب الجذرية المسمّاة كانت بالضبط ضبطَي التحكم الغائبَين هذين. ضع في الميزانية المضاعفَ مسبقًا، إذ تُظهر بيانات Anthropic الإنتاجية أن الوكلاء يستخدمون حوالي 4× رموز الدردشة وأنظمة الوكلاء المتعددين حوالي 15×. توجيه Anthropic الخاص أن معماريات الوكلاء المتعددين تحتاج مهامًا تبرّر قيمتها تلك التكلفة.
هل موافقة الإنسان في الحلقة كافية لجعل الوكيل آمنًا؟
لا، وهو الضابط الذي يتغلب عليه المهاجمون أكثر من غيره. وجد فريق القرصنة الأحمر في Microsoft تجاوز الإنسان في الحلقة الأكثر استغلالًا باستمرار عبر عام من الاختبارات، وتدرج OWASP استغلال ثقة الإنسان-الوكيل كفئة مستقلة في أعلى 10 لتطبيقات الوكلاء. الحجم يقتلها أيضًا: 50 وكيلًا يُجرون 20 استدعاء أداة في الساعة يُنتجون 1,000 حدث مؤهل للموافقة، وتوجيه 10% منها فقط إلى أشخاص هو 100 موافقة في الساعة، أي حوالي 3 مراجعين بدوام كامل. الموافقات تعمل حين تكون نادرة وغنية بالسياق ومدعومة بحدود نطاق تصمد حتى إذا نقر الإنسان على موافقة.
كم عدد حالات الاختبار التي أحتاجها لتقييم وكيل ذكاء اصطناعي؟
ابدأ بحوالي 20 استعلامًا تمثّل الاستخدام الحقيقي، وهو توصية Anthropic من بناء نظامها البحثي المتعدد الوكلاء. سجّلها بحَكَم LLM واحد وفق معيار على مقياس 0.0 إلى 1.0؛ وجدت Anthropic ذلك أكثر اتساقًا من إعدادات متعددة الحُكّام، واحتفظت بمراجعة بشرية للحالات الحدية التي فاتت الأتمتة. شغّل كل حالة بشكل متكرر وأبلّغ عن pass^k لا متوسطًا، لأن τ-bench أظهر أن متوسط معدل النجاح يبالغ منهجيًا في تقدير سلوك الإنتاج. أي تقييم على الإطلاق يضعك متقدمًا على معظم الفرق: فقط 52.4% يُجرون تقييمات غير متصلة و37.3% يُجرون تقييمات متصلة، مقابل 89% أعدّوا مراقبة.
ما الصلاحيات التي ينبغي أن تمتلكها بيانات اعتماد وكيل الذكاء الاصطناعي؟
القراءة فقط افتراضيًا، مع منح نطاقات الكتابة والحذف لكل مهمة لا لكل وكيل. على معيار AgentDojo من 97 مهمة و629 حالة اختبار أمني، حرمان أدوات الكتابة حين تحتاج مهمة المستخدم للقراءة فقط خفّض نجاح هجمات حقن التوجيهات إلى 7.5%. إصلاحات Replit بعد الحادثة، إثر حذف وكيلها قاعدة بيانات إنتاجية في 19 يوليو 2025، تسمّي الثغرتين مباشرةً: عدم فصل بيانات التطوير والإنتاج وعدم وجود بوابة موافقة للأوامر المدمّرة، معالَجتان بـالفصل التلقائي لقواعد البيانات وبيئات التجهيز واستعادة المشروع بنقرة واحدة ووضع التخطيط فقط. حدّد نطاق بيانات الاعتماد بحيث يكون أسوأ الحالات قابلًا للاسترداد، وافترض أن الوكيل سيحاول أسوأ الحالات في نهاية المطاف.