اختبار «نانونتس» نفسه: أفضل وكيل ذكاء اصطناعي ينجز 38% فقط من المهام المؤسسية متعددة الخطوات
نشرت «نانونتس» (Nanonets)، وهي شركة خاصة متخصصة في الذكاء الاصطناعي للوثائق وتؤتمت منصتها الأعمال الورقية لأكثر من 10 آلاف فريق، اختباراً مرجعياً مفتوحاً يقيّم أنظمة الذكاء الاصطناعي في تنفيذ العمليات المالية وفق قواعد مدفونة في ثنايا المحادثات؛ وجاءت أفضل نتيجة بإنجاز 38% فقط من المهام بشكل صحيح تام. ومقابل إنفاق متوقع على الذكاء الاصطناعي بقيمة 2.7 تريليون دولار عام 2026، يظل الاختبار قياساً نادراً من داخل الصناعة لما تحققه وكلاء المؤسسات فعلياً.
Vincent Jiang · 3 min read
رقم متاح للعموم منذ يوليو
أفضل نظام ذكاء اصطناعي عثرت عليه نانونتس ينجز 38% فقط من مهام العمليات المؤسسية متعددة الخطوات إنجازاً صحيحاً كاملاً. يظهر الرقم على صفحة الأبحاث التابعة لـ«نانونتس»، وهي شركة خاصة تتخذ من سان فرانسيسكو مقراً لها وتعمل في الذكاء الاصطناعي للوثائق، ضمن TRACE، أي «تنفيذ القيود التطبيقية ذات الصلة بالمهمة»، وهو اختبار مرجعي منشور علناً 1. ويمثل الرقم سقفاً للعمل الذي يغطيه إنفاق متوقع على الذكاء الاصطناعي بقيمة 2.7 تريليون دولار في 2026 3. أما عنوان الدراسة فيقولها صريحة: النماذج تعثر على القواعد، ثم تفشل في تطبيقها 2.
خضعت مجموعة البيانات وشيفرة التقييم الخاصة بها لآخر تحديث في 22 يوليو 2026 67. ولم تعثر عمليات البحث في الأخبار وعلى الإنترنت، التي أُجريت في 14 أكتوبر 2026، على أي وسيلة إعلامية أوردت النتيجة.
الإنفاق يفترض العكس
تقول «جارتنر» إن مزودي البرمجيات على اختلاف أنواعهم «يُسرعون في تضمين الذكاء الاصطناعي القائم على الوكلاء» في منتجاتهم القائمة 3. وتقول «نانونتس» إن أكثر من 10 آلاف فريق تدير عبر منصتها بالفعل عمليات مطابقة الفواتير والمطالبات وإقفال نهاية الشهر 4. وإذا كان أفضل الأنظمة يجتاز 38% من مهام العمليات، فإن معظم أعمال الأتمتة المرصودة في الميزانيات لا تزال تعود خاطئة، أو تعود إلى موظف بشري.
إذا ثبتت نسبة 38%، فإن الخاسرين هما طرفان: المؤسسات التي تنشر الوكلاء استناداً إلى ادعاءات المزودين، ونماذج الإيرادات في شركات البرمجيات التي بُني تسعيرها على افتراض أتمتة شبه كاملة للأقسام الخلفية. أما الرابح فهو من ينشر أولاً درجة تنفيذ موثقة تتجاوز هذا المستوى بفارق كبير.
المُقيِّم يبيع الوكلاء أيضاً
«نانونتس» ليست حكماً محايداً. فهي تقيّم هذا السوق: تدير اختبار TRACE ولوحة صدارة علنية ترتّب 29 نموذجاً في معالجة الوثائق الذكية، ويأتي نموذجها الخاص OCR-3 في المرتبة الأولى 15. وفي الوقت نفسه تبيع في السوق نفسه: مدونة تسوّق منصات «مبنية أصلاً على الذكاء الاصطناعي» في مواجهة المزودين التقليديين ABBYY وKofax 4، ولافتة إعلانية عن Trail، «عقل الشركة لوكلاء الذكاء الاصطناعي» 1.
ما يطلبه الاختبار
صُمّم اختبار TRACE ليكون قاسياً. كل عينة فيه محادثة «من التسجيل إلى التقرير» (Record-to-Report)، أي ذلك التراسل المصاحب لإقفال الحسابات في نهاية الشهر، بطول يقارب 100 ألف رمز نصي (توكن)، مع قواعد تخص الشركة تُدرَج في منتصف الجُمل. وتضم العينات الخمس 47 سؤالاً تُقيَّم وفق 388 معياراً، بتقيسم من منطق «الكل أو لا شيء»: لا تُحتسب المهمة ناجحة إلا إذا كانت الإجابة صحيحة واستُوفيت كل قاعدة تنطبق عليها. ويتولى التقييم نموذج ذكاء اصطناعي ثانٍ، هو GPT-5.5 المذكور في إعدادات العينة 6.
القراءة بدرجات الثمانينات... والتنفيذ عند 38
على لوحة صدارة الوثائق التي تديرها نانونتس نفسها، تقرأ النماذج ذاتها الصفحات بموثوقية أعلى بكثير: سجّل نموذج نانونتس OCR-3 درجة إجمالية بلغت 85.9، وحقق نموذج GPT-5.4 من أوبن إيه آي$1.18T — أوبن إيه آي, private, latest valuation $1.18T 83.5، فيما بلغ نموذج Gemini-3-Pro من غوغل 82.8 5. وبالنسبة إلى المشتري، تعني الدراجتان معاً أن نموذجاً قد يقرأ صفحة قراءة صحيحة في نحو 86 مرة من أصل 100، ويظل مع ذلك يخفق في معظم العمليات متعددة الخطوات التي ينفذها وفق قواعد الشركة 1.
قراءة الوثائق شبه محسومة... وأفضل درجة تنفيذ هي 38
Data
| Value | |
|---|---|
| نانونتس OCR-3 (قراءة) | 85.9% |
| GPT-5.4 (قراءة) | 83.5% |
| Gemini-3-Pro (قراءة) | 82.8% |
| Claude Sonnet 4.6 (قراءة) | 80.7% |
| أفضل نظام خضع للاختبار (تنفيذ، TRACE) | 38% |
اختبار صغير... وطرف له مصلحة
التحفظات هنا حقيقية: خمس عينات، و47 سؤالاً، وحجم سياق واحد، ودراسة نشرتها بنفسها شركة لديها وكلاء تبيعهم، وتقييم آلي 6. لكن مجموعة البيانات متاحة للعموم برخصة CC-BY-4.0 وشيفرة التقييم منشورة على GitHub، ما يتيح لأي جهة إعادة اختبار النماذج بدلاً من الاكتفاء بتصديق الرقم 67. غير أن أحداً تقريباً لم يفعل: تُظهر بطاقة مجموعة البيانات 44 تنزيلاً خلال الشهر الماضي 6، ويُظهر المستودع 39 نجمة من دون أي تفرّع (fork) 7، مقابل 288 ألف تنزيل لنموذج OCR الخاص بنانونتس نفسها 8.
لا أحد تقريباً أعاد إجراء الاختبار المرجعي: 44 تنزيلاً مقابل 288 ألفاً لنموذج نانونتس نفسها
Data
| التنزيلات الشهرية (مجموعة البيانات) / النجوم (المستودع) / التنزيلات (النموذج) | |
|---|---|
| مجموعة بيانات الاختبار المرجعي TRACE (Hugging Face) | 44 |
| مستودع تقييم TRACE (GitHub) | 39 |
| نموذج نانونتس OCR-3 (Hugging Face) | 288,000 |
راقبوا طلبات الدمج
القراءة القادمة للرقم مؤرّخة ومتاحة للعموم: تُقدَّم النظم الجديدة عبر طلبات دمج (Pull Requests) على GitHub 7. لم يُنشر حتى الآن أي رقم موثّق يتجاوز 38 بفارق كبير. وحتى يظهر رقم من هذا القبيل، يبقى البند القابل للدفاع عنه في موازنات وكلاء المؤسسات هو أن معظم أعمال العمليات متعددة الخطوات تفشل في اختبار وضعه القطاع نفسه.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
