في عالم تطوير البرمجيات سريع التطور، أصبحت أدوات وكلاء الكود المدعومة بالذكاء الاصطناعي جزءًا لا يتجزأ من بيئة عمل المطورين. ولكن هل تعكس مقاييس الأداء الحالية لهذه الأدوات كيفية استخدامها فعليًا؟ هذا هو السؤال الذي سعت JetBrains Research للإجابة عليه في ورقة بحثية جديدة قُبلت في ورشة عمل NeurIPS 2026.
كشفت الدراسة أن المقاييس الشائعة، مثل SWE-Bench Pro، تركز بشكل كبير على إصلاح الأخطاء البرمجية وإضافة الميزات الجديدة كمهام ذات رسالة واحدة وكاملة. لكن تحليل JetBrains Research لـ 4,782 جلسة عمل لمطورين يستخدمون وكلاء الكود داخل بيئات JetBrains IDEs كشف عن واقع مختلف تمامًا، حيث تمثل هذه المهام أقل من نصف استخدام المطورين لوكلائهم.
الواقع العملي لوكلاء الكود
حللت JetBrains Research ما يقرب من 14,000 رسالة من المطورين، ووجدت أن النطاق الكامل لمهام وكلاء الكود يشمل أيضًا أسئلة حول قاعدة الكود، والتخطيط، ومراجعة الكود، وإعادة الهيكلة، وتنفيذ الأوامر، وغيرها. هذه المهام التفاعلية والمتعددة الخطوات غائبة تقريبًا عن المقاييس الحالية.
فبينما يشتمل SWE-Bench Pro على 93.8% من المهام كإضافة ميزات أو إصلاح أخطاء، تظهر البيانات الواقعية أن إصلاح الأخطاء يمثل 26% من الرسائل، والميزات الجديدة 19%. أما البقية، فتتوزع على استفسارات شرح الكود (6%)، وأسئلة برمجية عامة (10%)، بالإضافة إلى التخطيط والمراجعة والتنفيذ. هذا التباين الكبير يشير إلى فجوة في كيفية تقييم وتدريب وكلاء الكود.
منهجية SWE-TaskFlow الجديدة
لمعالجة هذه الفجوة، تقترح JetBrains Research منهجية SWE-TaskFlow، التي تهدف إلى تكييف المقاييس الحالية لجعلها أكثر واقعية. بدلًا من بناء مقاييس جديدة تمامًا، تعمل SWE-TaskFlow على تحويل المقاييس الموجودة عن طريق إعادة صياغة رسائل المستخدمين لتشمل تدفقات المهام التفاعلية التي تتناسب مع استخدام المطورين الحقيقي.
تتضمن المنهجية تقسيم المهام الأصلية (مثل قضايا GitHub) إلى عدة طلبات متسلسلة، وإضافة أسئلة حول المستودع لجعل السيناريوهات أقرب إلى التفاعلات الطبيعية في IDE. على سبيل المثال، يمكن تحويل مشكلة واحدة معقدة إلى سلسلة من ثلاثة طلبات متتابعة، بدءًا بالمشكلة الأساسية ثم التوسع إلى حالات الحافة والتفاصيل.
نرى أن هذا التوجه سيؤثر بشكل كبير على كيفية تدريب نماذج وكلاء الكود وتقييمها، مما يؤدي إلى تطوير أدوات ذكاء اصطناعي أكثر فائدة وفعالية للمطورين في مهامهم اليومية. عندما تعكس المقاييس كيفية استخدام المطورين للوكلاء، يمكننا توقع أن تكون النماذج المدربة على هذه المقاييس أفضل في فهم سياق العمل وتقديم المساعدة المطلوبة بشكل أدق.
المصدر: blog.jetbrains.com