قام GitHub Copilot بتوجيه مهندسي البرمجيات في مجموعة أستراليا ونيوزيلندا المصرفية (ANZ Bank) نحو تحسين الإنتاجية وجودة التعليمات البرمجية، وكان اختبار القيادة كافيًا لبيت التمويل لنشر مساعد برمجة الذكاء الاصطناعي التوليدي في سير عمل الإنتاج.
من منتصف يونيو 2023 حتى نهاية يوليو من ذلك العام، أجرى بنك ANZ ومقره ملبورن تجربة داخلية لـ GitHub Copilot والتي شملت 100 من مهندسي الشركة البالغ عددهم 5000 مهندس.
سعت التجربة التي استمرت ستة أسابيع، والتي تتكون من أسبوعين من التحضير وأربعة أسابيع من تحديات التعليمات البرمجية، إلى فحص شعور المشاركين تجاه استخدام GitHub Copilot مع Microsoft Visual Studio Code وقياس تأثير النظام القائم على الذكاء الاصطناعي على إنتاجية المبرمجين. جودة الكود وأمن البرمجيات.
وقد تم توثيق نتائج التجربة في أ تقرير بعنوان يمكن أن يستخدم قدرًا أكبر من الدقة: “تأثير أداة الذكاء الاصطناعي على الهندسة في بنك ANZ، دراسة تجريبية على GitHub Copilot داخل بيئة الشركة.”
يستشهد التقرير، الذي شارك في تأليفه سايان تشاترجي، مهندس السحابة في ANZ، ولويس ليو، قائد منطقة القدرة على تحليل البيانات والذكاء الاصطناعي الهندسي في ANZ، بالعديد من الدراسات السابقة حول إنتاجية البرمجة باستخدام Copilot.
واحد يذاكر من شركة Microsoft، التي تمتلك الآن GitHub، وجدت أن البرمجة باستخدام مساعد الذكاء الاصطناعي أدت إلى تحسين الإنتاجية بنسبة تزيد عن 55 بالمائة – وهي ليست مفاجأة بالنظر إلى الآخرين استطلاعات البائعين.
ACM/IEEE يذاكر في البرمجة بمساعدة الذكاء الاصطناعي، اقترحت أن المساعدة الآلية كانت أكثر من مجرد مقايضة: فقد وجدت أن برنامج Copilot أنتج المزيد من التعليمات البرمجية، على الرغم من أن جودة البرامج التي تم إنشاؤها كانت أسوأ من البرامج التي صنعها الإنسان.
- فهم كرنفال وظائف مساعد الطيار “المربك” من Microsoft
- يواجه مساعد الذكاء الاصطناعي غير القابل للإزالة من JetBrains صرخة لا تقاوم
- يقوم الذكاء الاصطناعي بتغيير عملية البحث، للأفضل أو للأسوأ
- إذا كنت تستخدم الذكاء الاصطناعي لتعليمك كيفية البرمجة، فتذكر أنك لا تزال بحاجة إلى التفكير بنفسك
سعى بنك ANZ إلى إجراء تقييمه الخاص، مشيرًا إلى الفائدة المحتملة للذكاء الاصطناعي على الإنتاجية مع الاعتراف أيضًا بأن التكنولوجيا “تثير المخاطر الكامنة والشكوك والعواقب غير المقصودة فيما يتعلق بالملكية الفكرية وأمن البيانات والخصوصية”.
تلك المخاطر – أبرزها دعوى حقوق الطبع والنشر المستمرة ضد GitHub وMicrosoft وOpenAI عبر Copilot – لم يتم تناولها في الدراسة، باستثناء الإشارة إلى الامتثال التنظيمي.
وأضاف: “قبل بدء التجربة، تم تقييم المخاطر المتعلقة بالملكية الفكرية وأمن البيانات والخصوصية بالتعاون مع فرق ANZ القانونية والأمنية للتوصل إلى مجموعة من الإرشادات”.
فحصت تجربة البنك تأثير Copilot على: معنويات المطورين وإنتاجيتهم، بالإضافة إلى جودة التعليمات البرمجية والأمان. لقد تطلب الأمر من مهندسي البرمجيات المشاركين ومهندسي السحابة ومهندسي البيانات معالجة ستة تحديات ترميز خوارزمية أسبوعيًا باستخدام Python. لم يُسمح لأولئك الموجودين في المجموعة الضابطة باستخدام Copilot ولكن سُمح لهم بالبحث في الإنترنت أو استخدام Stack Overflow.
يقول التقرير: “المجموعة التي تمكنت من الوصول إلى GitHub Copilot تمكنت من إكمال مهامها بشكل أسرع بنسبة 42.36% من المشاركين في المجموعة الضابطة”. “… يحتوي الكود الذي أنتجه المشاركون في برنامج Copilot على عدد أقل من الروائح والأخطاء البرمجية في المتوسط، مما يعني أنه سيكون أكثر قابلية للصيانة وأقل احتمالًا لتعطل الإنتاج.”
واعتبرت كل من هذه النتائج ذات دلالة إحصائية. أما بالنسبة للأمن، فإن التجربة لم تكن حاسمة.
يقول التقرير: “لم تتمكن التجربة من توليد بيانات ذات معنى لقياس أمان الكود”. “ومع ذلك، تشير البيانات إلى أن برنامج Copilot لم يُدخل أي مشكلات أمنية كبيرة في الكود.”
تشير البيانات إلى أن برنامج Copilot لم يقدم أي مشكلات أمنية كبيرة في الكود
قد يكون هذا بسبب طبيعة التحديات، والتي تم تصميمها لتكون قصيرة بما يكفي ليتمكن المشاركون من إكمالها إلى جانب عملهم اليومي المعتاد. وعلى هذا النحو، كانت التحديات المقدمة قصيرة إلى حد ما ولم تترك مجالًا كبيرًا للأخطاء، كما يشير التقرير.
فيما يتعلق بالمشاعر، شعر أولئك الذين يستخدمون Copilot بإيجابية تجاه التجربة، ولكن ليس بقوة.
“لقد شعروا أنه ساعدهم في مراجعة وفهم التعليمات البرمجية الموجودة، وإنشاء الوثائق، واختبار التعليمات البرمجية الخاصة بهم؛ وشعروا أنها سمحت لهم بقضاء وقت أقل في تصحيح أخطاء التعليمات البرمجية الخاصة بهم وتقليل الوقت الإجمالي للتطوير؛ وشعروا أن الاقتراحات المقدمة كانت مفيدة إلى حد ما، ويقول التقرير: “ويتوافق بشكل جيد مع معايير الترميز الخاصة بمشروعهم”.
إحدى النتائج المثيرة للاهتمام هي أن برنامج Copilot كان الأكثر فائدة للمبرمجين الأكثر خبرة.
تقول الدراسة: “وجد تقييم الإنتاجية بناءً على كفاءة بايثون أن برنامج Copilot كان مفيدًا للمشاركين على جميع مستويات المهارة ولكنه كان مفيدًا للغاية لأولئك الذين كانوا مبرمجين “خبراء” في بايثون”، مضيفة أن مساعد الذكاء الاصطناعي قدم أكبر قدر من التحسن (من حيث توفير الوقت) في المهام الصعبة.
على الرغم من ملاحظة أن التأييدات الإيجابية المعتدلة من المشاركين تشير إلى أنه يمكن تحسين برنامج Copilot بشكل أكبر، إلا أن التقرير أيد وضع Copilot في سير عمل الإنتاج في البنك.
ويخلص التقرير إلى أنه “حتى كتابة هذه الورقة، شهد GitHub Copilot بالفعل اعتمادًا كبيرًا داخل المؤسسة، حيث يستخدمه أكثر من 1000 مستخدم في سير عملهم”، مضيفًا أن تحقيقًا أوسع نطاقًا جارٍ حول تأثير Copilot على الإنتاجية. ®
النقطة المقابلة: تؤدي مساعدة الذكاء الاصطناعي إلى انخفاض جودة كود المصدر، يدعي الباحثون