هل ترجمة Google وChatGPT جيدة بما يكفي لترجمة تعليمات خروج الأطفال؟

— أدوات عبر الإنترنت تؤدي أداءً جيدًا من قبل المحترفين بلغتين، ولكن ليس بلغة ثالثة

بواسطة جنيفر هندرسون, كاتب المشاريع والاستقصاء، MedPage اليوم 11 يونيو 2024

وجد الباحثون أنه بالنسبة لترجمة تعليمات خروج الأطفال، كانت خدمة Google Translate وChatGPT على قدم المساواة إلى حد كبير مع الترجمات الاحترافية للغة الإسبانية والبرتغالية البرازيلية، لكن لم يكن أداؤها جيدًا مع اللغة الكريولية الهايتية.

لقد تفوقت الترجمات الاحترافية للتعليمات من الإنجليزية إلى اللغة الكريولية الهايتية بشكل كبير على الأدوات الموجودة على الإنترنت في كل مقياس تم تقييمه على مقياس ليكرت المكون من 5 نقاط لكفاية الحفاظ على المعلومات، أي بما يتوافق مع القصد الأصلي، والطلاقة في سهولة القراءة، وشدة الضرر المحتمل الذي تسببه ترجمة.

حققت خدمة الترجمة من Google وChat GPT الأفضل مع الترجمة الإسبانية، على الرغم من ذلك، كما أفاد رايان بروستر، دكتوراه في الطب، من مستشفى بوسطن للأطفال، وزملاؤه في طب الأطفال.

بالنسبة للغة الإسبانية، سجل Google وChatGPT بالفعل نقاطًا أعلى من الترجمات الاحترافية من حيث الكفاية (4.6 و4.7 مقابل 4.2، على التوالي). ص=0.003 و ص.000.001)، الطلاقة (4.5 و4.7 مقابل 4.2، ص=0.007 و ص.000.001)، والمعنى (4.7 و4.8 مقابل 4.4، ص=0.011 و ص<0.001). كانت الترجمات الاحترافية أقل عرضة للتسبب في ضرر مقارنة بـ ChatGPT (4.6 مقابل 4.8، ص=0.026) ولكنها مشابهة لتلك الموجودة في ترجمة Google (ص=0.164).

بالنسبة للغة البرتغالية البرازيلية، كانت تقييمات الملاءمة أعلى لـ ChatGPT مقارنة بالترجمات الاحترافية (4.7 مقابل 4.5، ص=0.025) ولكن جميع التدابير الأخرى كانت مماثلة عبر مصادر الترجمة.

وبشكل عام، فضل المقيمون خدمة الترجمة من Google وChatGPT في معظم الحالات. تم تفضيل الترجمات الاحترافية على الأدوات المتاحة عبر الإنترنت في 15% فقط من الحالات لتعليمات الخروج من المستشفى باللغة الإسبانية وفي 43% للغة البرتغالية و48% للغة الكريولية الهايتية.

وقال بروستر: “إن النتائج التفاضلية للغة الكريولية الهايتية واللغات الأخرى ذات الانتشار المحدود قد تعرض مجموعات المرضى المعرضين للخطر بالفعل لضرر سريري زائد وضعف جودة الرعاية”. MedPage اليوم في رسالة بريد إلكتروني. “قد تساعد الخطوات الإضافية، مثل الاستعانة بمترجم بشري لمراجعة مخرجات الترجمة، في تخفيف المخاطر المرتبطة بها.”

وأشار الباحثون إلى أنه إذا لم يفهم المرضى وعائلاتهم تعليمات الخروج بشكل كامل، فإنهم يخاطرون بفقدان مواعيد المتابعة وسوء فهم توصيات الدواء. وقالوا إن ذلك يمكن أن يساهم في زيادة استخدام الرعاية الصحية غير المخطط لها بشكل متكرر، والأحداث الضارة المتعلقة بسلامة المرضى، وزيادة تكاليف الرعاية الصحية.

وأشارت مجموعة بروستر إلى أن “العديد من المؤسسات تستخدم خدمات الترجمة الفورية الشخصية أو الافتراضية وتطور وثائق سريرية موحدة بلغات مختلفة”، لكنها ليست متاحة عالميًا عبر بيئات الممارسة واللغات والظروف السريرية.

تتطور محركات الترجمة الآلية بسرعة ولديها الإمكانات كحل. ومع ذلك، كتب بروستر وزملاؤه أن “ضمان العدالة والسلامة والجودة سيتطلب فهمًا منهجيًا لمزاياها وقيودها”.

قامت المجموعة بفحص الأداء في اللغات الأكثر شيوعًا غير الإنجليزية داخل أنظمتها الصحية: الإسبانية، والبرتغالية البرازيلية، والكريول الهايتية.

بشكل عام، تمت ترجمة 20 تعليمات موحدة للخروج من المستشفى لحالات الأطفال إلى تلك اللغات بواسطة خدمات الترجمة الاحترافية، والترجمة من Google، و الدردشةGPT-4.

تم تقييم الترجمات من قبل تسعة مقيمين متعددي اللغات (77.8% إناث) الذين لم يتمكنوا من رؤية مصدر الترجمة. يتمتع جميع المقيمين على الأقل بكفاءة مهنية في اللغات، وكان ثلثا المجموعة يقيمون في الولايات المتحدة لأكثر من 10 سنوات

الترجمات الاحترافية إلى اللغة الكريولية الهايتية “تتفوق باستمرار” على تلك التي تقدمها خدمة الترجمة من Google وChatGPT:

• الكفاية (4.5 مقابل 4.0 و3.9، ص=0.005 و ص<0.001)
• الطلاقة (3.9 مقابل 3.6 و3.4، ص=0.167 و ص=0.008)
• المعنى (4.0 مقابل 3.7 و3.6، ص=0.028 و ص=0.009)
• شدة الضرر المحتمل (4.5 مقابل 4.0 و3.8، ص=0.014 و ص<0.001)

وأظهرت الدراسة أيضًا وجود تناقضات بين اللغات في احتمال أن تؤدي الترجمات إلى ضرر أو تأخير سريري، حسبما أفاد بروستر وزملاؤه. تم العثور على أخطاء ذات معنى سريريًا في الترجمات الكريولية الهايتية بنسبة 8.3% قام بها متخصصون مقارنة بـ 23.3% مع خدمة الترجمة من Google (ص=0.024) و33.3% مع ChatGPT (ص<0.001). وكانت الترجمات الضارة المحتملة أقل شيوعًا بالنسبة للغة الإسبانية (المهنية 5%، والترجمة من Google 6.7%، وChatGPT 3.3%) والبرتغالية (6.7%، و16.7%، و5%)، مع عدم وجود فروق ذات دلالة إحصائية عبر مصادر الترجمة.

وشملت القيود أن تقييم فريق البحث للترجمات “اعتمد على الأطباء ثنائيي اللغة الذين قد لا تمثل استجاباتهم المريض العادي أو مستوى الثقافة الصحية”، كما أشار بروستر وزملاؤه. وأضافوا علاوة على ذلك، فإن تعليمات التفريغ الموحدة “لا تعكس بالضرورة الاختلافات في أسلوب وسهولة قراءة محتوى النص الحر”.

وقال بروستر: “إننا نعمل حاليًا على دراسة متابعة لالتقاط منظور أكثر شمولية لأداء الترجمة الآلية الذي لا يضم الأطباء فحسب، بل يشمل أيضًا المترجمين والمرضى وعائلاتهم أنفسهم”. MedPage اليوم.