تمت مراجعة الأقران
مقاييس المقالة
اقتباسات CrossRef
تشهد المجلات الأكاديمية والأرشيفات ومستودعات البيانات عددًا متزايدًا من أوراق البحث المشكوك فيها والتي تم إنتاجها بوضوح باستخدام الذكاء الاصطناعي التوليدي. غالبًا ما يتم إنشاؤها باستخدام تطبيقات الذكاء الاصطناعي العامة المتاحة على نطاق واسع، والأرجح ChatGPT، وتقليد الكتابة العلمية. يحدد Google Scholar بسهولة هذه الأوراق المشكوك فيها ويسردها جنبًا إلى جنب مع الأبحاث ذات السمعة الطيبة ومراقبة الجودة. يُظهر تحليلنا لمجموعة مختارة من الأوراق العلمية المشكوك فيها المصنوعة باستخدام GPT الموجودة في Google Scholar أن العديد منها يتعلق بموضوعات تطبيقية ومثيرة للجدل غالبًا وقابلة للتضليل: البيئة والصحة والحوسبة. إن الإمكانات المتزايدة الناتجة عن التلاعب الخبيث بقاعدة الأدلة في المجتمع، وخاصة في المجالات التي تثير الانقسام السياسي، تشكل مصدر قلق متزايد.
بواسطة
المدرسة السويدية لعلوم المكتبات والمعلومات، جامعة بوروس، السويد
المدرسة السويدية لعلوم المكتبات والمعلومات، جامعة بوروس، السويد
قسم الاتصالات البيئية، الجامعة السويدية للعلوم الزراعية، السويد
أسئلة البحث
- أين يتم نشر أو إيداع المنشورات المشكوك فيها التي تم إنتاجها باستخدام المحولات المدربة مسبقًا (GPTs) والتي يمكن العثور عليها عبر Google Scholar؟
- ما هي الخصائص الرئيسية لهذه المنشورات فيما يتعلق بفئات الموضوعات السائدة؟
- كيف يتم نشر هذه المنشورات في البنية التحتية البحثية للتواصل العلمي؟
- كيف يتم تحدي دور البنية التحتية للاتصالات العلمية في الحفاظ على ثقة الجمهور في العلم والأدلة من خلال الاستخدام غير المناسب للذكاء الاصطناعي التوليدي؟
ملخص مذكرة البحث
- تم استرداد عينة من الأوراق العلمية التي تحمل علامات استخدام GPT الموجودة على Google Scholar وتنزيلها وتحليلها باستخدام مزيج من الترميز النوعي والإحصاءات الوصفية. تحتوي جميع الأوراق على واحدة على الأقل من عبارتين شائعتين تم إرجاعهما بواسطة وكلاء المحادثة الذين يستخدمون نماذج اللغة الكبيرة (LLM) مثل ChatGPT من OpenAI. ثم تم استخدام بحث Google لتحديد مدى توفر نسخ من الأوراق المشكوك فيها والمصنوعة بواسطة GPT في مستودعات وأرشيفات وقواعد بيانات الاستشهاد ومنصات الوسائط الاجتماعية المختلفة.
- وقد تبين أن ما يقرب من ثلثي الأوراق التي تم استرجاعها قد تم إنتاجها، جزئيًا على الأقل، من خلال استخدام غير معلن ومضلل محتمل لـ GPT. وكانت غالبية هذه الأوراق المشكوك فيها (57%) تتناول موضوعات ذات صلة بالسياسات (مثل البيئة والصحة والحوسبة)، والتي يمكن أن تتأثر بعمليات التأثير. وكانت أغلبها متاحة في عدة نسخ على مجالات مختلفة (مثل وسائل التواصل الاجتماعي والأرشيفات ومستودعات البيانات).
- هناك خطران رئيسيان ينشأان من الاستخدام المتزايد لـ GPT لإنتاج منشورات علمية مزيفة (على نطاق واسع). أولاً، تهدد وفرة “الدراسات” المصطنعة التي تتسرب إلى جميع مجالات البنية التحتية للبحث بإغراق نظام الاتصال العلمي وتعريض سلامة السجل العلمي للخطر. يكمن الخطر الثاني في زيادة احتمالية إنشاء محتوى يبدو علميًا مقنعًا بشكل مخادع باستخدام أدوات الذكاء الاصطناعي وتحسينه أيضًا لاسترجاعه بواسطة محركات البحث الأكاديمية المتاحة للجمهور، وخاصة Google Scholar. ومهما كان هذا الاحتمال صغيرًا، فإن الوعي به يهدد بتقويض أساس الثقة في المعرفة العلمية ويشكل مخاطر مجتمعية خطيرة.
تداعيات
أثار استخدام ChatGPT لإنشاء نصوص للأوراق الأكاديمية مخاوف بشأن نزاهة البحث. وتستمر مناقشة هذه الظاهرة في الافتتاحيات والتعليقات والمقالات الرأي وعلى وسائل التواصل الاجتماعي (Bom، 2023؛ Stokel-Walker، 2024؛ Thorp، 2023). توجد الآن عدة قوائم بالأوراق المشتبه في إساءة استخدامها من قِبل GPT، ويتم إضافة أوراق جديدة باستمرار.1انظر على سبيل المثال Academ-AI، https://www.academ-ai.info/، ومراقبة الانسحاب، https://retractionwatch.com/papers-and-peer-reviews-with-evidence-of-chatgpt-writing/. في حين أن هناك العديد من الاستخدامات المشروعة لـ GPT للبحث والكتابة الأكاديمية (Huang & Tan، 2023؛ Kitamura، 2023؛ Lund et al.، 2023)، فإن استخدامها غير المعلن – بخلاف التدقيق اللغوي – له آثار بعيدة المدى محتملة على كل من العلم والمجتمع، ولكن بشكل خاص على علاقتهما. لذلك، يبدو من المهم توسيع المناقشة لتشمل أحد أكثر الوسطاء سهولة وشهرة بين العلم، ولكن أيضًا أنواع معينة من المعلومات المضللة، والجمهور، ألا وهو Google Scholar، أيضًا استجابة للمخاوف المشروعة من أن مناقشة الذكاء الاصطناعي التوليدي والمعلومات المضللة تحتاج إلى أن تكون أكثر دقة وإثباتًا تجريبيًا (Simon et al.، 2023).
جوجل سكولار، https://scholar.google.com، هو محرك بحث أكاديمي سهل الاستخدام. وهو متاح مجانًا، وفهرسه واسع النطاق (Gusenbauer & Haddaway، 2020). كما يُروَّج له غالبًا كمصدر موثوق للأدبيات الأكاديمية وحتى أنه يُوصى به في أدلة المكتبات، من خلال مبادرات محو الأمية الإعلامية والمعلوماتية، ومدققي الحقائق (Tripodi et al.، 2023). ومع ذلك، يفتقر Google Scholar إلى الشفافية والالتزام بالمعايير التي تميز عادةً قواعد بيانات الاستشهاد. بدلاً من ذلك، يستخدم Google Scholar أدوات زحف آلية، مثل محرك بحث الويب الخاص بـ Google (Martín-Martín et al.، 2021)، وتستند معايير الإدراج في المقام الأول إلى معايير تقنية، مما يسمح لأي مؤلف فردي – مع أو بدون انتماء علمي – بتحميل الأوراق المراد فهرستها (مساعدة Google Scholar، بدون تاريخ). وقد ثبت أن Google Scholar عرضة للتلاعب من خلال استغلال الاستشهادات (Antkare، 2020) ومن خلال توفير الوصول إلى الأوراق العلمية المزيفة (Dadkhah et al.، 2017). يتكون جزء كبير من فهرس Google Scholar من منشورات من مجلات علمية راسخة أو أشكال أخرى من الأدبيات العلمية الخاضعة لمراقبة الجودة. ومع ذلك، يحتوي الفهرس أيضًا على كمية كبيرة من الأدبيات الرمادية، بما في ذلك أوراق الطلاب وأوراق العمل والتقارير وخوادم ما قبل الطباعة ومواقع الشبكات الأكاديمية، بالإضافة إلى المواد من المجلات الأكاديمية “المشكوك فيها”، بما في ذلك مصانع الورق. لا توفر واجهة البحث إمكانية تصفية النتائج بشكل هادف حسب نوع المادة أو حالة النشر أو شكل مراقبة الجودة، مثل تقييد البحث على المواد التي تمت مراجعتها من قبل الأقران.
لفهم حدوث العمل الذي شارك في تأليفه ChatGPT في فهرس Google Scholar، قمنا بمسحه للمنشورات، بما في ذلك إحدى استجابتي ChatGPT الشائعتين (انظر الملحق أ) التي واجهناها على وسائل التواصل الاجتماعي وفي التقارير الإعلامية (DeGeurin، 2024). أظهرت نتائج تحليلاتنا الإحصائية الوصفية أن حوالي 62٪ لم يعلنوا عن استخدام GPTs. تم العثور على معظم هذه الأوراق الملفقة بواسطة GPT في مجلات وأوراق عمل غير مفهرسة، لكن بعض الحالات تضمنت أبحاثًا نُشرت في مجلات علمية رئيسية ووقائع مؤتمرات.2المجلات المفهرسة تعني المجلات العلمية المفهرسة بقواعد بيانات الملخصات والاستشهادات مثل Scopus وWeb of Science، حيث تعني الفهرسة المجلات ذات الجودة العلمية العالية. المجلات غير المفهرسة هي المجلات التي تقع خارج هذه الفهرسة. أكثر من نصف (57%) من هذه الأوراق البحثية التي تم إعدادها بواسطة GPT كانت تتناول مجالات موضوعية ذات صلة بالسياسات وقابلة للتأثر بعمليات التأثير. ولتجنب زيادة وضوح هذه المنشورات، امتنعنا عن الإشارة إليها في مذكرة البحث هذه. ومع ذلك، فقد جعلنا البيانات متاحة في مستودع بيانات هارفارد.
كانت المنشورات مرتبطة بثلاثة مجالات إشكالية – الصحة (14.5٪) والبيئة (19.5٪) والحوسبة (23٪) – بمصطلحات رئيسية مثل “الرعاية الصحية” أو “كوفيد-19” أو “العدوى” للأوراق المتعلقة بالصحة، و”التحليل” و”المستدام” و”العالمي” للأوراق المتعلقة بالبيئة. في العديد من الحالات، كانت الأوراق تحمل عناوين تجمع بين الكلمات الرئيسية العامة والكلمات الطنانة، مما يشير إلى بحث واسع النطاق وحديث للغاية. تضمنت هذه المصطلحات “علم الأحياء” و”الرعاية الصحية عن بعد” و”سياسة المناخ” و”التنوع” و”التعطيل”، على سبيل المثال لا الحصر. في حين لم يتضمن نطاق الدراسة وتصميمها تحليلاً مفصلاً للأجزاء من المقالات التي تضمنت نصًا ملفقًا، إلا أن مجموعة البيانات الخاصة بنا تحتوي على الجمل المحيطة بكل ظهور للعبارات المشبوهة التي شكلت الأساس لبحثنا والاختيار اللاحق. وبناءً على ذلك، يمكننا القول إن العبارات وردت في أغلب الأقسام التي توجد عادةً في المنشورات العلمية، بما في ذلك مراجعة الأدبيات، والأساليب، والأطر المفاهيمية والنظرية، والخلفية، والدافع أو الأهمية المجتمعية، وحتى المناقشة. وقد تأكد ذلك أثناء الترميز المشترك، حيث قرأنا وناقشنا جميع المقالات. وأصبح من الواضح أن النص المتعلق بالعبارات الدالة ليس فقط هو الذي أنشأه GPT، بل إن جميع المقالات تقريبًا في عينة المقالات المشكوك فيها كانت تحتوي على آثار لنص ملفق بواسطة GPT في كل مكان.
القرصنة على الأدلة والتأثيرات العكسية
يمكن استخدام المحولات المدربة مسبقًا التوليدية (GPTs) لإنتاج نصوص تحاكي الكتابة العلمية. هذه النصوص، عندما تصبح متاحة عبر الإنترنت – كما نوضح – تتسرب إلى قواعد بيانات محركات البحث الأكاديمية وأجزاء أخرى من البنية التحتية البحثية للتواصل العلمي. يؤدي هذا التطور إلى تفاقم المشاكل التي كانت موجودة بالفعل مع مولدات النصوص الأقل تطورًا (Antkare، 2020؛ Cabanac & Labbé، 2021). ومع ذلك، فإن الإصدار العام لـ ChatGPT في عام 2022، جنبًا إلى جنب مع الطريقة التي يعمل بها Google Scholar، زاد من احتمالية تعرض الأشخاص العاديين (مثل وسائل الإعلام والسياسيين والمرضى والطلاب) لأوراق بحثية مشكوك فيها (أو حتى ملفقة بالكامل بواسطة GPT) ونتائج بحثية أخرى إشكالية. وقد أكدت الأبحاث السابقة أن القدرة على تحديد قيمة ومكانة المنشورات العلمية للعامة تصبح على المحك عندما يتم تمرير المقالات المضللة على أنها موثوقة (Haider & Åström, 2017) وأن المراجعات المنهجية للأدبيات معرضة للخطر (Dadkhah et al., 2017). كما تم تسليط الضوء على أن Google Scholar، على وجه الخصوص، يمكن استغلاله وقد تم استغلاله بالفعل للتلاعب بقاعدة الأدلة لقضايا مشحونة سياسياً وتغذية سرديات المؤامرة (Tripodi et al., 2023). ومن المرجح أن تتضاعف المخاوف في المستقبل، مما يزيد من خطر ما نقترح تسميته اختراق الأدلة– التلاعب الخبيث الاستراتيجي والمنسق بقاعدة الأدلة في المجتمع.
إن سلطة الأبحاث الخاضعة لمراقبة الجودة كدليل لدعم التشريعات والسياسات والسياسات وغيرها من أشكال صنع القرار تتقوض بسبب وجود محتوى غير معلن عنه تم تصنيعه بواسطة GPT في المنشورات التي تدعي أنها علمية. ونظرًا للعدد الكبير من الأرشيفات ومستودعات البيانات ومواقع النسخ والمكتبات الظلية التي تنتشر فيها، فهناك خطر واضح يتمثل في وصول الأوراق المشكوك فيها المصنعة بواسطة GPT إلى الجماهير حتى بعد سحبها المحتمل. وهناك صعوبات تقنية كبيرة تنطوي على تحديد وتتبع الأوراق المصنعة بواسطة الكمبيوتر (Cabanac & Labbé، 2021؛ Dadkhah et al.، 2023؛ Jones، 2024)، ناهيك عن منع وكبح انتشارها واعتمادها.
ولكن كما يظهر من صعود ما يسمى بحركة مناهضة التطعيم أثناء جائحة كوفيد-19 والعرقلة المستمرة وإنكار تغير المناخ، فإن التراجع عن المنشورات الخاطئة غالبًا ما يغذي المؤامرات ويزيد من عدد أتباع هذه الحركات بدلاً من إيقافها. ولتوضيح هذه الآلية، غالبًا ما يشكك منكرو تغير المناخ في الإجماع العلمي الراسخ من خلال الإشارة إلى دراسات أخرى، يُفترض أنها علمية، تدعم ادعاءاتهم. وعادة ما يتم تنفيذ هذه الدراسات بشكل سيئ، ولا تخضع لمراجعة الأقران، وتستند إلى بيانات عفا عليها الزمن، أو حتى احتيالية (دنلاب وبرول، 2020). وتنجح استراتيجية مماثلة في العالم المعرفي البديل لحركة مناهضة التطعيم العالمية (كاريون، 2018)، كما أن استمرار المنشورات المعيبة والمشكوك فيها في السجل العلمي يفرض بالفعل مشاكل كبيرة على البحوث الصحية والسياسات والمشرعين، وبالتالي على المجتمع ككل (ليتيل وآخرون، 2024). إذا أخذنا في الاعتبار أن دعم الشخص لـ “إجراء بحثك الخاص” يرتبط بعدم الثقة المتزايدة في المؤسسات العلمية (تشين وهاسل، 2023)، فسيكون من المنطقي ومن المهم أن نتوقع ونأخذ مثل هذه التأثيرات العكسية في الاعتبار بالفعل عند تصميم حل تقني، أو عند اقتراح تنظيم صناعي أو قانوني، أو عند التخطيط للتدابير التعليمية.
التوصيات
إن الحلول لابد وأن تستند إلى اعتبارات متزامنة للنهج التقنية والتعليمية والتنظيمية، فضلاً عن الحوافز، بما في ذلك الحوافز الاجتماعية، عبر البنية الأساسية للبحث بالكامل. إن الاهتمام بكيفية ارتباط هذه النهج والحوافز ببعضها البعض يمكن أن يساعد في تحديد نقاط وآليات التعطيل. ولابد وأن يتم التعرف على الأوراق الأكاديمية الاحتيالية جنباً إلى جنب مع فهم كيفية وصولها إلى جماهيرها وما هي الأسباب التي قد تجعل بعض هذه الأوراق “تستمر” بنجاح. ومن الممكن أن تكون إحدى الطرق الممكنة للتخفيف من بعض المخاطر المرتبطة بالنصوص العلمية المصطنعة بواسطة GPT والتي تجد طريقها إلى نتائج محركات البحث الأكاديمية هي توفير خيارات التصفية لجوانب مثل المجلات المفهرسة والأدبيات الرمادية ومراجعة الأقران وما شابه ذلك على واجهة محركات البحث الأكاديمية المتاحة للجمهور. وعلاوة على ذلك، فإن أدوات التقييم للمجلات المفهرسة3مثل LiU Journal CheckUp، https://ep.liu.se/JournalCheckup/default.aspx?lang=eng. إن مثل هذه المبادرات، إلى جانب المبادرات التعليمية التي تستهدف بشكل خاص صناع السياسات، وخبراء الاتصالات العلمية، والصحفيين، وغيرهم من العاملين في وسائل الإعلام، سوف تكون حاسمة في الحد من احتمالات وتأثيرات التلاعب الخبيث أو اختراق الأدلة. ومن المهم عدم تقديم هذه المشكلة باعتبارها مشكلة تقنية موجودة فقط بسبب مولدات النصوص التي تعمل بالذكاء الاصطناعي، بل ربطها بالمخاوف الأوسع التي تندرج ضمنها. وتتراوح هذه التحديات من نظام النشر العلمي المعطل إلى حد كبير (هايدر وأستروم، 2017) ونموذج “النشر أو الهلاك” في الأوساط الأكاديمية إلى احتكار جوجل شبه الكامل والمعارك الإيديولوجية حول السيطرة على المعلومات والمعرفة في نهاية المطاف. ومن المرجح أن يخلف أي تدخل آثاراً منهجية؛ ولابد من النظر في هذه الآثار وتقييمها مسبقاً، ومن الناحية المثالية متابعتها.
ركزت دراستنا على مجموعة مختارة من الأوراق التي كان من السهل التعرف عليها باعتبارها مزورة. لقد استخدمنا هذه العينة الصغيرة نسبيًا كعدسة مكبرة لفحص وتحديد وفهم مشكلة تتجاوز نطاق العينة نفسها، والتي تشير مع ذلك إلى مخاوف أكبر تتطلب مزيدًا من التحقيق. عمل مبادرات الإبلاغ عن المخالفات الجارية4مثل Academ-AI، https://www.academ-ai.info/، ومراقبة الانسحاب، https://retractionwatch.com/papers-and-peer-reviews-with-evidence-of-chatgpt-writing/.وتشير التقارير الإعلامية الأخيرة عن إغلاق المجلات (Subbaraman، 2024)، أو التغييرات المرتبطة بـ GPT في استخدام الكلمات وأسلوب الكتابة (Cabanac et al.، 2021؛ Stokel-Walker، 2024) إلى أننا لا نرى سوى قمة جبل الجليد. فهناك بالفعل حالات أكثر تعقيدًا (Dadkhah et al.، 2023) بالإضافة إلى حالات تتضمن صورًا ملفقة (Gu et al.، 2022). ويُظهر تحليلنا أن الأوراق المشكوك فيها والمُتلاعب بها والمُصنّعة بواسطة GPT تتخلل البنية التحتية للبحث ومن المرجح أن تصبح ظاهرة واسعة النطاق. وتؤكد نتائجنا على أن خطر استخدام الأوراق العلمية المزيفة للتلاعب الخبيث بالأدلة (انظر Dadkhah et al.، 2017) يجب أن يؤخذ على محمل الجد. وقد يتضمن التلاعب ملخصات آلية غير معلنة للنصوص، أو إدراجها في مراجعات الأدبيات، أو ادعاءات علمية صريحة، أو إخفاء الأخطاء في الدراسات بحيث يصعب اكتشافها في مراجعة الأقران. ولكن مجرد احتمال حدوث هذه الأمور يشكل خطراً كبيراً في حد ذاته، ويمكن استغلاله استراتيجياً، وسوف يخلف عواقب وخيمة على الثقة في العلم وإدراك الناس له. إن أساليب المجتمع في تقييم المصادر وأسس محو الأمية الإعلامية والمعلوماتية أصبحت مهددة، كما أصبحت ثقة الجمهور في العلم معرضة لخطر المزيد من التآكل، مع عواقب بعيدة المدى على المجتمع في التعامل مع اضطرابات المعلومات. ولمعالجة هذه المشكلة المتعددة الأوجه، يتعين علينا أولاً أن نفهم سبب وجودها وانتشارها.
النتائج
النتيجة 1: تم العثور على 139 ورقة بحثية مشكوك فيها ومصنوعة باستخدام GPT وتم إدراجها كنتائج عادية على صفحة نتائج Google Scholar. تهيمن المجلات غير المفهرسة.
كانت أغلب الأوراق المشكوك فيها التي وجدناها في مجلات غير مفهرسة أو كانت أوراق عمل، لكننا وجدنا أيضًا بعضها في مجلات ومنشورات ومؤتمرات ومستودعات راسخة. وجدنا ما مجموعه 139 ورقة بها استخدام مخادع مشتبه به لبرنامج ChatGPT أو تطبيقات LLM مماثلة (انظر الجدول 1). ومن بين هذه الأوراق، كانت 19 ورقة في مجلات مفهرسة، و89 ورقة في مجلات غير مفهرسة، و19 ورقة طلابية موجودة في قواعد بيانات جامعية، و12 ورقة عمل (معظمها في قواعد بيانات ما قبل الطباعة). يقسم الجدول 1 هذه الأوراق إلى فئات. شكلت أوراق الصحة والبيئة حوالي 34٪ (47) من العينة. ومن بين هذه الأوراق، كانت 66٪ موجودة في مجلات غير مفهرسة.
| فئة الورق | الحوسبة | بيئة | صحة | آحرون | المجموع |
| المجلات المفهرسة* | 5 | 3 | 4 | 7 | 19 |
| المجلات غير المفهرسة | 18 | 18 | 13 | 40 | 89 |
| اوراق الطلاب | 4 | 3 | 1 | 11 | 19 |
| أوراق العمل | 5 | 3 | 2 | 2 | 12 |
| المجموع | 32 | 27 | 20 | 60 | 139 |
* مُفهرسة بواسطة Scopus، السجل النرويجي للمجلات العلمية والسلاسل والناشرين، WoS و/أو DOAJ.
النتيجة الثانية: يتم نشر أوراق بحثية مشكوك فيها ومصنوعة على يد GPT عبر الإنترنت، وتخترق البنية الأساسية للبحث من أجل التواصل العلمي، وغالبًا في نسخ متعددة. وتسيطر الموضوعات التطبيقية ذات الآثار العملية على هذه الأوراق.
وتتوزع الأوراق البحثية العشرين التي تتناول قضايا متعلقة بالصحة على 20 نطاقًا فريدًا، تمثل 46 عنوانًا لموقع الويب. ويمكن العثور على الأوراق البحثية السبع والعشرين التي تتناول قضايا البيئة على 26 نطاقًا فريدًا، تمثل 56 عنوانًا لموقع الويب. وتوجد معظم الأوراق البحثية المحددة في نسخ متعددة وانتشرت بالفعل إلى العديد من الأرشيفات ومستودعات البيانات ووسائل التواصل الاجتماعي. وسيكون من الصعب، أو المستحيل، إزالتها من السجل العلمي.
وكما يتضح من الجدول 2، فإن الأوراق البحثية المشكوك فيها والمصنوعة بواسطة برنامج GPT تتسرب إلى معظم أجزاء البنية الأساسية للبحث عبر الإنترنت للتواصل العلمي. وتشمل المنصات التي ظهرت عليها أوراق بحثية معروفة ResearchGate وORCiD وJournal of Population Therapeutics and Clinical Pharmacology وEasychair وFrontiers ومعهد مهندسي الكهرباء والإلكترونيات وX/Twitter. وبالتالي، حتى إذا تم سحبها من مصدرها الأصلي، فسوف يكون من الصعب للغاية تتبعها أو إزالتها أو حتى مجرد وضع علامات عليها على منصات أخرى. وعلاوة على ذلك، ما لم يتم تنظيمها، فإن برنامج Google Scholar سيمكن من استمرار إمكانية اكتشافها، وعلى الأرجح بدون تصنيف.
| موضوع | 1 | 2 | 3 | 4 | 5 |
| بيئة | researchgate.net (13) | orcid.org (4) | easychair.org (3) | ايجوب.كوم* (3) | publikasiindonesia.id (3) |
| صحة | researchgate.net (15) | ieee.org (4) | تويتر.كوم (3) | jptcp.com** (2) | frontiersin.org (2) |
** مجلة العلاج السكاني وعلم الأدوية السريرية (ISSN 2561-8741)
ملاحظة: قمنا بإزالة عنوان URL للنشر الأصلي لتجنب العد المزدوج.
تصور المطر اللفظي (مركز العلوم الإنسانية الرقمية في أوبسالا، 2023)، والذي يجمع بين بروز الكلمات من خلال TF-IDF5تردد المصطلح – تردد المستند العكسي، وهي طريقة لقياس أهمية كلمة في مستند مقارنة بتكرارها في جميع المستندات في المجموعة. تعكس النتائج ذات التشابه الدلالي للنصوص الكاملة لعينة المقالات التي تم إنشاؤها بواسطة GPT والتي تندرج ضمن فئتي “البيئة” و”الصحة” الفئتين المعنيتين. ومع ذلك، وكما يمكن رؤيته في الشكل 1، فإنه يكشف أيضًا عن التداخل والمجالات الفرعية. يُظهر المحور y بروز الكلمات من خلال مواضع الكلمات وأحجام الخطوط، بينما يشير المحور x إلى التشابه الدلالي. بالإضافة إلى قدر معين من التداخل، يكشف هذا عن مجالات فرعية، والتي يمكن وصفها بشكل أفضل بأنها حدثان متميزان داخل كلمة rain. يجمع الحدث الموجود على اليسار المصطلحات المتعلقة بتطوير وإدارة الصحة والرعاية الصحية مع ظهور “التحديات” و”التأثير” و”إمكانات الذكاء الاصطناعي” كمصطلحات ذات صلة دلالية. يتم ترتيب المصطلحات المتعلقة بالبنى التحتية للبحث والمفاهيم البيئية والمعرفية والتكنولوجية في أسفل نفس الحدث (على سبيل المثال، “النظام” و”المناخ” و”الفهم” و”المعرفة” و”التعلم” و”التعليم” و”الاستدامة”). وهناك حدث مميز ثانٍ يقع إلى اليمين يجمع بين المصطلحات المرتبطة بتربية الأسماك والنباتات الطبية المائية، مما يسلط الضوء على وجود مجموعة من المصطلحات المرتبطة بتربية الأحياء المائية. وهنا يشير بروز مجموعات من المصطلحات مثل “مستعمل” و”نموذجي” و”مبني على” و”تقليدي” إلى وجود أبحاث تطبيقية حول هذه الموضوعات. والحدثان اللذان يشكلان كلمة تصور المطر مرتبطان بمجموعة أقل هيمنة ولكنها متداخلة من المصطلحات المتعلقة بـ “الطاقة” و”المياه”.
يكمل الرسم البياني الشريطي للمصطلحات في مجموعة الأوراق البحثية (انظر الشكل 2) تصور كلمة المطر من خلال تصوير المصطلحات الأكثر بروزًا في النصوص الكاملة على طول المحور y. هنا، يتم ترتيب بروز الكلمات في الأوراق البحثية المتعلقة بالصحة والبيئة تنازليًا، حيث تمثل القيم خارج الأقواس قيم TF-IDF (الترددات النسبية) والقيم داخل الأقواس هي ترددات المصطلح الخام (الترددات المطلقة).
النتيجة 3: يعرض Google Scholar نتائج من قواعد بيانات الاستشهادات الخاضعة لمراقبة الجودة وغير الخاضعة للرقابة على نفس الواجهة، مما يوفر وصولاً غير مفلتر إلى الأوراق المشكوك فيها التي تم إنشاؤها باستخدام GPT.
إن المكانة المركزية التي تتمتع بها خدمة Google Scholar في البنية التحتية للاتصالات العلمية المتاحة للعامة، فضلاً عن افتقارها إلى المعايير والشفافية والمساءلة من حيث معايير الإدراج، لها آثار خطيرة محتملة على ثقة الجمهور في العلوم. ومن المرجح أن يؤدي هذا إلى تفاقم الإمكانات المعروفة بالفعل لاستغلال خدمة Google Scholar في اختراق الأدلة (Tripodi et al.، 2023) وسيكون لها آثار على أي محاولات لسحب أو إزالة الأوراق الاحتيالية من أماكن نشرها الأصلية. يجب أن يأخذ أي حل في الاعتبار البنية التحتية البحثية للاتصالات العلمية بالكامل والتفاعل بين الجهات الفاعلة والمصالح والحوافز المختلفة.
طُرق
لقد قمنا بالبحث والتنقيب في Google Scholar باستخدام مكتبة Python Scholarly (Cholewiak et al., 2023) عن أوراق بحثية تضمنت عبارات محددة معروفة بأنها استجابات شائعة من ChatGPT وتطبيقات مماثلة بنفس النموذج الأساسي (GPT3.5 أو GPT4): “اعتبارًا من آخر تحديث للمعرفة” و/أو “ليس لدي إمكانية الوصول إلى البيانات في الوقت الفعلي” (انظر الملحق أ). وقد سهّل هذا تحديد الأوراق البحثية التي من المحتمل أن تستخدم الذكاء الاصطناعي التوليدي لإنتاج النص، مما أدى إلى استرداد 227 ورقة بحثية. تمت إضافة المعلومات الببليوغرافية للأوراق البحثية تلقائيًا إلى جدول بيانات وتنزيلها في Zotero.6مدير مرجعي مفتوح المصدر، https://zotero.org.
لقد استخدمنا الترميز المتعدد (Barbour, 2001) لتصنيف الأوراق بناءً على محتواها. أولاً، قمنا بشكل مشترك بتقييم ما إذا كانت الورقة مشتبه بها في الاستخدام الاحتيالي لـ ChatGPT (أو ما شابه ذلك) بناءً على كيفية دمج النص في الأوراق وما إذا كانت الورقة قد تم تقديمها كمخرجات بحثية أصلية أو تم الاعتراف بدور أداة الذكاء الاصطناعي. ثانيًا، في تحليل محتوى الأوراق، واصلنا الترميز المتعدد من خلال تصنيف الأوراق الاحتيالية إلى أربع فئات تم تحديدها خلال جولة أولية من التحليل – الصحة والبيئة والحوسبة وغيرها – ثم تحديد الموضوعات الأكثر تأثرًا بهذه المشكلة (انظر الجدول 1). من بين 227 ورقة تم استرجاعها، تمت كتابة 88 ورقة باستخدام مشروع و/أو معلن لـ GPTs (أي الإيجابيات الكاذبة، والتي تم استبعادها من مزيد من التحليل)، وتم كتابة 139 ورقة باستخدام غير معلن و/أو احتيالي (أي الإيجابيات الحقيقية، والتي تم تضمينها في مزيد من التحليل). تم إجراء الترميز المتعدد بشكل مشترك من قبل جميع مؤلفي المقالة الحالية، الذين قاموا بشكل تعاوني بترميز ومراجعة تفسيرات بعضهم البعض للبيانات في وقت واحد في ملف جدول بيانات مشترك. تم ذلك لتحديد التناقضات في الترميز وتسوية الخلافات في الترميز، مما ضمن بدوره الدقة المنهجية والإجماع التحليلي (انظر Barbour، 2001). من خلال إعادة ترميز الفئات لاحقًا بناءً على جدول الترميز المحدد لدينا، حققنا موثوقية بين المبرمجين (كابا كوهين) 0.806 بعد القضاء على الاختلافات الواضحة.
تعطي خوارزمية الترتيب في Google Scholar الأولوية للمنشورات القديمة والأكثر استشهادًا (Martín-Martín et al., 2016). لذلك، لم يكن موضع المقالات في صفحات نتائج محرك البحث مفيدًا بشكل خاص، نظرًا للعدد الصغير نسبيًا من النتائج جنبًا إلى جنب مع حداثة المنشورات. فقط الاستعلام “اعتبارًا من آخر تحديث لمعلوماتي” كان له أكثر من صفحتين لنتائج محرك البحث. في تلك الصفحات، تم توزيع المقالات المشكوك فيها مع الاستخدام غير المعلن لـ GPTs بالتساوي عبر جميع صفحات النتائج (الحد الأدنى: 4، الحد الأقصى: 9، الوضع: 8)، مع ارتفاع نسبة الاستخدام غير المعلن قليلاً في المتوسط في صفحات نتائج البحث اللاحقة.
لفهم كيفية نشر الأوراق البحثية التي تستخدم الذكاء الاصطناعي التوليدي بشكل احتيالي عبر الإنترنت، بحثنا برمجيًا عن عناوين الأوراق البحثية (مع مطابقة السلسلة الدقيقة) في بحث Google من عنوان IP المحلي الخاص بنا (انظر الملحق ب) باستخدام googlesearch–لقد قمنا بالتحقق يدويًا من كل نتيجة بحث لتصفية النتائج الإيجابية الخاطئة – النتائج التي لم تكن مرتبطة بالورقة البحثية – ثم قمنا بتجميع عناوين URL الأكثر بروزًا حسب الحقل. مكن هذا من تحديد المنصات الأخرى التي تم من خلالها نشر الأوراق البحثية. ومع ذلك، لم نتحقق مما إذا كانت النسخ قد انتشرت في SciHub أو غيرها من المكتبات الظلية، أو ما إذا كانت قد تمت الإشارة إليها في ويكيبيديا.
استخدمنا إحصائيات وصفية لحساب انتشار عدد الأوراق التي تم إعدادها باستخدام GPT عبر الموضوعات والأماكن والمجالات الرئيسية حسب الموضوع. تم استخدام مكتبة برامج pandas للغة برمجة Python (فريق تطوير pandas، 2024) لهذا الجزء من التحليل. بناءً على الترميز المتعدد، تم حساب مرات ظهور الأوراق فيما يتعلق بفئاتها، وتقسيمها إلى مجلات مفهرسة ومجلات غير مفهرسة وأوراق طلابية وأوراق عمل. تم تصفية المخططات والمجالات الفرعية والدلائل الفرعية لسلاسل عناوين URL بينما تم الاحتفاظ بالمجالات ذات المستوى الأعلى والمجالات ذات المستوى الثاني، مما أدى إلى تطبيع أسماء النطاقات. وهذا بدوره سمح بحساب ترددات النطاقات في فئات البيئة والصحة. للتمييز بين بروز الكلمات ومعانيها في الأوراق البحثية المشكوك فيها والمصنوعة بواسطة GPT والمتعلقة بالبيئة والصحة، تم إنتاج تصور لسحابة كلمات واعية دلاليًا من خلال استخدام كلمة rain (مركز العلوم الإنسانية الرقمية أوبسالا، 2023) لإصدارات النصوص الكاملة للأوراق البحثية. يشير حجم الخط ومواضع المحور y إلى بروز الكلمات من خلال درجات TF-IDF للأوراق البحثية المتعلقة بالبيئة والصحة (والتي تم تصورها أيضًا في مخطط شريطي منفصل مع ترددات المصطلحات الخام بين قوسين)، ويتم وضع الكلمات على طول المحور x لتعكس التشابه الدلالي (Skeppstedt et al.، 2024)، مع مساحة نموذج تخطي الجرام الإنجليزية Word2vec (Fares et al.، 2017). تم استخدام قائمة كلمات توقف إنجليزية، جنبًا إلى جنب مع قائمة تم إنتاجها يدويًا تتضمن مصطلحات مثل “https” أو “volume” أو “years”.
استشهد بهذه المقالة
حيدر، جيه، وسودرستروم، كيه آر، وإكستروم، بي، ورودل، إم. (2024). الأوراق العلمية المصنّعة باستخدام تقنية GPT على Google Scholar: السمات الرئيسية والانتشار والآثار المترتبة على منع التلاعب بالأدلة. مراجعة المعلومات المضللة في كلية كينيدي بجامعة هارفارد (HKS). https://doi.org/10.37016/mr-2020-156
فهرس
أنتكاري، آي. (2020). إيك أنتكاري، منشوراته، ومنشورات تلاميذه. في م. بياجيولي وأ. ليبمان (المحرران)، التلاعب بالمقاييس (ص 177-200). مطبعة معهد ماساتشوستس للتكنولوجيا. https://doi.org/10.7551/mitpress/11087.003.0018
باربور، آر إس (2001). قوائم المراجعة لتحسين الدقة في البحث النوعي: حالة الذيل يهز الكلب؟ المجلة الطبية البريطانية, 322(7294)، 1115-1117. https://doi.org/10.1136/bmj.322.7294.1115
بوم، هـ.-س.هـ (2023). استكشاف الفرص والتحديات التي تواجهها ChatGPT في الكتابة الأكاديمية: مناقشة مائدة مستديرة. الطب النووي والتصوير الجزيئي, 57(4)، 165-167. https://doi.org/10.1007/s13139-023-00809-2
كاباناك، جي، ولابي، سي. (2021). انتشار الأوراق البحثية غير المنطقية التي تم إنشاؤها خوارزميًا في الأدبيات العلمية. مجلة جمعية علوم وتكنولوجيا المعلومات, 72(12)، 1461-1476. https://doi.org/10.1002/asi.24495
كاباناك، جي، لابي، سي، وماجازينوف، أ. (2021). عبارات معذبة: أسلوب كتابة مشكوك فيه ناشئ في مجال العلوم. أدلة على قضايا حرجة تؤثر على المجلات العلمية الراسخة. أرشيف. https://doi.org/10.48550/arXiv.2107.06751
كاريون، إم إل (2018). “عليك أن تجري بحثك”: اللقاحات، والعلم القابل للجدال، ونظرية المعرفة الأمومية. الفهم العام للعلوم, 27(3)، 310-324. https://doi.org/10.1177/0963662517728024
مركز العلوم الإنسانية الرقمية في أوبسالا (2023). CDHUppsala/word-rain [Computer software]. https://github.com/CDHUppsala/word-rain
تشين، س.، وهاسل، أ. (2023). يرتبط دعم “إجراء البحث بنفسك” بالمفاهيم الخاطئة حول كوفيد-19 وانعدام الثقة العلمية. مراجعة المعلومات المضللة لمدرسة هارفارد كينيدي (HSK)، 4(3). https://doi.org/10.37016/mr-2020-117
Cholewiak, SA, Ipeirotis, P., Silva, V., & Kannawadi, A. (2023). SCHOLARLY: سهولة الوصول إلى مؤلفي Google Scholar والاستشهاد باستخدام Python (1.5.0) [Computer software]. https://doi.org/10.5281/zenodo.5764801
دادخاه، م.، ولاغزيان، م.، وبورشاردت، ج. (2017). الأوراق المشكوك فيها في قواعد بيانات الاستشهاد كقضية لمراجعة الأدبيات. مجلة الاتصالات الخلوية والإشارات, 11(2)، 181-185. https://doi.org/10.1007/s12079-016-0370-6
دادخاه، م.، أورمان، إم إتش، هيجيدوس، إم.، رامان، آر.، وديفيد، إل دي (2023). كشف الأوراق المزورة في عصر الذكاء الاصطناعي. تشخبص, 10(4)، 390-397. https://doi.org/10.1515/dx-2023-0090
ديجورين، م. (2024، 19 مارس). تسربت هراءات من صنع الذكاء الاصطناعي إلى المجلات العلمية. العلوم الشعبية. https://www.popsci.com/technology/ai-generated-text-scientific-journals/
دنلاب، ر. إ.، وبرول، ر. ج. (2020). مصادر ومضخمات إنكار تغير المناخ. في دي سي هولمز وإم. إل. ريتشاردسون (المحرران)، دليل البحث حول التواصل بشأن تغير المناخ (ص 49-61). دار نشر إدوارد إلجار. https://doi.org/10.4337/9781789900408.00013
فارس، م.، كوتوزوف، أ.، أوبن، س.، وفيلدال، إي. (2017). متجهات الكلمات وإعادة الاستخدام والتكرار: نحو مستودع مجتمعي للموارد النصية الكبيرة. في جيه. تيدمان ون. تاهماسيبي (المحرران)، وقائع المؤتمر الشمالي الحادي والعشرين حول اللغويات الحاسوبية (ص 271-276). جمعية اللغويات الحاسوبية. https://aclanthology.org/W17-0237
مساعدة Google Scholar. (nd). إرشادات الإدراج لمشرفي المواقع. https://scholar.google.com/intl/en/scholar/inclusion.html
جو، جيه، وانغ، إكس، لي، سي، تشاو، جيه، فو، دبليو، ليانغ، جي، وتشيو، جيه (2022). احتيال الصور المدعوم بالذكاء الاصطناعي في المنشورات العلمية. أنماط, 3(7)، 100511. https://doi.org/10.1016/j.patter.2022.100511
Gusenbauer, M., & Haddaway, NR (2020). ما هي أنظمة البحث الأكاديمي المناسبة للمراجعات المنهجية أو التحليلات التلوية؟ تقييم جودة الاسترجاع لـ Google Scholar وPubMed و26 موردًا آخر. طرق تجميع البحوث, 11(2)، 181-217.https://doi.org/10.1002/jrsm.1378
حيدر، جيه، وأستروم، ف. (2017). أبعاد الثقة في الاتصال العلمي: إشكالية مراجعة الأقران في أعقاب “اللدغة” التي أطلقها جون بوهانون في مجال العلوم. مجلة جمعية علوم وتكنولوجيا المعلومات, 68(2)، 450-467. https://doi.org/10.1002/asi.23669
هوانج، جيه، وتان، إم. (2023). دور ChatGPT في الاتصال العلمي: كتابة مقالات مراجعة علمية أفضل. المجلة الأمريكية لأبحاث السرطان, 13(4)، 1148-1154. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10164801/
جونز، ن. (2024). كيف تقاوم المجلات موجة الصور المشكوك فيها. طبيعة, 626(8000)، 697-698. https://doi.org/10.1038/d41586-024-00372-6
كيتامورا، ف. ك. (2023). يشكل برنامج ChatGPT مستقبل الكتابة الطبية ولكنه لا يزال يتطلب حكمًا بشريًا. الأشعة, 307(2)، e230171. https://doi.org/10.1148/radiol.230171
Littell, JH, Abel, KM, Biggs, MA, Blum, RW, Foster, DG, Haddad, LB, Major, B., Munk-Olsen, T., Polis, CB, Robinson, GE, Rocca, CH, Russo, NF, Steinberg, JR, Stewart, DE, Stotland, NL, Upadhyay, UD, & Ditzhuijzen, J. van. (2024). تصحيح السجل العلمي بشأن الإجهاض ونتائج الصحة العقلية. المجلة الطبية البريطانية, 384، e076518. https://doi.org/10.1136/bmj-2023-076518
لوند، بي دي، ووانج، تي، ومانورو، إن آر، وني، بي، وشيمراي، إس، ووانج، زد (2023). تشات جي بي تي وواقع أكاديمي جديد: أوراق بحثية مكتوبة بالذكاء الاصطناعي وأخلاقيات نماذج اللغة الكبيرة في النشر العلمي. مجلة جمعية علوم وتكنولوجيا المعلومات، 74(5)، 570-581. https://doi.org/10.1002/asi.24750
Martín-Martín, A., Orduna-Malea, E., Ayllón, JM, & Delgado López-Cózar, E. (2016). العودة إلى الماضي: على أكتاف عملاق محرك البحث الأكاديمي. القياسات العلمية, 107، 1477–1487. https://doi.org/10.1007/s11192-016-1917-2
مارتن-مارتن، أ.، ثيلوال، م.، أوردونا-ماليا، إي.، وديلجادو لوبيز-كوزار، إي. (2021). Google Scholar، وMicrosoft Academic، وScopus، وDimensions، وWeb of Science، وOpenCitations’ COCI: مقارنة متعددة التخصصات للتغطية عبر الاستشهادات. القياسات العلمية, 126(1)، 871-906. https://doi.org/10.1007/s11192-020-03690-4
سيمون، إف إم، وألتاي، إس، وميرسييه، إتش (2023). هل أعيد تحميل المعلومات المضللة؟ إن المخاوف بشأن تأثير الذكاء الاصطناعي التوليدي على المعلومات المضللة مبالغ فيها. مراجعة المعلومات المضللة لمدرسة هارفارد كينيدي (HKS)، 4(5). https://doi.org/10.37016/mr-2020-127
سكيبستيدت، إم.، أهلتورب، إم.، كوشر، ك.، & ليندستروم، م. (2024). من السحب اللفظية إلى المطر اللفظي: إعادة النظر في السحابة اللفظية الكلاسيكية لتصور نصوص تغير المناخ. تصور المعلومات, 23(3)، 217-238. https://doi.org/10.1177/14738716241236188
المجلس السويدي للبحوث. (2017). ممارسة بحثية جيدة. مجلس المحاربين القدماء.
ستوكيل-ووكر، سي. (2024، 1 مايو). لقد تسللت روبوتات الدردشة التي تعمل بالذكاء الاصطناعي إلى مجال النشر العلمي بشكل كامل. المجلة العلمية الأمريكية. https://www.scientificamerican.com/article/chatbots-have-thoroughly-infiltrated-scientific-publishing/
سوبارامان، ن. (2024، 14 مايو). طوفان من العلوم المزيفة يجبر العديد من المجلات على الإغلاق: وايلي تغلق 19 مجلة أخرى، بعضها ملوث بالاحتيال. وول ستريت جورنال. https://www.wsj.com/science/academic-studies-research-paper-mills-journals-publishing-f5a3d4bc
فريق تطوير pandas. (2024). pandas-dev/pandas: Pandas (v2.2.2) [Computer software]. زينودو. https://doi.org/10.5281/zenodo.10957263
Thorp, HH (2023). ChatGPT ممتع، لكنه ليس مؤلفًا. علوم, 379(6630)، 313-313. https://doi.org/10.1126/science.adg7879
تريبودي، إف بي، جارسيا، إل سي، ومارويك، إيه إي (2023). “افعل بحثك بنفسك”: تفعيل القدرة على تحمل التكاليف وانتشار المعلومات المضللة. المعلومات والاتصالات والمجتمع, 27(6)، 1212-1228. https://doi.org/10.1080/1369118X.2023.2245869
فيكراماديتيا، ن. (2020). Nv7-GitHub/googlesearch [Computer software]. https://github.com/Nv7-GitHub/googlesearch
التمويل
تم دعم هذا البحث من قبل Mistra، المؤسسة السويدية للبحوث البيئية الاستراتيجية، من خلال برنامج البحث Mistra Environmental Communication (Haider, Ekström, Rödl) ومؤسسة Marcus and Amalia Wallenberg [2020.0004] (سودرستروم).
تضارب المصالح
يعلن المؤلفون عدم وجود تضارب في المصالح.
أخلاق مهنية
تم إجراء البحث الموصوف في هذه المقالة بموجب التشريعات السويدية. ووفقًا للتشريعات ذات الصلة في الاتحاد الأوروبي والسويد (2003:460) بشأن المراجعة الأخلاقية للبحوث التي تشمل البشر (“قانون المراجعة الأخلاقية”)، فإن البحث المذكور هنا لا يخضع لترخيص من هيئة المراجعة الأخلاقية السويدية (“etikprövningsmyndigheten”) (SRC، 2017).
حقوق الطبع والنشر
هذه مقالة مفتوحة المصدر يتم توزيعها بموجب شروط رخصة المشاع الإبداعي المنسوبة، والذي يسمح بالاستخدام غير المقيد والتوزيع وإعادة الإنتاج بأي وسيلة، شريطة الإشارة إلى المؤلف الأصلي والمصدر بشكل صحيح.
توفر البيانات
الشكر والتقدير
يرغب المؤلفون في شكر اثنين من المراجعين المجهولين على تعليقاتهم القيمة على مخطوطة المقالة بالإضافة إلى المجموعة التحريرية مراجعة المعلومات المضللة في كلية كينيدي بجامعة هارفارد (HKS) لملاحظاتهم ومدخلاتهم المدروسة.