نواجه نحن المطورين تحديات مستمرة مع نمو البيانات، وكيفية التعامل معها بكفاءة دون تضخيم التكاليف. في هذا السياق، قدم فريق البيانات في «كلاودفلير» رؤى قيمة حول استراتيجياتهم لإدارة النمو الهائل في حركة المرور وتقليل الحاجة إلى توسيع العتاد، وهو أمر نراه درسًا عمليًا لكل من يعمل في بنى تحتية كبيرة.
تتولى «كلاودفلير» مسؤولية ما يزيد عن 20% من الويب، وتدير شبكة عالمية تضم عشرات الآلاف من الخوادم. يمر عبر أنابيب بياناتها ما يقارب ملياري حدث في الثانية في مايو 2026، شاملةً بيانات العملاء والبيانات الداخلية. المشكلة الأساسية التي يواجهونها هي النمو الأُسي لحركة المرور مقابل النمو الخطي للعتاد، وهو ما يدفعهم إلى الابتكار للحفاظ على التكاليف تحت السيطرة.
تحسينات جذرية على مدى خمس سنوات
خلال السنوات الخمس الماضية، تمكن فريق «كلاودفلير» من تأجيل توسيع العتاد لمدة سنتين ونصف بفضل مجموعة من التحسينات المعمارية والبرمجية. شملت هذه التحسينات عدة مراحل محورية:
- في عام 2022، قاموا بتفكيك المخطط الأحادي للبيانات الذي كان يفرض على جميع المنتجات استيعاب كل الحقول. وبتحويله إلى مخططات خاصة بالمنتجات، تمكنوا من تقليل استخدام النطاق الترددي للشبكة الأساسية بنسبة 35-40%، وهو ما يعادل نمو حركة المرور المضغوطة لمدة عام كامل.
- بحلول عام 2024، ومع النمو المستمر، قاموا بتغيير خوارزمية الضغط من LZ4 إلى zstd. هذا التغيير أدى إلى انخفاض بنسبة 40% تقريبًا في حجم حركة المرور المضغوطة، مما سمح لهم بدعم ما يزيد عن 1.5 ضعف كمية البيانات بنفس سعة الأنابيب، ويعادل توفير 10 أشهر من النمو المتوقع.
إعادة هيكلة النسخ وأخذ العينات
في ربيع عام 2026، أعادوا هندسة آلية تكرار البيانات (replication) لتجاوز نموذج الكتابة المزدوجة الذي كان يرسل نسختين كاملتين من كل حدث إلى منطقتين مركزيتين، مما كان يضاعف حركة المرور. اعتمدوا نموذجًا جديدًا يتضمن «مجمع استيعاب مشترك» يرسل كل حدث مرة واحدة فقط إلى أي جهاز استقبال متاح، ثم تتم عملية النسخ في مرحلة متأخرة من الأنابيب بعد التخزين المؤقت، مما يوفر مرونة أكبر في التعامل مع الأعطال. هذا التحول أدى إلى خفض صافي قدره 36 غيغابايت/ثانية من حركة المرور عبر الشبكات واسعة النطاق.
بالإضافة إلى ذلك، في صيف 2026، قاموا بتوسيع آلية أخذ العينات (sampling) لتتم في وقت أبكر ضمن الأنابيب، تحديدًا في خدمة Logfwdr، بالإضافة إلى أجهزة الاستقبال المركزية. تضمن خوارزمية أخذ العينات تمثيلًا عادلاً للبيانات عن طريق خلط السجلات واختيار حجم العينة بناءً على الجذر التربيعي للعدد الإجمالي للسجلات، مما يضمن تقليل البيانات المنقولة دون التضحية بالجودة.
ماذا يعني هذا للمطورين؟
توضح تجربة «كلاودفلير» أن إدارة النمو الأُسي للبيانات تتطلب تفكيرًا معماريًا عميقًا ومراجعة مستمرة للأنظمة الحالية. دروس مثل تفكيك المخططات الأحادية، وتحسين خوارزميات الضغط، وإعادة التفكير في استراتيجيات تكرار البيانات، وتطبيق أخذ العينات بشكل مبكر في الأنابيب، كلها استراتيجيات حيوية يمكن للمطورين ومهندسي البيانات تطبيقها لخفض التكاليف وتحسين الأداء في أنظمتهم الخاصة، سواء كانت على نطاق «كلاودفلير» أو أصغر. إنها تذكير بأن الاستثمار في كفاءة البنية التحتية يدفع عوائد كبيرة على المدى الطويل.
المصدر: blog.cloudflare.com