ضمن سلسلة تحديثات Cloudflare Observability الثمانية، أعلنت Cloudflare عن إتاحة Logpush لجميع خطط الخدمة الذاتية، كما أعلنت عن توفر ميزة Transformers بشكل عام. تتيح هذه الميزة الجديدة للمطورين معالجة سجلاتهم مباشرة ضمن مسار تصدير Logpush، مما يغير طريقة التعامل مع تدفقات البيانات الضخمة.
مرونة فائقة في معالجة السجلات
باستخدام Transformers، يمكن للفرق الآن تحديد استعلام SQL واحد لفلترة السجلات، وإخفاء البيانات الحساسة، وإعادة تشكيل المخرجات عن طريق إضافة الحقول أو إعادة تسميتها أو إزالتها أو تضمينها. يتم تطبيق هذا الاستعلام قبل تصدير السجلات إلى أنظمة SIEM أو منصات التحليلات أو التخزين الكائني، مما يقلل بشكل كبير من حجم البيانات النهائية وتكاليف التخزين والمعالجة.
على سبيل المثال، يمكن لفرق العمل إضافة حقل موفر ثابت لتطبيع السجلات من شبكات توصيل المحتوى (CDNs) المتعددة قبل وصولها إلى منصة التحليلات. يمكن للعملاء إنشاء Transformers ومعاينتها وإدارتها عبر لوحة تحكم Cloudflare من خلال Transformer Studio أو برمجياً عبر الـ API، مع تتبع التغييرات عبر الإصدارات المختلفة.
التقنية الكامنة والأداء
في جوهر هذه الميزة، تستخدم Cloudflare محرك Apache DataFusion، وهو محرك استعلام مبني بلغة Rust على Apache Arrow، وذلك داخل خدمة توصيل Logpush المسماة Bufstream والمكتوبة بلغة Go. يسمح هذا التصميم بتنفيذ الاستعلامات في مسار المعالجة نفسه، مما يضمن موثوقية عالية وإنتاجية ضخمة. وقد أظهرت الاختبارات الأولية معالجة 5000 صف في حوالي 3 مللي ثانية، أي ما يعادل حوالي 1.6 مليون صف في الثانية.
لضمان أقصى قدر من الاستقرار، تم تصميم Transformers لتعمل بآلية «الفشل المغلق». هذا يعني أنه في حالة عدم إمكانية تنفيذ التحويل، فإن Bufstream لا تقوم بتمرير دفعة السجلات غير المحولة ولا تقدم تحديثاً لمؤشر توصيل المهمة. هذا يحمي من تسرب البيانات غير المعالجة أو غير المتوافقة مع المخطط المحدد.
ما الذي يعنيه هذا للمطورين؟
بالنسبة للمطورين والمهندسين الذين يتعاملون مع كميات هائلة من سجلات Cloudflare، تقدم ميزة Transformers تبسيطاً كبيراً لمسار العمل. بدلاً من الحاجة إلى خدمات معالجة منفصلة تتطلب النشر والتحجيم والمراقبة والصيانة، يمكنهم الآن تضمين هذه العمليات مباشرة في مرحلة التصدير. نرى أن هذا سيوفر الوقت والموارد، ويقلل من التعقيد التشغيلي، ويسمح بتركيز أكبر على استخدام البيانات بدلاً من إعدادها.
المصدر: blog.cloudflare.com