قامت بورصة بورصة باستعداد بيانات البث في الوقت الفعلي 5x مع Redpanda

للقيام بذلك ، عقدت NYSE شراكة مع بائع منصة البيانات”https://www.redpanda.com/” الهدف=”_blank” rel=”noreferrer noopener”> ريدباندا، التي طورت خاصة بها”https://venturebeat.com/data-infrastructure/redpanda-raises-100m-as-streaming-data-demand-grows/”> تنفيذ كافكا مكتوبة بلغة البرمجة C ++.

حقق نشر NYSES لنظام البث المبني على NYSES من Redpanda تحسينات الأداء 4-5x على منافسي كافكا التقليديين ، يعرضون القيود الأساسية في كيفية تعامل معظم المؤسسات مع أعباء عمل بيانات البيانات.

تصبح فجوة الأداء هذه حاسمة حيث تقوم المؤسسات بتطبيقات AI التي تتطلب وصولًا ثابتًا من البيانات المنخفضة للتكنولوجيا. إن تدفق البيانات المستندة إلى كافكا لديه أيضًا إمكانية لتمكين الاتصالات إلى الوكيل ، وتنافس مناهج أخرى مثل”https://venturebeat.com/ai/googles-agent2agent-interoperability-protocol-aims-to-standardize-agentic-communication/”> Google’s A2A ويمكن أيضًا تمديدها لتمكين بروتوكول سياق النموذج (MCP).

“أطروحة السوق هي أن جميع نماذج الأساس الكبيرة قد فهرست بالفعل مجموعات البيانات العامة ، والحدود التالية هي مجموعات البيانات الخاصة ، وأن Redpanda تفتح حقًا مجموعات البيانات الخاصة للوصول إلى الوكيل” ، “

ما تبنيه بورصة نيويورك في السحابة

قامت NYSE ببناء منصة دفق السحابة الخاصة بها لخدمة العملاء الذين لا يستطيعون الوصول إلى مراكز البيانات الخاصة بها مباشرة. يستهدف Exchange شركات Fintech ووسطاء البيع بالتجزئة الذين يحتاجون إلى الوصول المستند إلى AWS إلى بيانات السوق في الوقت الفعلي.

“ليس كل مستهلك لبيانات السوق لدينا القدرة على الوصول إلى مركز البيانات لدينا ، واتخاذ الخلاصة واستخدام هذه التغذية” ، قال Vinil Bhandari ، رئيس Cloud و Full Stack Engineering في NYSE VentureBeat. “لكنك تعلم أن متجرًا صغيرًا في هونغ كونغ لديه إمكانية الوصول إلى إنشاء حساب AWS الخاص بهم ، على سبيل المثال ، وهو تلك الجماهير التي نحاول تلبية احتياجاتها”.

تقوم NYSE بتدفق خلاصة BQT (Best Quotes and Trades) ، والتي تجمع البيانات في الوقت الفعلي من جميع عمليات تبادل NYSE السبعة. يتطلب النشر بناء بنية تحتية جديدة بدلاً من تمديد الأنظمة الحالية.

لماذا اختارت بورصة نيويورك Redpanda وكيف يهم اختيار لغة البرمجة

تقوم بورصة نيويورك بمعالجة أكثر من 500 مليار رسالة يوميًا عبر سبعة تبادل. أثناء تقلب السوق ، يمكن أن يرتفع حجم الرسالة 1000x فوق المتوسط داخل microseconds.

تكافح تطبيقات Java التقليدية مع هذه الأنماط لأن جمع القمامة يخلق مسامير الكمون التي لا يمكن التنبؤ بها.

“لقد تمت كتابة تطبيق كافكا الكلاسيكي بلغة برمجة Java ، والتي تجعل هذا النوع من حركة المرور هذا النوع من الزيارات ، كما تعلمون ، ليس جيدًا جدًا مع مجموعة Java’s Garbage التي تحدث في لغة البرمجة” ، أوضح Bhandari. “قامت Redpanda بتنفيذ Kafka من خلال إعادة كتابة بروتوكول Kafka في C ++ ، لذلك كلما حصلنا على حركة من حركة المرور من نشاطنا في السوق ، التقلب ، يمكننا إدارة تلك البيانات بشكل أفضل.”

إن اختيار لغة البرمجة هو السبب في أن NYSE قد ذهبت مع Redpanda لتدفق البيانات بدلاً من خيارات أخرى مثل Confluent أو Amazon التي تدير البث الخاص بـ Kafka (MSK).

أدى هذا القرار الفني إلى تحسينات في الأداء.

“نحن آمنون لإثبات ذلك نحن على الأقل أربع إلى خمس مرات أسرع في تسليم البيانات لدينا باستخدام Redpanda مقارنة ببعض منافسينا المخصصين في التذاكر الكبيرة الذين يستخدمون تقنية كافكا لدفق بيانات مماثلة “.

بالنسبة للمؤسسات التي تقوم بتقييم منصات البث ، تسلط هذه المقارنة الضوء على الاعتبار النقدي: قد تكافح التطبيقات المستندة إلى جافا لتدفق البيانات أثناء ارتفاع حركة المرور ، في حين أن البدائل المستندة إلى C ++ يمكن أن تحافظ على أداء ثابت.

قابلية الملاحظة تثبت حاسما للنشر المهمة المهمة

أكد Bhandari على الملاحظة باعتبارها ضرورية لنشر تدفق الإنتاج. قدمت إمكانات القياس عن بُعد في Redpanda قيمة تشغيلية فورية.

“كلما كان النشر مثل هذا يمكن أن يكون له إمكانية الملاحظة والقياس عن بعد لما يحدث تحت الغطاء ، كلما كان منتج البيانات والمستهلكين من البيانات أفضل” ، أوضح بهانداري.

تتيح هذه الملاحظة الكشف عن القضايا والتحل الاستباقي قبل أن تؤثر المشكلات على العملاء. بدون مراقبة شاملة ، تخاطر المؤسسات باكتشاف مشكلات الأداء فقط بعد أن تؤثر على أعباء عمل الإنتاج وتجربة العملاء.

تحول فلسفة العمارة: تدفق كأساس منظمة العفو الدولية

ستستخدم NYSE إمكانيات بيانات البث بطريقة تقليدية إلى حد ما ، على الأقل في البداية. هذه هي البيانات من تبادل السوق الخاص بها يتم توفيرها للمستخدمين للاستهلاك.

يشير الاتجاه الذي يتجه إليه Redpanda إلى مستقبل أكثر من AIC ، من المحتمل أن يحتضن مستخدمي مثل NYSE في السنوات المقبلة. يجادل الرئيس التنفيذي لشركة Redpanda Gallego بأنه يجب على المؤسسات عرض بنية التدفق بشكل مختلف في عصر الذكاء الاصطناعي.

“إن التدفق له النمط المعماري الصحيح ، ليس للسرعة ، ولكن لأنه البنية الصحيحة للتطبيقات التفاعلية والعوامل” ، أوضح جاليجو.

إلى جانب حل مشاكل أداء البث التقليدية ، قامت Redpanda بإعادة وضع نفسها لما يسميه Gallego للمؤسسة Agentic. اختتمت الشركة موصلات البيانات الخاصة بها في MCP (بروتوكول سياق النموذج) ، مما يتيح وكلاء الذكاء الاصطناعى الوصول إلى مصادر بيانات المؤسسة مباشرة.

يحل هذا النهج مشكلة التعقيد الحسابي التي تظهر كمؤسسات تنشر عوامل منظمة العفو الدولية المتعددة.

وقال جاليجو: “بدون واجهة برمجة تطبيقات Kafka ، لديك مشكلة اتصال مربعة حيث يتعين على كل وكيل الوصول إلى كل وكيل آخر”. “وعندما تقدم API Kafka ، فإنه يقلل من التعقيد الحسابي التربيعي إلى الخطي.”

وفقًا لـ Gallego ، تنشر البنوك بالفعل مئات الوكلاء. يخطط أحد العملاء Redpanda لبناء 1000 وكيل على مدار العامين المقبلين. آخر هو حاليا بناء 130 وكيل لنشر الإنتاج في غضون 18 شهرا. تجعل متطلبات الحجم هذه قرارات بنية تنسيق الوكيل مهمة لنجاح استراتيجية الذكاء الاصطناعي على المدى الطويل.

ماذا يعني هذا لاستراتيجية بيانات المؤسسة

تم تعيين بيانات البث في الوقت الفعلي لتصبح جانبًا مهمًا بشكل متزايد في عمليات العديد من المنظمات.

تكشف عملية التقييم الخاصة بـ NYSE معايير القرار الحرجة لصانعي القرار المؤسسي الذين يقومون بتقييم البنية التحتية للتدفق:

تضرب كافكا مقرها جافا جدران الأداء تحت حركة المرور. يجب أن تقوم المنظمات التي تتناول أعباء العمل غير المتوقعة بتقييم البدائل القائمة على C ++ قبل تحجيم عمليات نشر الإنتاج. الفرق في الأداء 4-5x ليس تحسينًا هامشيًا ولكنه فجوة القدرة الأساسية.

يمكن أن تحقق استراتيجيات البث السحابية الأولى أداءً من فئة الإنتاج. يمكّن ذلك أنماط الوصول إلى البيانات العالمية التي كانت غير عملية سابقًا بسبب قيود الكمون ، مما يؤدي إلى فتح فرص السوق الجديدة للشركات التي تعتمد على البيانات.

تنسيق الوكيل يتطلب بنية التدفق. مع توسيع نطاق نشر الذكاء الاصطناعي إلى ما وراء الوكلاء الفرديين ، تصبح منصات البث بنية تحتية أساسية بدلاً من تحسينات الأداء. تصبح مزايا التعقيد الحسابي حاسمة على نطاق واسع.

بالنسبة للمؤسسات التي تخطط لتطبيقات الذكاء الاصطناعي ، من الأهمية بمكان إعطاء الأولوية لمنصات البث التي تدعم تكامل MCP وتنسيق الوكيل. تصبح مزايا التعقيد الحسابي أمرًا بالغ الأهمية على نطاق واسع وإعادة تحديث بنية التنسيق بعد نشر عوامل متعددة ، يثبت أكثر صعوبة بشكل كبير من بناءها بشكل صحيح منذ البداية.

يجب أن تدرك المنظمات التي تنتظر تبني الذكاء الاصطناعي أن قرارات بنية البث التي تم اتخاذها اليوم ستقيد إمكانيات الذكاء الاصطناعي في المستقبل أكثر مما يدرك معظم القادة.