خدمة عشاق التكنولوجيا لأكثر من 25 عامًا.
TechSpot تعني تحليل التكنولوجيا والمشورة”https://www.techspot.com/ethics.html” الهدف=”_blank”> يمكنك الوثوق.
خذ المحرر: في Colossus: The Forbin Project ، يصبح الحاسوب الخارق المتقدم عاطفيًا ويستعبد البشرية. يعد Colossus أيضًا اسم منصة التخزين حيث توجد جميع خدمات الإنترنت من Google تقريبًا. على الرغم من أننا لا نعرف ما إذا كانت الشركة قد استلهمت مباشرة من فيلم الخيال العلمي الكلاسيكي ، إلا أن الدلالات لا تزال موجودة.
في منشور مدونة حديثًا ، Google”https://cloud.google.com/blog/products/storage-data-transfer/how-colossus-optimizes-data-placement-for-performance”> كشف بعض من “secrets” يختبئ خلف Colossus ، وهي بنية تحتية ضخمة للشبكة التي تصفها الشركة بأنها منصة تخزين عالمية. Colossus قوي وقابل للتطوير وسهل الاستخدام والبرنامج. قالت Google إن الجهاز الضخم لا يزال يستخدم وحقيبة (ومع ذلك لا يزال”https://www.techspot.com/news/107229-seagate-begins-work-nvme-hdds-cost-effective-ai.html”> التطور) محركات الأقراص الصلبة المغناطيسية.
تعمل Colossus على العديد من خدمات Google ، بما في ذلك YouTube و Gmail و Drive والمزيد. المنصة”https://static.googleusercontent.com/media/research.google.com/en/archive/gfs-sosp2003.pdf”> تطورت من مشروع نظام ملفات Google ، نظام تخزين موزع لإدارة التطبيقات الكبيرة المكثفة للبيانات ، مما يجعل الأمور أكثر قابلية للإدارة. والمثير للدهشة أن Google Supercharged Colossus من خلال تثبيت تقنية ذاكرة التخزين المؤقت الحصرية التي تعتمد على محركات الأقراص الصلبة السريعة.
| مثال التطبيق | أحجام I/O. | الأداء المتوقع |
|---|---|---|
| فحوصات كبيرة | مئات الكيلوغرامات لعشرات MBS | السل/ق |
| التخزين السحابي – قياسي | KBS لعشرات MBS | 100s من ميلي ثانية |
| رسائل Gmail | أقل من مئات كيلو بات | 10s من ميلي ثانية |
| مرفقات Gmail | KBS إلى MBS | ثوان |
| يقرأ Hyperdisk | KBs لمئات من الكيلوغرامات | <1 مللي ثانية |
| تخزين فيديو يوتيوب | MBS | ثوان |
تقوم Google بإنشاء نظام ملفات Colossus لكل مجموعة في مركز بيانات. العديد من هذه المجموعات قوية بما يكفي لإدارة exabytes متعددة من التخزين ، مع نظامين للملفات ، على وجه الخصوص ، يستضيف أكثر من 10 exabyts من البيانات لكل منهما. تدعي الشركة أن التطبيقات أو الخدمات التي تعمل بالطاقة Google يجب ألا تنفد أبدًا من مساحة القرص داخل منطقة Google Cloud.
إنتاجية البيانات في نظام ملفات Colossus مثيرة للإعجاب. تدعي Google أن أكبر مجموعات “regularly” تجاوز معدلات قراءة 50 تيرابايت في الثانية ، في حين أن معدلات الكتابة تصل إلى 25 تيرابايت في الثانية.
“This is enough throughput to send more than 100 full-length 8K movies every second,” وقالت الشركة.
يعد تخزين البيانات في المكان الصحيح أمرًا ضروريًا لتحقيق هذا النوع من الأداء فوق القمة. يمكن للمستخدمين الداخليين Colossus أن يملي ما إذا كانت ملفاتهم بحاجة إلى الانتقال إلى محرك الأقراص الصلبة أو SSD ، ولكن معظم المطورين يستخدمون حلًا تلقائيًا يُعرف باسم التخزين المؤقت SSD الموزع L4. تستخدم هذه التقنية خوارزميات التعلم الآلي لتحديد السياسة التي يجب تطبيقها على كتل بيانات محددة. ومع ذلك ، يكتب النظام في النهاية أي بيانات جديدة إلى محركات الأقراص الصلبة.
يمكن لتكنولوجيا التخزين المؤقت L4 (جزئيًا) حل هذه المشكلة بمرور الوقت من خلال مراقبة أنماط الإدخال/الإخراج ، وفصل الملفات إلى محددة “categories,” ومحاكاة مواضع تخزين مختلفة. وفقًا لوثائق Google ، تتضمن سياسات التخزين هذه “place on SSD for one hour,” “place on SSD for two hours,” و “don’t place on SSD.”
عندما تتنبأ عمليات المحاكاة بشكل صحيح بأنماط وصول الملفات ، يتم وضع جزء صغير من البيانات على محركات الأقراص الصلبة لامتصاص معظم عمليات القراءة الأولية. يتم ترحيل البيانات في النهاية إلى تخزين أرخص (HDD) لتقليل تكلفة الاستضافة الإجمالية.
“As the basis for all of Google and Google Cloud, Colossus is instrumental in delivering reliable services for billions of users, and its sophisticated SSD placement capabilities help keep costs down and performance up while automatically adapting to changes in workload,” وقالت الشركة. “We’re proud of the system we’ve built so far and look forward to continuing to improve the scale, sophistication, and performance.”