حصلت على خادم Nvidia GH200 مقابل 7.5 ألف يورو على Reddit وقمت بتحويله إلى سطح مكتب

“http://dnhkng.github.io/assets/img/main.jpg” البديل=”Grace Hopper Desktop” تحميل=”lazy”>

مقدمة

لقد كان تشغيل نماذج اللغات الكبيرة محليًا دائمًا بمثابة لعبة تسوية. إما أن تنفق أكثر من 10000 دولار على وحدات معالجة الرسومات الاستهلاكية التي بالكاد يمكنها التعامل مع 70 نموذجًا من المعلمات B، أو أنك تحلم بأجهزة مؤسسية لن تتمكن من تحمل تكلفتها أبدًا. تمثل منصة Grace-Hopper — وهي بنية الرقاقة الفائقة الموحدة CPU-GPU من Nvidia — نوع البنية التحتية للذكاء الاصطناعي التي تحلم بها LocalLlama، حيث تكلف الأنظمة عادةً أكثر من 100000 دولار ومتاحة حصريًا لمراكز البيانات والمؤسسات البحثية.

لذا، عندما عثرت بالصدفة على نظام Grace-Hopper الذي يُباع مقابل 10 آلاف يورو على موقع Reddit، كان أول ما تبادر إلى ذهني هو “من الواضح أنه مزيف”. فكرتي الثانية كانت “أتساءل عما إذا كان سيأخذ 7.5 ألف يورو؟”.

هذه هي قصة كيف اشتريت أجهزة ذكاء اصطناعي على مستوى المؤسسات مصممة لرفوف الخوادم المبردة بالسوائل، وحولتها إلى تبريد الهواء، ونجوت من العديد من الكوارث الوشيكة (بما في ذلك وحدات معالجة الرسومات التي أبلغت عن درجات حرارة تصل إلى 16 مليون درجة)، وانتهى بي الأمر بسطح مكتب يمكنه تشغيل نماذج معلمات 235B في المنزل. إنها قصة قرارات مشكوك فيها، وحل المشكلات بشكل إبداعي، وما يحدث عندما تحاول تحويل معدات مركز البيانات إلى برنامج تشغيل يومي.

إذا كنت قد تساءلت يومًا عما يلزم لتشغيل نماذج كبيرة حقًا محليًا، أو إذا كنت هنا فقط لمشاهدة شخص ما يقوم بتفكيك أجهزة بقيمة 80 ألف دولار بدون أي شيء سوى الأمل والأيزوبروبانول، فأنت في المكان الصحيح.

الصفقة

في وقت مبكر من هذا العام، أثناء تصفح r/LocalLLaMA/new، عثرت على ملف”https://www.reddit.com/r/LocalLLaMA/comments/1m65iga/frankenserver_for_sale_at_a_steep_discount_2x96gb/”>صفقة جيدة يبعث على السخرية. كيف جيدة؟ كانت هذه هي مواصفات الخادم المعروضة مقابل 10 آلاف يورو، وترقية جادة لجهاز 4x RTX 4090 الخاص بي:

المواصفات:

• 2x شريحة نفيديا جريس هوبر الفائقة
• 2 × وحدة معالجة مركزية Nvidia Grace ذات 72 نواة
• 2x وحدة معالجة الرسوميات Nvidia Hopper H100 Tensor Core
• 2 × ذاكرة LPDDR5X بسعة 480 جيجابايت مع رمز تصحيح الأخطاء (ECC)
• 2x 96 جيجا بايت من ذاكرة HBM3
• 1152 جيجابايت من إجمالي ذاكرة الوصول السريع
• NVLink-C2C: عرض النطاق الترددي 900 جيجابايت/ثانية
• قابلة للبرمجة من 1000 واط إلى 2000 واط TDP (وحدة المعالجة المركزية + وحدة معالجة الرسومات + الذاكرة)
• 1x وحدة PSU عالية الكفاءة 3000 وات 230 فولت إلى 48 فولت
• 2x فتحات PCIe Gen4 M.2 22110/2280 على اللوحة
• 4x FHFL PCIe Gen5 x16

تحديث:منذ أن اشتريت هذا، أصبحت أسعار ذاكرة الوصول العشوائي DDR5 مجنونة. تبلغ تكلفة مساحة 960 جيجابايت من ذاكرة DDR5 السريعة الآن أكثر مما دفعته مقابل نظام Grace-Hopper بأكمله 🤯

من الواضح أنها مزيفة اعتقدت، لأن

1. تكلفة H100s حوالي 30-40.000 يورو لكل منهما، وهذا النظام لديه اثنان منهم
2. أنظمة Grace-Hopper NVL2 ليست للبيع للمستهلكين على أي حال!

أوضح موضوع Reddit سبب بيع النظام بسعر رخيص:

السبب الرئيسي وراء ذلك هو أنه نظام فرانكن تم تحويله من التبريد السائل إلى التبريد بالهواء. كما أنها ليست جميلة جدًا وغير قابلة للتركيب، لأنها تحتوي على مصدر طاقة متصل بجهد 48 فولت. هو في الأصل مباشرة من نفيديا.

عرضت على الفور شرائه، لماذا لا؟ إذا كانت عملية احتيال، فيمكنني دائمًا التراجع، لكنني أردت أن أكون الأول في الصف!

اتضح أنني أعيش بالقرب من البائع، وهو يدير متجرًا عبر الإنترنت”https://gptshop.ai/”>تبيع معدات خادم Nvidia المعدلة كأجهزة كمبيوتر مكتبية. لا يزال الأمر يبدو محفوفًا بالمخاطر إلى حد كبير، لذلك قمت ببعض الأبحاث و”https://www.youtube.com/watch?v=YBIpJhN5YsE”> وجدت مراجعة الفيديو من أحد أجهزة الكمبيوتر المكتبية الخاصة به على موقع يوتيوب. وبما أن الصفقة تبدو الآن معقولة على الأقل، ولأن البائع لا يبعد سوى ساعتين بالسيارة ويوافق على أخذ النقود، فقد حان الوقت للقيام برحلة برية في بافاريا.

وصلت إلى مزرعة في غابة صغيرة، والتقيت بمالكها برنهارد”https://gptshop.ai/”>GPTshop.ai. لقد أطلعني على ورشة عمل جميلة (قواطع البلازما، ومختبر الإلكترونيات، وما إلى ذلك) حيث يقوم بتصنيع علب مخصصة لأجهزة الكمبيوتر المكتبية H100 المتطورة التي يصنعها. تبدو أجهزة الكمبيوتر المكتبية هذه جميلة جدًا، لذا فمن المؤسف أن متجر الويب الخاص به يصدر ردود فعل مشبوهة؛ من المؤكد أن تسجيل الأعمال التجارية في جزر كايمان لا يساعد. ما يمكنني قوله بالرغم من ذلك هو أن هذا العنصر كان بشدة مخفضة، وليس ما يبيعه عادة.

تنصل: ليس لدي أي ارتباط بـ GPTshop.ai بخلاف تسليمهم كومة من النقود والحصول على خادم مغطى بالغبار في المقابل. إذا كان هذا منشورًا مدعومًا، فمن المحتمل أنهم لن يسمحوا لي بذكر درجات حرارة وحدة معالجة الرسومات البالغة 16 مليون درجة أو الجزء الذي اضطررت فيه إلى لحام المكونات بحرية أثناء الصلاة لآلهة الإلكترونيات.

تفكيك خادم جريس هوبر

“http://dnhkng.github.io/assets/img/open.jpeg” البديل=”Arrival” تحميل=”lazy”>

الخادم نفسه لم يكن في حالة جيدة. هذه الأشياء تعمل لأقصى حد مراوح عالية الإنتاجية، وقد امتصت الكثير من الغبار، مما أدى إلى طلاء اللوحة الرئيسية بشدة لدرجة أنني لم أتمكن من معرفة لون PCB. ومع ذلك، تم تشغيله وعمل بشكل جيد، لذلك سلمت مبلغًا من النقود، وربطته في المقعد الخلفي لسيارتي بحزام الأمان (كان وزنه حوالي 20 كجم)، وقادته إلى المنزل.

هل ذكرت أنه بصوت عال؟ إن إطلاق النظام أمر مؤلم جسديًا. هناك 8 وحدات مزدوجة المروحة من Sunon، وكل منها بصوت عالٍ مثل المكنسة الكهربائية القوية، ولكن مع طبقة صوت أعلى بكثير وأكثر إزعاجًا. مع تشغيل جميع الأجهزة الثمانية بكامل طاقتها، تعد حماية السمع ضرورية – حيث كان بإمكاني سماع النظام يعمل في الطابق السفلي من منزلي مع إغلاق النوافذ من مسافة 50 مترًا! حظرت زوجتي على الفور (وبشكل عادل تمامًا) استخدامه في المنزل. كلانا يعمل في مكتب من المنزل وكان الصوت مرتفعًا للغاية بالنسبة للاجتماعات عبر الإنترنت. ولكن كان لدي خطط أخرى على أي حال …

أول الأشياء أولاً، قررت بالطبع بسرعة ثم شرعت في تجريد الخادم، بعد توثيق الصور لأول مرة للموصلات المختلفة بين مختلف مركبات ثنائي الفينيل متعدد الكلور والوحدات النمطية واللوحة الرئيسية.

تنظيف الخادم

“http://dnhkng.github.io/assets/img/cleaning.jpg” البديل=”Cleaning” تحميل=”lazy”>

تم إزالة معظم الغبار بالمكنسة الكهربائية أثناء التفكيك، ولكن من الواضح أنه كان هناك الكثير من الغبار تحت وحدات Grace-Hopper. بعد إزالة هذه العناصر أيضًا، قررت إجراء عملية غسيل كاملة للوحة الرئيسية.

لقد اشتريت بضعة لترات من الأيزوبروبانول، وباستخدام فرشاة ناعمة مررت على اللوحة بأكملها عدة مرات للحصول على الغبار الناعم المتبقي من الموصلات الداخلية وبين دبابيس مكونات SMD.

كنت أظن أنه قد يكون هناك غبار أيضًا داخل وحدات Grace-Hopper، لكن في الواقع، أردت فقط فتحها للتجول فيها.

تم وضع اللوحة الرئيسية على الأرضية الساخنة حتى تجف لمدة أسبوع، بينما انتقلت إلى استبدال نظام التبريد.

نظام تبريد مائي جديد

“http://dnhkng.github.io/assets/img/adapter_plate.jpg” البديل=”Adapter Plate” تحميل=”lazy”>

لقد بحثت في بناء وحدة مخصصة لتبريد المياه، لكنني كنت قلقة بشأن التسريبات، عندما وجدت أنها رخيصة الثمن”https://www.arctic.de/en/Liquid-Freezer-III-420/ACFRE00137A”>أنظمة تبريد المياه الكل في واحد مقابل 40 يورو تقريبًا لكل منها للبيع. سيكون اثنان لكل وحدة GH200 كافيين، لذلك قمت بقياس أبعاد وحدة معالجة الرسومات ووحدة المعالجة المركزية بعناية، بالإضافة إلى مواقع البراغي، وألقيتها في Fusion 360 لتصميم كتلة محول.

لدي جهاز Bambu X1، الذي كان مفيدًا جدًا في وضع نماذج أولية لمجموعات المحولات. يجب أن تكون التفاوتات ضيقة جدًا، لذلك قمت بطباعة العديد من الإصدارات المقطوعة للتأكد من وجود اتصال قوي بقالب GPU العاري، وهامش آمن من الاتصال بالأجزاء الهشة.

تم بعد ذلك إرسال الأجزاء للطحن باستخدام الحاسب الآلي، وتم تسليمها عند الانتهاء من تجفيف اللوحة الرئيسية. وبعد استخدام المزيد من الأيزوبروبانول لتنظيف زيت التشغيل، تم تركيبها دون الكثير من الضجة.

تجميع سطح المكتب

“http://dnhkng.github.io/assets/img/assembly.jpg” البديل=”Assembly” تحميل=”lazy”>

مادتي المفضلة لهذا النوع من المشاريع هي ProfilAlu من موقع eBay. إنها رخيصة الثمن وقاسية ويتم تسليمها مسبقًا للتجميع. لقد قمت بتجميع التصميم في Fusion 360، وحصلت على الأجزاء في غضون أيام قليلة. ومع ذلك، كانت الحوامل المختلفة تتطلب الكثير من العمل. كنت بحاجة إلى تصميم بضع عشرات من التركيبات المخصصة لمختلف مركبات ثنائي الفينيل متعدد الكلور ومثبتات مرشح الهواء؛ استخدم هذا بضعة كيلوغرامات من الخيوط لتصحيح الأمور.

الكوارث (الكارثة)

أخطاء خطيرة في المروحة

لم يبدأ النظام في التمهيد بعد الآن. عند فحص السجلات، رأيت 16 خطأً فادحًا، خطأ لكل معجب في الأزواج الثمانية:

4

08/06/25

19:24:08 بتوقيت وسط أوروبا الصيفي

مروحة FAN_5_F

انخفاض الحرجة الذهاب منخفضة

أكد

القراءة 0

5

08/06/25

19:24:08 بتوقيت وسط أوروبا الصيفي

مروحة FAN_6_R

انخفاض الحرجة الذهاب منخفضة

أكد

القراءة 0

6

08/06/25

19:24:08 بتوقيت وسط أوروبا الصيفي

مروحة FAN_8_F

انخفاض الحرجة الذهاب منخفضة

أكد

القراءة 0

7

08/06/25

19:24:08 بتوقيت وسط أوروبا الصيفي

مروحة FAN_5_R

انخفاض الحرجة الذهاب منخفضة

أكد

القراءة 0

8

08/06/25

19:24:08 بتوقيت وسط أوروبا الصيفي

مروحة FAN_7_F

انخفاض الحرجة الذهاب منخفضة

أكد

القراءة 0

9

08/06/25

19:24:08 بتوقيت وسط أوروبا الصيفي

مروحة FAN_8_R

انخفاض الحرجة الذهاب منخفضة

أكد

القراءة 0

مع إزالة المشجعين،”https://en.wikipedia.org/wiki/Intelligent_Platform_Management_Interface#Baseboard_management_controller”>BMC (وحدة التحكم في إدارة اللوحة الأساسية) أصيب بالذعر على الفور، وأغلق اللوحة الرئيسية لمنع حدوث ضرر حراري، حتى مع وجود مبردات المياه في مكانها. لذا، قمت بتعطيل النظام الفرعي لفحص المروحة.

12345

# stops the service for the current sessionsystemctl stop phosphor-sensor-monitor.service# prevents the service from starting on the next bootsystemctl disable phosphor-sensor-monitor.service

من يحتاج إلى مراقبة الأجهزة؟ ¯_(ツ)_/¯

الاندماج النووي؟

عظيم! يمكنني بدء عملية التمهيد، وحتى الوصول إلى تسجيل الدخول! لكن مرة واحدة فقط كل 4 مرات… ليس الحل الأمثل. وحتى عند تسجيل الدخول، سيتعطل الخادم خلال دقيقتين.

وبالنظر إلى سجلات BMC، رأيت:

إذن، فشل فادح في الساعة 08:20:18:

• إشارة SHDN_OK_L-I تنخفض (تم اكتشاف حافة السقوط)
• يؤدي هذا على الفور إلى تشغيل تسلسل إيقاف التشغيل
• يتم إيقاف تشغيل النظام خلال 30 ثانية تقريبًا من التمهيد الناجح

ولكن لماذا؟!!!؟ لقد أغلقت مراقبة الأجهزة.

الغوص بشكل أعمق في السجلات:

تحذير: يجب ألا تصل درجة حرارة وحدة معالجة الرسومات الخاصة بك إلى 16,777,214 درجة مئوية أثناء التمهيد. تخيل ماذا سيحدث تحت الحمل!

استغرق هذا بعض الوقت لتصحيح الأخطاء، حيث كنت متأكدًا تمامًا من أن المستشعرات لا يمكنها التعامل فعليًا مع درجات حرارة القراءة التي تزيد عن 16 مليون درجة مئوية… ولكن بعد ذلك لاحظت شيئًا مثيرًا للاهتمام حول هذا الرقم المحدد:

هذا هو 2²⁴ - 2، وهو قريب بشكل مثير للريبة من الحد الأقصى لقيمة عدد صحيح غير موقّع يبلغ 24 بت. في عالم الأجهزة، هذا يعادل جهاز استشعار يرفع يديه ويصرخ “ليس لدي أي فكرة عما يحدث!” عندما لا يتمكن الجهاز من قراءة قيمة بشكل صحيح – سواء كان ذلك بسبب اتصال غير محكم أو دائرة تالفة أو فشل في التهيئة – فإنه غالبًا ما يُرجع الحد الأقصى (أو شبه الحد الأقصى) للقيمة القابلة للتمثيل. إنها مثل النسخة الرقمية من الاستهزاء.

أكدت السجلات هذه النظرية: الرؤية 1.67772e+07 (16,777,214) لم يكن دليلاً على أن وحدة معالجة الرسومات الخاصة بي قد حققت درجات حرارة الاندماج النووي 🔥 – بل كانت دليلاً على أن مستشعر درجة الحرارة توقف عن العمل ببساطة. وإذا كان خطأ المستشعر متقطعًا، فمن المرجح أن يكون السبب هو ضعف الاتصال أو حدوث ضرر مادي.

بعد قضاء وقت طويل جدًا في متابعة الحلول البرمجية (لأن من يريد تفكيك كل شيء مرة أخرى؟)، لقد قبلت أخيرًا ما لا مفر منه وكسرت المفكات.

“http://dnhkng.github.io/assets/img/fix.jpg” البديل=”Fix” تحميل=”lazy”>

لقد اشتريت مجهرًا جديدًا في وقت سابق من هذا العام، وتبين أنه الأداة المثالية لتشخيص المشكلة وإصلاحها. بالقرب من إحدى الوحدات، وجدت بعض مكونات التثبيت السطحية التالفة. يجب أن يكون الضرر قد حدث بعد التنظيف، ربما أثناء إعادة تجميع الوحدات باستخدام المحولات النحاسية. يزنون أكثر من 2 كجم، لذا فإن أي عثرة طفيفة كان من الممكن أن تسبب هذا الضرر بسهولة. من المثير للدهشة أن المكونات الصغيرة كانت لا تزال متصلة بالآثار، ولذلك تمكنت من قياسها بسهولة: مكثف 100 نانو فاراد، ومقاوم 4.7 كيلو (كلاهما كان في متناول يدي، حيث أنهما قيمتان قياسيتان لدوائر الفصل). الأخبار السيئة؟ كان لدي أجزاء ضخمة بحجم “0805” (بطول 2 مم)، وكانت هذه الأجزاء صغيرة الحجم “0402” (بطول 1 مم). وقد اختفى للتو أحد الآثار.

مع بعض عمليات اللحام المزعجة للغاية، وخدش قناع اللحام الموجود على PCB لكشف المزيد من الأثر، تمكنت من “لحام الأجزاء مجانًا” في منحوتة ثلاثية الأبعاد رائعة والتي تم بعد ذلك تغليفها بشكل حر براتنج قناع المعالجة بالأشعة فوق البنفسجية، ثم تثبيتها في مكانها بشريط لاصق. محترفة جدا. بعد إعادة التجميع، تم تمهيد النظام بسلاسة.

اللمسات النهائية

“http://dnhkng.github.io/assets/img/touches.jpg” البديل=”Fix” تحميل=”lazy”>

لقد قمت بطباعة بعض الأجزاء الإضافية ثلاثية الأبعاد:

• يتصاعد لمحرك الأقراص E1.S 8TB SSD الذي وجدته رخيصًا عبر الإنترنت
• لوحة خلفية كاملة، تعمل على تركيب مصدر طاقة 3KW 48V
• شبكة ذات مظهر رائع لحماية مشعات تبريد المياه ومرشحات الغبار

كان تشغيل وحدة معالجة الرسوميات (GPU) أمرًا مؤلمًا أيضًا، لذا سأترك التفاصيل هنا للمغامرين المستقبليين:

12345678910111213141516

# Data Center/HGX-Series/HGX H100/Linux aarch64/12.8 seem to work!wget https://us.download.nvidia.com/tesla/570.195.03/NVIDIA-Linux-aarch64-570.195.03.run# Tell the driver to completely ignore the NVLINK and it should allow the GPUs to initialise independently over PCIe !!!!   This took a week of work to find, thanks Reddit!# create a modprobe config file:sudo nano /etc/modprobe.d/nvidia-disable-nvlink.conf# add the driver optionoptions nvidia NVreg_NvLinkDisable=1# update the boot files:sudo update-initramfs -u# rebootsudo reboot

المعايير

ربما لهذا السبب أنت هنا؟ لقد بدأت للتو، ولكن بعد تجميع أحدث إصدار من Llama.cpp باستخدام 144 مركزًا في 90 ثانية، إليك بعض المعايير المتعلقة ببرامج LLM الأكبر حجمًا:

“http://dnhkng.github.io/assets/img/benchmarks.jpg” البديل=”Benchmarks” تحميل=”lazy”>

هذا أمر غير محسّن إلى حد كبير، لكنه يبدو واعدًا حتى الآن! خلال اختبارات LLM، وصلت إلى حوالي 300 واط لكل وحدة معالجة رسومات، بعيدًا عن الحد الأقصى البالغ 900 واط.

تفصيل التكلفة

إليك ما كلفني البناء بالكامل، بدءًا من الشراء الأولي وحتى اللمسات النهائية:

لا يشمل ذلك: حماية السمع (ضرورية للغاية)، والمجهر الذي كنت أملكه بالفعل (ولكن ثبت أنه ضروري)، والعديد من المطبوعات ثلاثية الأبعاد الفاشلة، والتكلفة العاطفية لرؤية “16,777,214 درجة مئوية” في سجلات النظام.

خاتمة

فهل كان الأمر يستحق ذلك؟ لدي الآن جهاز كمبيوتر مكتبي يمكنه تشغيل نماذج معلمات 235B في المنزل بأقل من تكلفة جهاز H100 واحد. لقد تطلب الأمر تفكيك أجهزة مؤسسية بقيمة 80 ألف دولار، وتصحيح أخطاء أجهزة الاستشعار التي أبلغت عن درجات حرارة تقترب من سطح الشمس، ومكونات اللحام الحر تحت المجهر. قد تختلف المسافة المقطوعة الخاصة بك. حرفيًا: اضطررت إلى القيادة لمدة ساعتين لالتقاط هذا الشيء.