بالشراكة مع”https://spectrum.ieee.org/tag/google”> جوجل، ال”https://spectrum.ieee.org/tag/computer-history-museum”> متحف تاريخ الكمبيوتر أصدرت”https://spectrum.ieee.org/tag/source-code”> رمز المصدر إلى Alexnet ، الشبكة العصبية التي بدأت في عام 2012 نهج اليوم السائد تجاه الذكاء الاصطناعي. رمز المصدر متاح ك”https://spectrum.ieee.org/tag/open-source”> المصدر المفتوح على”https://github.com/computerhistory/AlexNet-Source-Code” rel=”noopener noreferrer” الهدف=”_blank”> صفحة جيثب CHM.
ما هو Alexnet؟
Alexnet هي شبكة عصبية اصطناعية تم إنشاؤها للتعرف على محتويات الصور الفوتوغرافية. تم تطويره في عام 2012 من قبل طلاب الدراسات العليا بجامعة تورنتو”https://en.wikipedia.org/wiki/Alex_Krizhevsky” rel=”noopener noreferrer” الهدف=”_blank”> أليكس كريزيفسكي و”https://en.wikipedia.org/wiki/Ilya_Sutskever” rel=”noopener noreferrer” الهدف=”_blank”> ilya sutskever ومستشار أعضاء هيئة التدريس ،”https://en.wikipedia.org/wiki/Geoffrey_Hinton” rel=”noopener noreferrer” الهدف=”_blank”> جيفري هينتون.
أصول”https://spectrum.ieee.org/tag/deep-learning”> التعلم العميق
يعتبر هينتون أحد آباء”https://spectrum.ieee.org/what-is-deep-learning” الهدف=”_self”> التعلم العميق، نوع من”https://spectrum.ieee.org/topic/artificial-intelligence/”> الذكاء الاصطناعي التي تستخدم”https://spectrum.ieee.org/tag/neural-networks” الهدف=”_self”> الشبكات العصبية وهو أساس الذكاء الاصطناعي السائد اليوم. ثلاث طبقات بسيطة”https://spectrum.ieee.org/tag/neural-networks”> الشبكات العصبية مع وجود طبقة واحدة فقط من الأوزان التكيفية تم بناؤها لأول مرة في أواخر الخمسينيات من القرن الماضي – خاصةً باحث كورنيل فرانك روزنبلات – ولكن تبين أن لديهم قيود.[[
“Add Photo Caption…”> فرانك روزنبلات [left, shown with Charles W. Wightman] طورت أول شبكة عصبية اصطناعية ، The Perceptron ، في عام 1957. قسم مجموعات المخطوطات النادرة/مكتبة جامعة كورنيل
في الثمانينيات من القرن الماضي ، تم إحياء أبحاث الشبكة العصبية خارج مجتمع الذكاء الاصطناعى من قبل العلماء المعرفيين في جامعة كاليفورنيا سان دييغو ، تحت اسم “الاتصال” الجديد. بعد الانتهاء من الدكتوراه في جامعة أدنبرة في عام 1978 ، أصبح هينتون زميلًا بعد الدكتوراه في”https://spectrum.ieee.org/tag/ucsd”> UCSDحيث تعاون مع”https://www.nytimes.com/2011/03/19/health/19rumelhart.html” rel=”noopener noreferrer” الهدف=”_blank”> ديفيد روملهارت و”https://www.khoury.northeastern.edu/a-tribute-to-ron-williams-khoury-professor-and-machine-learning-pioneer/” rel=”noopener noreferrer” الهدف=”_blank”> رونالد ويليامز. أعيد اكتشاف الثلاثة”https://spectrum.ieee.org/tag/backpropagation”> backpropagation خوارزمية لتدريب الشبكات العصبية ، وفي عام 1986 نشرت ورقتين تبين أنها مكنت الشبكات العصبية من تعلم طبقات متعددة من ميزات مهام اللغة والرؤية. يستخدم Backpropingation ، الذي يعد أساسيًا للتعلم العميق اليوم ، الفرق بين الإخراج الحالي والإخراج المطلوب للشبكة لضبط الأوزان في كل طبقة ، من طبقة الإخراج للخلف إلى طبقة الإدخال.
في عام 1987 ، انضم هينتون إلى”https://www.cs.toronto.edu/~hinton/” rel=”noopener noreferrer” الهدف=”_blank”> جامعة تورونتو. بعيدًا عن مراكز الذكاء الاصطناعى التقليدي ، جعل عمل هينتون وتنفيذ طلاب الدراسات العليا تورونتو مركزًا لبحث التعلم العميق خلال العقود المقبلة. كان أحد طلاب ما بعد الدكتوراه في هينتون”http://yann.lecun.com/” rel=”noopener noreferrer” الهدف=”_blank”> يان ليكون، الآن كبير العلماء في”https://spectrum.ieee.org/tag/meta”> meta. أثناء عمله في تورنتو ، أظهر LeCun أنه عندما تم استخدام backpropation في الشبكات العصبية “التلافيفية” ، أصبحت جيدة جدًا في التعرف على الأرقام المكتوبة بخط اليد.
ImageNet و”https://spectrum.ieee.org/tag/gpus”> وحدات معالجة الرسومات
على الرغم من هذه التطورات ، لم تتمكن الشبكات العصبية من التفوق باستمرار على أنواع أخرى من”https://spectrum.ieee.org/tag/machine-learning”> التعلم الآلي الخوارزميات. كانوا يحتاجون إلى تطورين من خارج منظمة العفو الدولية لتمهيد الطريق. الأول كان ظهور كميات أكبر من البيانات للتدريب ، تم توفيرها من خلال الويب. والثاني كان قوة حسابية كافية لأداء هذا التدريب ، في شكل ثلاثي الأبعاد”https://spectrum.ieee.org/tag/graphics”> الرسومات رقائق ، والمعروفة باسم وحدات معالجة الرسومات. بحلول عام 2012 ، كان الوقت قد انتهى بالنسبة إلى Alexnet.
“Add Photo Caption…”> كانت مجموعة بيانات صور ImageNet الخاصة بـ Fei-Fei Li ، التي تم الانتهاء منها في عام 2009 ، محورية في تدريب Alexnet. هنا ، لي [right] يتحدث مع توم كليل في”https://spectrum.ieee.org/tag/computer-history”> تاريخ الكمبيوتر متحف. متحف ديغلاس فيربيرن/تاريخ الكمبيوتر
تم العثور على البيانات اللازمة لتدريب Alexnet في”https://www.image-net.org/” rel=”noopener noreferrer” الهدف=”_blank”> ImageNet، بدأ مشروع بقيادة وقيادة”https://spectrum.ieee.org/tag/stanford”> ستانفورد أستاذ”https://profiles.stanford.edu/fei-fei-li” rel=”noopener noreferrer” الهدف=”_blank”> fei-fei li. ابتداءً من عام 2006 ، وضد الحكمة التقليدية ، تصور لي مجموعة بيانات من الصور التي تغطي كل اسم باللغة الإنجليزية. بدأت هي وطلاب الدراسات العليا في جمع الصور الموجودة على”https://spectrum.ieee.org/tag/internet”> الإنترنت وتصنيفها باستخدام تصنيف يقدمه”https://wordnet.princeton.edu/” rel=”noopener noreferrer” الهدف=”_blank”> WordNet، قاعدة بيانات للكلمات وعلاقاتها مع بعضها البعض. بالنظر إلى ضخامة مهمتهم ، قامت LI ومتعاونوها في النهاية بمهمة وصف الصور بالعمال ، باستخدام العمال ، باستخدام العمال ، باستخدام”https://www.mturk.com/” rel=”noopener noreferrer” الهدف=”_blank”> منصة التركية الميكانيكية لـ Amazon.
تم الانتهاء منه في عام 2009 ، كان ImageNet أكبر من أي مجموعة بيانات صور سابقة من خلال عدة أوامر من حيث الحجم. أعربت لي إلى أن توافره يحفز اختراقات جديدة ، وبدأت أ”https://www.image-net.org/challenges/LSVRC/” rel=”noopener noreferrer” الهدف=”_blank”> المنافسة في عام 2010 لتشجيع فرق البحث على تحسين”https://spectrum.ieee.org/tag/image-recognition”> التعرف على الصور الخوارزميات. ولكن على مدار العامين المقبلين ، قامت أفضل الأنظمة فقط بتحسينات هامشية.
كانت الحالة الثانية اللازمة لنجاح الشبكات العصبية هو الوصول الاقتصادي إلى كميات هائلة من الحساب. يتضمن التدريب على الشبكة العصبية الكثير من مضاعفات المصفوفة المتكررة ، ويفضل أن يتم بالتوازي ، وهو أمر تم تصميم وحدات معالجة الرسومات.”https://www.nvidia.com/en-us/” rel=”noopener noreferrer” الهدف=”_blank”> nvidia، تأسس من قبل الرئيس التنفيذي”https://en.wikipedia.org/wiki/Jensen_Huang” rel=”noopener noreferrer” الهدف=”_blank”> جنسن هوانغ، كان قد قاد الطريق في 2000s في جعل وحدات معالجة الرسومات أكثر تعميمًا وقابلة للبرمجة للتطبيقات التي تتجاوز الرسومات ثلاثية الأبعاد ، وخاصة مع”https://developer.nvidia.com/cuda-toolkit” rel=”noopener noreferrer” الهدف=”_blank”> نظام البرمجة CUDA صدر في عام 2007.
كلا ImageNet و”https://spectrum.ieee.org/tag/cuda”> كودا كانت ، مثل الشبكات العصبية نفسها ، تطورات متخصصة إلى حد ما التي كانت تنتظر الظروف المناسبة للتألق. في عام 2012 ، جمعت Alexnet هذه العناصر – الشبكات العصبية العاطفية ، ومجموعات البيانات الكبيرة ، ووحدات معالجة الرسومات – لأول مرة ، مع نتائج مفترسة. كل من هؤلاء يحتاجون إلى الآخر.
كيف تم إنشاء Alexnet
بحلول أواخر العقد الأول من القرن العشرين ، بدأ طلاب الدراسات العليا في هينتون في جامعة تورنتو في استخدام وحدات معالجة الرسومات لتدريب الشبكات العصبية على كل من الصورة و”https://spectrum.ieee.org/tag/speech-recognition”> التعرف على الكلام. جاءت نجاحاتهم الأولى في التعرف على الكلام ، لكن النجاح في التعرف على الصور سيشير إلى التعلم العميق كحل محتمل للأغراض العامة لمنظمة العفو الدولية. يعتقد طالب واحد ، Ilya Sutskever ، أن أداء الشبكات العصبية سيتوسع مع كمية البيانات المتاحة ، وتوصل وصول ImageNet الفرصة.
في عام 2011 ، أقنع Sutskever زميله الطالب أليكس كريزيفسكي ، الذي كان لديه قدرة حريصة على إخراج أقصى أداء من وحدات معالجة الرسومات ، لتدريب شبكة عصبية تلافيفية لـ ImageNet ، مع شركة Hinton كمحقق رئيسي.
“Add Photo Caption…”> ألكسنيت المستخدمة”https://spectrum.ieee.org/tag/nvidia”> nvidia وحدات معالجة الرسومات التي تعمل على تشغيل رمز CUDA المدربين على مجموعة بيانات ImageNet. نفيديا الرئيس التنفيذي”https://spectrum.ieee.org/tag/jensen-huang”> جنسن هوانغ تم تسمية زميل 2024 CHM لمساهماته في”https://spectrum.ieee.org/tag/computer-graphics”> رسومات الكمبيوتر الرقائق و AI. متحف ديغلاس فيربيرن/تاريخ الكمبيوتر
كان Krizhevsky قد كتب بالفعل رمز CUDA لشبكة عصبية تلافيفية باستخدام وحدات معالجة الرسومات NVIDIA ، ودعا CUDA-Convnet، تدرب على أصغر بكثير مجموعة بيانات CIFAR-10. قام بتوسيع CUDA-Convnet بدعم من معالجة وحدات معالجة الرسومات المتعددة والميزات الأخرى وأعيد تدريبها على ImageNet. تم التدريب على جهاز كمبيوتر مع بطاقتي Nvidia في غرفة نوم Krizhevsky في منزل والديه. على مدار العام المقبل ، قام باستمرار بتعديل معلمات الشبكة وأعيد تدريبها حتى حقق أداءً متفوقًا على منافسيها. في النهاية سيتم تسمية الشبكة Alexnet ، بعد Krizhevsky.”https://spectrum.ieee.org/tag/geoff-hinton”> جيف هينتون لخص مشروع Alexnet بهذه الطريقة: “اعتقدت Ilya أنه يجب علينا القيام بذلك ، جعلها أليكس تعمل ، وحصلت على جائزة نوبل“
كتب Krizhevsky و Sutskever و Hinton أ”https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf” rel=”noopener noreferrer” الهدف=”_blank”> ورقة على Alexnet تم نشر ذلك في خريف عام 2012 وقدمه Krizhevsky في أ”https://spectrum.ieee.org/tag/computer-vision”> رؤية الكمبيوتر مؤتمر في فلورنسا ،”https://spectrum.ieee.org/tag/italy”> إيطاليا، في أكتوبر. لم يكن باحثو رؤية الكمبيوتر المخضرمين مقتنعين ، لكن ليكون ، الذي كان في الاجتماع ، أعلن أنه نقطة تحول لمنظمة العفو الدولية. كان على حق. قبل Alexnet ، لم تستخدم أي من أوراق رؤية الكمبيوتر الرائدة الشباك العصبية. بعد ذلك ، كلهم تقريبا سوف.
كان Alexnet مجرد البداية. في العقد المقبل ، ستتقدم الشبكات العصبية”https://spectrum.ieee.org/forging-voices-and-faces-the-dangers-of-audio-and-video-fabrication” الهدف=”_self”> توليف الأصوات البشرية المعقولةو”https://spectrum.ieee.org/alphago-wins-game-one-against-world-go-champion” الهدف=”_self”> Beat Champion Go Players، و”https://spectrum.ieee.org/openai-dall-e-2″ الهدف=”_self”> إنشاء عمل فني، بلغت ذروتها”https://spectrum.ieee.org/tag/chatgpt”> chatgpt في نوفمبر 2022 بواسطة”https://openai.com/” rel=”noopener noreferrer” الهدف=”_blank”> Openai، شركة أسسها سوتسكفر.
إطلاق رمز مصدر Alexnet
في عام 2020 ، تواصلت مع Krizhevsky للسؤال عن إمكانية السماح لـ CHM بإصدار رمز مصدر Alexnet ، بسبب أهميته التاريخية. لقد ربطني إلى هينتون ، الذي كان يعمل في Google في ذلك الوقت. تملك Google Alexnet ، بعد أن حصلت على DNNResearch ، الشركة المملوكة لشركة Hinton و Sutskever و Krizhevsky. حصل Hinton على الكرة من خلال توصيل CHM بالفريق المناسب في Google. عملت CHM مع فريق Google لمدة خمس سنوات للتفاوض على الإصدار. ساعدنا الفريق أيضًا في تحديد النسخة المحددة من رمز مصدر Alexnet لإصدارها – كانت هناك العديد من إصدارات Alexnet على مر السنين. هناك مستودعات أخرى من الكود تسمى Alexnet ON”https://spectrum.ieee.org/tag/github”> github، لكن العديد من هذه الإبداع بناءً على الورقة الشهيرة ، وليس الرمز الأصلي.
تفخر CHM بتقديم الكود المصدر إلى إصدار Alexnet لعام 2012 ، والذي حول مجال الذكاء الاصطناعي. يمكنك الوصول إلى الرمز المصدر على”https://github.com/computerhistory/AlexNet-Source-Code” rel=”noopener noreferrer” الهدف=”_blank”> صفحة Github من CHM.
هذا المنشور في الأصل ظهر على”https://computerhistory.org/blog/chm-releases-alexnet-source-code/” الهدف=”_blank”> مدونة متحف تاريخ الكمبيوتر.
شكر وتقدير
شكر خاص لجيفري هينتون لتقديمه اقتباسه ومراجعة النص ، إلى كادي ميتز وأليكس كريزيفسكي على توضيحات إضافية ، ولديفيد بيبر وبقية الفريق في Google لعملهما في تأمين إصدار رمز المصدر.