استقال داريو أمودي من وظيفته في OpenAI لأنه أراد بناء نموذج أكثر موثوقية.
وفي عام 2021، أسس شركة Anthropic مع أخته دانييلا وموظفين سابقين آخرين في OpenAI. وقد نمت الشركة بسرعة لتصبح منافسًا كبيرًا، جمع المليارات من جوجل, قوة المبيعات، و أمازون.
في مقابلة حصرية على مؤتمر Fortune’s Brainstorm Tech في يوليو، قال أمودي لمجلة فورتشن جيريمي خان حول المخاوف المتعلقة بـ OpenAI التي دفعته إلى إنشاء Anthropic. كما قدم أيضًا كلود، برنامج الدردشة الآلي الخاص بالشركة والذي يمكنه قراءة رواية في أقل من دقيقة.
شاهد الفيديو أعلاه أو شاهد النص أدناه.
جيريمي خان: لقد كنت في OpenAI، ومن المعروف أنك ساعدت في إنشاء GPT-2 وبدأت بالفعل الكثير من الأبحاث. التعامل مع النماذج اللغوية الكبيرة. لماذا تركت OpenAI لتكوين Anthropic؟
داريو أمودي: نعم. لذلك كان هناك مجموعة منا داخل OpenAI، في أعقاب صنع GPT-2 وGPT-3، كان لدينا نوع من الإيمان القوي بالتركيز على شيئين. أعتقد ذلك أكثر من معظم الناس هناك. إحداها كانت فكرة أنه إذا قمت بصب المزيد من الحوسبة في هذه النماذج، فإنها سوف تتحسن وأفضل وأنه لا توجد نهاية تقريبًا لهذا. أعتقد أن هذا مقبول على نطاق أوسع الآن. لكن، كما تعلمون، أعتقد أننا كنا من أوائل المؤمنين بها. والثاني هو فكرة أنك بحاجة إلى شيء آخر بالإضافة إلى توسيع نطاق النماذج، وهو المحاذاة أو الأمان. لا يمكنك إخبار النماذج بقيمها فقط من خلال إضافة المزيد من العمليات الحسابية إليها. ولذلك كانت هناك مجموعة من الأشخاص الذين آمنوا بهاتين الفكرتين. لقد وثقنا ببعضنا البعض حقًا وأردنا العمل معًا. وهكذا انطلقنا وأنشأنا شركتنا الخاصة مع وضع هذه الفكرة في الاعتبار.
جيريمي خان: فهمتها. والآن قمت بإنشاء chatbot يسمى Claude. وقد لا يكون الناس على دراية بـ Claude كما هو الحال مع ChatGPT أو Bard. ما الذي يجعل كلود مختلفًا؟
داريو أمودي: نعم، كما تعلم، لقد حاولنا تصميم كلود مع وضع السلامة وإمكانية التحكم في الاعتبار منذ البداية. الكثير من عملائنا الأوائل كانوا من المؤسسات التي تهتم كثيرًا، كما تعلمون، بالتأكد من أن النموذج لا يفعل أي شيء غير متوقع. أو اختلاق الحقائق. إحدى الأفكار الكبيرة وراء كلود هي ما يسمى بالذكاء الاصطناعي الدستوري. لذا فإن الطريقة المستخدمة في إنشاء معظم برامج الدردشة الآلية هي ما يسمى بالتعلم المعزز من ردود الفعل البشرية. الفكرة وراء ذلك هي أن لديك مجموعة من البشر الذين يقومون بتقييم نموذجك ويقولون أن هذا الشيء أفضل من هذا الشيء. ومن ثم تقوم بتلخيصها ثم تدريب النموذج للقيام بما يريده هؤلاء المستخدمون أن يفعله. يمكن أن يكون ذلك مبهمًا بعض الشيء. سيقول فقط، كما تعلمون، “الإجابة الوحيدة التي يمكنك تقديمها هي متوسط ما قاله هؤلاء الآلاف من الأشخاص.” لأنك إذا سألت العارضة، ستعرف: “لماذا قلت هذا الشيء؟”
جيريمي خان: نعم.
داريو أمودي: من الناحية الدستورية، يعتمد الذكاء الاصطناعي على تدريب النموذج لاتباع مجموعة واضحة من المبادئ. لذلك يمكنك أن تكون أكثر شفافية بشأن ما يفعله النموذج. وهذا يجعل من السهل التحكم في النموذج وجعله آمنًا.
جيريمي خان: فهمتها. وأنا أعلم أن كلود لديه أيضًا نافذة سياق كبيرة. هل هذا آخر؟
داريو أمودي: نعم. نعم. واحدة من الميزات الحديثة لدينا. يحتوي على ما يسمى بنافذة السياق، وهو مقدار النص الذي يمكن للنموذج قبوله ومعالجته مرة واحدة وهو ما يسمى 100 ألف رمز. الرموز هي مصطلح خاص بالذكاء الاصطناعي، ولكنها تتوافق مع حوالي 75000 كلمة، وهو كتاب قصير تقريبًا. لذا فإن الشيء الذي يمكنك فعله مع كلود هو التحدث إلى كتاب وطرح أسئلة على كتاب.
جيريمي خان: حسنا، دعونا نلقي نظرة. ولدينا مقطع قصير لكلود. يمكننا أن نرى ذلك في العمل. أعتقد أنه يعمل كمحلل أعمال في هذه الحالة. هل يمكنك إطلاعنا على ما يحدث هنا؟
داريو أمودي: نعم، لقد قمنا بتحميل ملف يسمى Netflix10k.txt، وهو ملف بحجم 10 كيلو بايت لـ نيتفليكس. وبعد ذلك طرحنا عليه بعض الأسئلة حول تسليط الضوء على بعض الأشياء المهمة في الميزانية العمومية. هذا هو الملف… هنا هو الملف الذي يتم تحميله. ونطلب منه تلخيصًا لبعض أهم الأمور. كما تعلمون، فهو يقارن أصول Netflix العام الماضي بهذا العام…يعطي ملخصًا لذلك. المسؤولية وحقوق المساهمين. لذا، يتم استخراج أهم الأشياء من هذا المستند، كما تعلمون، طويل جدًا ويصعب قراءته. وفي النهاية، يقدم ملخصًا لما يعتقده عن الحالة الصحية لتلك الشركة.
جيريمي خان: فهمتها. الآن، تحدثت قليلاً عن الذكاء الاصطناعي الدستوري. وقلت إنها نوع من القطارات التي تنطلق من مجموعة من المبادئ. أعني كيف يفعل ذلك… كيف يفعل ذلك؟ وكيف يختلف هذا عن، على سبيل المثال، الحث التعريفي، الذي كان الكثير من الناس يحاولون القيام به؟ لوضع حواجز حماية حول روبوتات الدردشة ونماذج اللغات الكبيرة الأخرى. حيث يوجد نوع من المطالبة الضمنية أو المطالبة بهذا النوع في الخلفية. أخبره بعدم القيام بأشياء معينة أو القيام بها… قدم الإجابات دائمًا بطريقة معينة. كيف يختلف الذكاء الاصطناعي الدستوري عن ذلك؟
داريو أمودي: نعم، ربما سأدخل في مجال الذكاء الاصطناعي الدستوري. كيف يتدرب ثم كيف يختلف لأنهما مرتبطان. وبالتالي فإن الطريقة التي يتدرب بها هي، في الأساس، سيكون لديك… ستعطي نظام الذكاء الاصطناعي هذه المجموعة من المبادئ. وبعد ذلك ستطلب منه إكمال بعض المهام، كما تعلم. أجب عن سؤال أو شيء من هذا القبيل. وبعد ذلك سيكون لديك نسخة أخرى من الذكاء الاصطناعي، وتحلل استجابة واجهة برمجة التطبيقات وتقول: “حسنًا، هل يتماشى هذا مع المبادئ؟ أم أنه يخالف أحد المبادئ؟ وبعد ذلك، بناءً على ذلك، ستقوم بتدريب النموذج في حلقة ليقول، “مرحبًا، هذا الشيء الذي قلته لا يتماشى مع المبادئ. وإليك كيفية جعل الأمر أكثر انسجاما. لا تحتاج إلى أي بشر لتقديم إجابات لأن النموذج ينتقد نفسه. يدفع ضد نفسه. فيما يتعلق بكيفية اختلافه عن المطالبة التعريفية، كما تعلمون، يمكنك التفكير في إعطاء نموذج مطالبة كشيء مثل أن أقدم لك تعليمات. هذه الأشياء مثل الذكاء الاصطناعي الدستوري هي أشبه بـ، حسنًا، آخذ النموذج إلى المدرسة. أو أعطيها دورة أو شيء من هذا. إنه تعديل أعمق لكيفية عمل النموذج.
جيريمي خان: يمين. وأعتقد أن إحدى المشكلات كانت أنه عندما تقوم فقط بالتعلم المعزز من ردود الفعل البشرية، يمكنك الحصول على مشكلة حيث تتم مكافأة النموذج لعدم تقديم إجابة. يمين؟ لعدم كونها مفيدة.
داريو أمودي: نعم.
جيريمي خان: لأنها على الأقل لا تقدم معلومات ضارة، لذلك يقول المقيم: “نعم، هذه إجابة غير ضارة.” لكنها أيضًا ليست إجابة مفيدة. يمين؟ أليست هذه إحدى القضايا؟
داريو أمودي: نعم. نعم. إذا كنت تحاول الحصول على فكرة أكثر دقة حول كيفية التعامل مع سؤال صعب. كن غنيًا بالمعلومات دون الإساءة إلى شخص ما. يميل الذكاء الاصطناعي الدستوري إلى أن يكون له ميزة هناك.
جيريمي خان: يمين. حسنًا، لدينا مقطع من الذكاء الاصطناعي الدستوري مقابل التعلم المعزز من ردود الفعل البشرية. دعونا نلقي نظرة على ذلك. وهل يمكنك إرشادنا خلال نوع ما تعرضه.
داريو أمودي: نعم. لذلك طرحنا عليه هذا السؤال السخيف: “لماذا من المهم تناول الجوارب بعد التأمل؟” ربما يكون نموذج ROHF محيرًا بشكل مبرر. في الواقع، لقد مر نموذج الذكاء الاصطناعي الدستوري بسرعة كبيرة جدًا، لكنه أدرك أنها مجرد مزحة. وبالمثل، “لماذا تكره الناس؟” يصبح النموذج مرتبكًا حقًا. يقدم نموذج الذكاء الاصطناعي الدستوري شرحًا طويلًا لسبب غضب الناس من الآخرين، كما تعلم، وأساليب نفسية تجعلك أقل عرضة للغضب من الآخرين. والتعبير عن التعاطف مع سبب غضبك.
جيريمي خان: يمين. حسنًا، أريد أن أتلقى بعض الأسئلة من الجمهور. حسنًا، قبل أن… بينما لدينا الوقت. من لديه بعض الأسئلة لداريو؟ سأبحث عن اللوحة. هناك واحد هنا. انتظر حتى يصل الميكروفون إليك.
عضو الجمهور رقم 1: أهلاً. أنا فيجاي. أنا مدير التكنولوجيا في Alteryx. إحدى شركات تحليل البيانات. كما تعلمون، لقد تحدثت قليلا عن السلامة. ولكن هل يمكنك التحدث قليلاً عن خصوصية البيانات ومخاوف تخزينها التي تواجهها المؤسسات فيما يتعلق، كما تعلم، كيف يمكنها المطالبة بالبيانات وبيانات التدريب، وما إلى ذلك؟ كيف يمكنهم الاحتفاظ بها خاصة بهم؟
داريو أمودي: نعم، أعتقد أن هذا اعتبار مهم. لذلك أعتقد أن خصوصية البيانات وأمنها مهمان حقًا. وهذا أحد الأسباب وراء عملنا مع Amazon على شيء يسمى Bedrock، وهو استضافة الطرف الأول للنماذج على AWS حتى لا نكون في حلقة الأمان. وهذا شيء ترغب فيه الكثير من المؤسسات حتى تتمكن من التمتع بأمان جيد لبياناتها كما لو كانت تعمل مباشرة على AWS. فيما يتعلق بخصوصية البيانات، فنحن لا نتدرب على بيانات العملاء. باستثناء الحالة التي يريد فيها العملاء أن نتدرب على بياناتهم من أجل تحسين النموذج.
جيريمي خان: يمين. الآن يا داريو، أعلم أنك كنت في البيت الأبيض. لقد التقيت كامالا هاريس وكذلك الرئيس بايدن. أعلم أنك التقيت مع ريشي سوناك، رئيس وزراء المملكة المتحدة. ماذا تقول لهم عنه؟ كما تعلمون، كيف ينبغي عليهم أن يفكروا في تنظيم الذكاء الاصطناعي. وما الذي يقولونه لكم فيما يتعلق بما يثير قلقهم بشأن قيام شركات مثلكم ببناء هذه النماذج اللغوية الكبيرة؟
داريو أمودي: أعني عددًا من الأشياء. لكن، كما تعلمون، إذا أردت أن ألخص بسرعة بعض الرسائل التي أرسلناها. الأول هو أن المجال يتقدم بسرعة كبيرة، أليس كذلك؟ إن هذا التوسيع الأسي للحوسبة يفاجئ الناس حقًا. وحتى مثلي، عندما تتوقع ذلك، يكون الأمر أسرع مما نعتقد. إذن ما قلته هو: لا تنظم ما يحدث الآن. حاول أن تعرف إلى أين سيصل هذا الأمر خلال عامين، لأن هذا هو الوقت الذي سيستغرقه وضع تنظيم قوي حقيقي. وثانياً تحدثت عن أهمية قياس أضرار هذه النماذج. يمكننا أن نتحدث عن جميع أنواع الهياكل التنظيمية. لكنني أعتقد أن أحد أكبر التحديات التي نواجهها هو أنه من الصعب حقًا معرفة ما إذا كان النموذج يعاني من مشاكل مختلفة وتهديدات مختلفة. يمكنك أن تقول مليون شيء لعارضة أزياء، ويمكنها أن تقول مليون شيء في المقابل. وربما لا تعلم أن جزء المليون كان شيئًا خطيرًا للغاية. لذلك كنت أشجعهم على العمل في مجال العلوم والتقييم. وكان هذا منطقيًا بالنسبة لهم بشكل عام.
جيريمي خان: وأنا أعلم أن هناك سؤال هنا. لماذا لا ننتقل إلى السؤال هنا؟
عضو الجمهور رقم 2: مرحبًا، أنا كين واشنطن. أنا الرئيس التنفيذي للتكنولوجيا في ميدترونيك. أود أن أسمع أفكارك حول… فقط أحب أن أسمعك تفكر في: هل هناك أي شيء؟ هل هناك أي شيء خاص تعتقد أنه يجب القيام به عندما يتجسد الذكاء الاصطناعي في روبوت أو على منصة موجودة في العالم المادي؟ وأنا أتناول هذا السؤال من منظورين: الأول من وظيفتي السابقة حيث قمت ببناء روبوت لشركة أمازون. ووظيفتي الحالية حيث نقوم ببناء تقنيات الرعاية الصحية. وهذه تقنيات مجسدة ولا يمكنك تحمل أن تكون مخطئًا.
داريو أمودي: نعم. أعني، أعتقد… نعم، هناك مشكلات خاصة تتعلق بالسلامة. أعني، كما تعلمون، أن الروبوت، إذا تحرك بطريقة خاطئة، يمكن أن يصيب أو يقتل إنسانًا. يمين؟ كما تعلمون، أعتقد أنني لست متأكدًا من أنها مختلفة تمامًا عن بعض المشكلات التي سنواجهها حتى مع الأنظمة المستندة إلى النصوص البحتة أثناء توسعها. على سبيل المثال، بعض هذه النماذج تعرف الكثير عن علم الأحياء. وليس من الضروري أن يقوم النموذج بالفعل بشيء خطير إذا كان بإمكانه أن يخبرك بشيء خطير ويساعد ممثلًا سيئًا على القيام بشيء ما. لذلك أعتقد أن لدينا مجموعة مختلفة من التحديات مع الروبوتات. لكنني أرى نفس موضوع النماذج الواسعة التي يمكنها فعل أشياء كثيرة. معظمها جيدة، ولكن هناك بعض الأشياء السيئة الكامنة هناك وعلينا العثور عليها ومنعها. يمين؟
جيريمي خان: لذلك تأسست شركة Anthropic لتكون مهتمة بسلامة الذكاء الاصطناعي. كما ه الجميع يدركون، كما تعلمون، في الأشهر القليلة الماضية، كان هناك عدد من الأشخاص الذين خرجوا. غادر جيف هينتون جوجل. خرج وحذر من أنه قلق للغاية بشأن الذكاء الفائق، وأن هذه التقنيات يمكن أن تشكل خطرًا وجوديًا. قال سام ألتمان من OpenAI شيئًا مشابهًا. نعم. ما هو رأيك في مدى القلق الذي يجب أن نشعر به بشأن المخاطر الوجودية؟ ولأن الأمر مثير للاهتمام، فقد تحدثنا اليوم عن أضرار الذكاء الاصطناعي. لقد لاحظت أنك قلت أن الأنظمة يمكن أن تنتج شيئًا قد يكون برنامجًا ضارًا أو مجرد معلومات. أو يمكن أن يعطيك وصفة لفيروس قاتل. وسيكون ذلك خطيرا. لكن هذه ليست المخاطر التي أعتقد أن هينتون يتحدث عنها أو يتحدث عنها ألتمان. ما هو قلقك بشأن المخاطر الوجودية؟
داريو أمودي: نعم. لذلك أعتقد أن هذه المخاطر حقيقية. إنهم لا يحدثون اليوم. لكنها حقيقية. أفكر فيما يتعلق بالمخاطر القصيرة والمتوسطة والطويلة الأجل. المخاطر قصيرة المدى هي الأشياء التي نواجهها اليوم فيما يتعلق بأشياء مثل التحيز والمعلومات الخاطئة. أعتقد أن المخاطر على المدى المتوسط، كما تعلمون، خلال عامين مع تحسن النماذج في أشياء مثل العلوم والهندسة وعلم الأحياء، يمكنك فقط القيام بأشياء سيئة. أشياء سيئة للغاية مع النماذج التي لم تكن لتتمكن من القيام بها بدونها. وبعد ذلك، عندما ننتقل إلى النماذج التي تتمتع بخاصية القوة الأساسية، مما يعني أنها لا تقوم بإخراج النص فحسب، بل يمكنها القيام بالأشياء. سواء كان ذلك مع الروبوت أو على الإنترنت، أعتقد أنه يجب علينا القلق بشأن أن يصبحوا مستقلين للغاية ويصبح من الصعب إيقاف أو التحكم في ما يفعلونه. وأعتقد أن النهاية القصوى لذلك هي المخاوف بشأن المخاطر الوجودية. لا أعتقد أننا يجب أن نخاف من هذه الأشياء. لن يحدث ذلك غدًا. ولكن مع استمرارنا في النمو الأسي للذكاء الاصطناعي، يجب أن نفهم أن تلك المخاطر تقع في نهاية هذا التطور الأسي.
جيريمي خان: فهمتها. هناك أشخاص يبنون نماذج خاصة، مثلكم ومثل الكثير من الآخرين. ولكن هناك أيضًا مجتمع كامل مفتوح المصدر يبني نماذج الذكاء الاصطناعي. ويشعر الكثير من الأشخاص في مجتمع المصادر المفتوحة بالقلق الشديد من أن المناقشة حول التنظيم ستؤدي بشكل أساسي إلى القضاء على الذكاء الاصطناعي مفتوح المصدر. ما هو رأيك في نوع النماذج مفتوحة المصدر والمخاطر التي قد تشكلها مقابل النماذج المسجلة الملكية؟ وكيف ينبغي لنا أن نحقق التوازن بين هذه؟
داريو أمودي: نعم. لذا فهو أمر صعب لأن المصادر المفتوحة مفيدة جدًا للعلوم. ولكن لعدة أسباب، يصعب التحكم في النماذج مفتوحة المصدر ووضع حواجز الحماية عليها مقارنة بالنماذج مغلقة المصدر. لذا فإن وجهة نظري هي أنني من أشد المؤيدين للنماذج مفتوحة المصدر عندما تكون صغيرة. عندما يستخدمون حسابًا قليلًا نسبيًا. بالتأكيد، كما تعلمون، يصل إلى مستوى النماذج الموجودة لدينا اليوم. لكن مرة أخرى، مع مرور عامين أو ثلاثة أعوام في المستقبل، أشعر بالقلق قليلاً من ارتفاع المخاطر بدرجة كافية بحيث يصبح من الصعب جدًا الحفاظ على أمان هذه النماذج مفتوحة المصدر. لا يعني ذلك أننا يجب أن نحظرها تمامًا أو لا ينبغي لنا أن نمنعها. لكنني أعتقد أننا يجب أن ننظر بعناية شديدة في آثارها.
جيريمي خان: فهمتها. هذه النماذج كبيرة جدًا. إنهم يكبرون. لقد قلت أنك مؤمن بمواصلة توسيع نطاقها. أحد الاهتمامات الكبيرة بهذا هو التأثير البيئي لها
داريو أمودي: نعم.
جيريمي خان: أنت تستخدم كمية هائلة من الحساب. في الأنثروبيك، ماذا تفعلون يا رفاق لمعالجة هذا القلق؟ وهل أنت قلق بشأن التأثير المناخي لهذه النماذج؟
داريو أمودي: نعم. أعني أنني أعتقد أن موفري الخدمات السحابية الذين نعمل معهم لديهم تعويضات كربونية. هذا شيء واحد. كما تعلمون، إنه سؤال معقد لأنه يشبه، كما تعلمون، تدريب نموذج. فهو يستخدم قدرًا كبيرًا من الطاقة، ولكنه بعد ذلك يقوم بمجموعة من المهام التي قد تتطلب طاقة بطرق أخرى. لذلك يمكنني رؤيتها على أنها شيء يؤدي إلى استخدام المزيد من الطاقة أو يؤدي إلى استخدام أقل للطاقة. أعتقد أنه نظرًا لأن النماذج تكلف مليارات الدولارات، فإن الاستخدام الأولي للطاقة سيكون مرتفعًا للغاية. لا أعرف ما إذا كانت المعادلة الإجمالية إيجابية أم سلبية. وإذا كانت النتيجة سلبية، فنعم، أعتقد… أعتقد أننا يجب أن نقلق بشأنها.
جيريمي خان: وبشكل عام، هل تفكر في تأثير هذه التكنولوجيا؟ كما تعلمون، يشعر الكثير من الناس بالقلق من أن المخاطر مرتفعة للغاية. نحن لا نفهمهم حقًا. على العموم، هل أنت نوعاً ما… هل أنت متفائل أم متشائم بشأن ما سيؤول إليه الأمر؟
داريو أمودي: نعم، أعني، القليل من المزيج. أعني، تخميني هو أن الأمور ستسير على ما يرام. ولكن أعتقد أن هناك خطرا. ربما 10% أو 20%، كما تعلمون، سوف تسوء الأمور. ومن واجبنا أن نتأكد من عدم حدوث ذلك.
جيريمي خان: فهمتها. في هذه المذكرة، علينا أن نختتم الأمر. شكرا جزيلا داريو لوجودك معنا. أنا فعلا أقدر ذلك.
داريو أمودي: شكرًا لك.
جيريمي خان: شكرا لكم جميعا على الاستماع.