كيف تكلف S1 50 دولارًا فقط للتطوير
أذهل Deepseek R1 العالم الأسبوع الماضي حيث أوضح مطوروها أنهم يستطيعون تدريب AI Open Open Opening AI مثل ChatGPT O1 في جزء صغير من التكلفة. فجأة ، يمكن لأي شخص إنشاء نماذج قوية من الذكاء الاصطناعي مع مزيج صحيح من ابتكارات البرامج والأجهزة اللائقة. إن بحث Deepseek يعني أن التركيز لن يكون على الأجهزة الراقية بعد الآن ، وأن هذه الدبابات تحصل على أسهم تقنية AI مثل Nvidia.
كما نعلم الآن ، هذا ليس هو الحال بالضبط. إن ابتكارات برامج Deepseek ، مثيرة للاهتمام كما قد تكون ، لا تروي القصة بأكملها. في الأيام التالية لإصدار R1 ، علمنا أن Deepseek ربما استخدمت إجابات ChatGpt لتدريب الذكاء الاصطناعي. اتهم Openai الشركة الصينية بتقطير نماذج ChatGpt نفسها. بشكل منفصل ، رأينا أدلة غير مباشرة تشير إلى أن Deepseek تعتمد بالفعل على المخرجات من ChatGPT.
هذا يشير إلى أن DeepSeek تحايل على تكاليف التطوير من خلال الانسحاب من AIS المنافس التي تم تأسيسها بالفعل. مع تشكيل الصورة الكاملة ، استعاد سوق الأوراق المالية معظم خسائره.
أنا أخبرك بكل هذا لأنني على وشك أن أريكم تجربة تنفجر بنفس القدر. قام الباحثون في جامعة ستانفورد وجامعة واشنطن بتدريب AI الذي يسمى S1 وهو أمر جيد مثل Chatgpt O1. لقد فعلوا ذلك مقابل 50 دولارًا فقط في تكاليف حساب باستخدام نفس Deepseek Twist. قاموا بتقطير نسخة من الجوزاء واستخدموا الذكاء الاصطناعي مفتوح المصدر من الصين.
تشرح ورقة البحث S1 كيف كان الأمر ممكنًا ، وقبل أن تسأل ، لا ، لن يضع هذا سوق الأوراق المالية مرة أخرى. هذا هو ، لا ينبغي أن تفعل ذلك. الهدف من هذا البحث هو إظهار أنه قد يكون من الأرخص لتدريب AIS المتطورة باستخدام ابتكارات برامج جديدة ، ولكن فقط بعد قام شخص ما بتطوير AIS الحدود المتطورة التي يمكن استخدامها للتقطير.
ذهب الباحثون إلى Google لاستخدام Gemini 2.0 Flash Thinking التجريبي ، وهو منظمة العفو الدولية المنشأة بالفعل ، لإنشاء مجموعة من 1000 سؤال عدل عالي الجودة. ثم تم استخدام خطوات التفكير والاستجابات لتدريب نموذج S1-32B ، والذي كان يعتمد على نموذج Qwen مفتوح المصدر من العملاق الصيني Alibaba.
احتاج الباحثون إلى أقل من 30 دقيقة لتدريب S1 باستخدام البيانات المقطوعة الجوزاء (1000 مطالبة). بعد ذلك ، كان S1 يعرض بالفعل درجات عالية في معايير الذكاء الاصطناعي. لقد تفوق النموذج فعليًا على O1-Preview بنسبة 27 ٪ على مهام الرياضيات في المنافسة.
أخبر مهندس ستانفورد TechCrunch يمكنه استئجار حساب ضروري اليوم مقابل حوالي 20 دولارًا.
ابتكر الباحثون العديد من الابتكارات الأخرى لتدريب نموذج التفكير S1 لمطابقة قدرات ChatGPT O1. ركزوا على تخصيص المزيد من حساب النموذج أثناء الاستدلال أو عندما تقوم الذكاء الاصطناعي بصياغة ردها.
من المهم أيضًا استخدام رمز “انتظار” خلال جزء التفكير ، مما يساعد S1 على الوصول إلى استنتاج أكثر دقة. يمكن لقتلة “الانتظار” تحسين الاستجابات وزيادة التكاليف.
من غير المرجح أن تصنع ورقة S1 العديد من الأمواج كما فعل Deepseek R1 ، ولكن من المهم بنفس القدر. هذا يفتح الباب أمام موجة جديدة من نماذج الذكاء الاصطناعى التي يمكن أن تكون قوية مثل أمثال ChatGpt و Gemini و Deepseek وغيرها دون تكلفة الكثير.
على الرغم من أن التكلفة مضللة لأن النموذج يستخدم تقطير من الذكاء الاصطناعى الأكثر تقدماً ، إلا أنه لا يزال بمثابة اختراق مهم قد تستفيد منه شركات الذكاء الاصطناعى الأخرى.
قلت الأسبوع الماضي أن Deepseek R1 يمكن أن تقدم أفكار Apple حول كيفية جعل شركة Apple Intelligence أكثر قوة مع بقاء المعالجة على الجهاز. يمكن أن تكون تقنية S1 مهمة بنفس القدر.
لكنني سأقول مرة أخرى أن اختراقات الذكاء الاصطناعي مثل R1 و S1 يجب ألا تمنع أفضل شركات الذكاء الاصطناعى المتنافسة من استثمار المزيد من الأموال في حساب.
ستكون هناك حاجة إلى أجهزة متطورة لإنشاء نماذج منظمة العفو الدولية الكبيرة التالية على الطريق إلى AGI. ستستمر Openai و Google وجميع الأسماء الكبيرة في AI Tech في التوصل إلى نماذج أفضل ستكلف ملايين الدولارات. في المقابل ، ستجد فرق الذكاء الاصطناعى الأصغر ، مثل الباحثين S1 ، طرقًا لضبط تلك AIS ، حيث يمكنهم ، للحصول على نماذج AI قوية بشكل لا يصدق لها حالات استخدام محددة في الاعتبار.
نموذج S1 متاح على Github. يمكن العثور على البحث في هذا الرابط.
