قام الباحثون بإعادة إنشاء تقنية Deepseek الأساسية مقابل 30 دولارًا فقط
تقول مجموعة من الباحثين في جامعة كاليفورنيا ، بيركلي ، إنهم أعادوا التكنولوجيا الأساسية الموجودة في ديبسيك الثورية في الصين مقابل 30 دولارًا فقط. هذا الترفيه الرخيص للغاية هو مؤشر آخر على أنه على الرغم من أن النماذج من الشركات الكبيرة كانت مثيرة للإعجاب ، فقد تكون هناك طرق أكثر تكلفة لبناءها.
بقيادة الدكتوراه المرشح Jiayi Pan ، قام الفريق بتكرار قدرات التعلم التعليمية لـ Deepseek R1-Zero باستخدام نموذج لغة صغير مع 3 مليارات فقط. على الرغم من حجمها المتواضع نسبيًا ، أظهرت الذكاء الاصطناعي قدرة على التحسين الذاتي وقدرات البحث ، فإن الميزات الرئيسية التي تسمح لها بتحسين استجاباتها بشكل تكراري.
لاختبار Deepseek Recreation ، استخدم فريق Berkeley لعبة العد التنازلي ، وهو لغز رقمي يعتمد على عرض اللعبة البريطانية حيث يجب على اللاعبين استخدام الحساب للوصول إلى رقم مستهدف. في البداية ، أنتج النموذج تخمينات عشوائية ، ولكن من خلال التعلم التعزيز ، قام بتطوير تقنيات لتصحيح الذات وحل المشكلات التكرارية.
في النهاية ، تعلمت مراجعة إجاباتها حتى وصلت إلى الحل الصحيح. لقد جربوا أيضًا الضرب ، حيث انهار الذكاء الاصطناعى المعادلات باستخدام خاصية التوزيع ، مثل البشر قد يحل عقلياً مشاكل الضرب الكبيرة. أظهر هذا قدرة النموذج على تكييف استراتيجيته بناءً على المشكلة.
الأمر المثير للإعجاب بشكل خاص هو أن الترفيه بأكمله كلفهم 30 دولارًا فقط ، كما يدعي PAN في منشور على Nitter. هذا جزء محير للعقل مما تنفقه شركات AI الرائدة على التدريب على نطاق واسع. اختبر الباحثون أحجامًا متعددة لأحجام النماذج ، بدءًا من نموذج 500 مليون معلم يمكن أن يخمن ويتوقف فقط ، بغض النظر عن الدقة.
عندما يتم تحجيمها إلى 1.5 مليار معلمة ، بدأ الترفيه Deepseek في دمج تقنيات المراجعة. أظهرت النماذج بين 3 و 7 مليارات من المعلمات تحسنا كبيرا ، وحل المشكلات في خطوات أقل بدقة أفضل ، PAN والباحثين الآخرين.
بالنسبة لبعض السياق ، يتقاضى Openai 15 دولارًا لكل مليون رموز عبر واجهة برمجة التطبيقات الخاصة به في وقت كتابة هذا التقرير ، في حين يوفر Deepseek تكلفة أقل بكثير من 0.55 دولار لكل مليون رموز. تشير النتائج التي توصل إليها فريق بيركلي إلى أنه يمكن تطوير نماذج منظمة العفو الدولية ذات القدرة عالية لجزء بسيط من التكلفة التي استثمرت حاليًا من قبل شركات الذكاء الاصطناعى. على الرغم من رخيصة ذلك ، هناك العديد من الأسباب التي يجب أن تجنبها على الأرجح.
أحد الأسباب هو أن بعض الخبراء متشككين حول القدرة على تحمل التكاليف المدعوم من ديبسيك. أثارت ناثان لامبرت باحث منظمة العفو الدولية مخاوف بشأن ما إذا كانت تكلفة تدريب ديبسيك التي تبلغ قيمتها 5 ملايين دولار لنموذجها البالغ 671 مليار معرمي يعكس بدقة الصورة الكاملة. يرسل الذكاء الاصطناعى أيضًا الكثير من البيانات إلى الصين ، وهو بالتأكيد سبب للقلق ويؤدي بالفعل إلى حظر Deepseek في جميع أنحاء الولايات المتحدة
في الواقع ، يقدر Lambert أن النفقات التشغيلية السنوية لـ Deepseek AI قد تتراوح بين 500 مليون دولار وأكثر من مليار دولار ، مع الأخذ في الاعتبار كل شيء بدءًا من البنية التحتية واستهلاك الطاقة وموظفي الأبحاث. Openai يدعي أيضا هناك أدلة تم تدريب Deepseek باستخدام chatgpt ، والتي يمكن أن تساعد في حساب بعض COS المخفضةTS.
ومع ذلك ، فإن عمل فريق بيركلي يثبت أنه يمكن تحقيق التعلم المعزز المتطور بدون ميزانيات هائلة أن عمالقة الصناعة مثل Openai و Google و Microsoft تخصص حاليًا. مع إنفاق بعض مختبرات AI ما يصل إلى 10 مليارات دولار سنويًا على نماذج التدريب ، يسلط هذا البحث الضوء على ما يمكن أن يصبح تحولًا محتملًا في هذا المجال.
