نماذج اللغات الصغيرة: Apple وMicrosoft Debut LLM Alternative
انخرطت شركات التكنولوجيا في سباق لبناء أكبر نماذج اللغات الكبيرة (LLMs). في أبريل، على سبيل المثال، أعلنت شركة ميتا عن نموذج Llama 3 الذي يحتوي على 400 مليار معلمة، والذي يحتوي على ضعف عدد المعلمات – أو المتغيرات التي تحدد كيفية استجابة النموذج للاستعلامات – مقارنة بنموذج ChatGPT الأصلي لشركة OpenAI اعتبارًا من عام 2022. وعلى الرغم من عدم تأكيده، إلا أن GPT- من المقدر أن يحتوي الشكل 4 على حوالي 1.8 تريليون معلمة.
ومع ذلك، في الأشهر القليلة الماضية، قدمت بعض أكبر شركات التكنولوجيا، بما في ذلك أبل ومايكروسوفت، نماذج لغة صغيرة (SLMs). تمثل هذه النماذج جزءًا صغيرًا من حجم نظيراتها من LLM، ومع ذلك، في العديد من المعايير، يمكنها مطابقتها أو حتى التفوق عليها في إنشاء النص.
في 10 يونيو، في مؤتمر مطوري Apple العالمي، أعلنت الشركة عن نماذج “Apple Intelligence”، التي تحتوي على حوالي 3 مليار معلمة. وفي أواخر أبريل، أصدرت مايكروسوفت عائلة Phi-3 من SLMs، والتي تضم نماذج تحتوي على ما بين 3.8 مليار إلى 14 مليار معلمة.
يعتقد سام ألتمان، الرئيس التنفيذي لشركة OpenAI، أننا وصلنا إلى نهاية عصر النماذج العملاقة.
في سلسلة من الاختبارات، تنافس أصغر نماذج سلسلة Microsoft، Phi-3-mini، مع OpenAI’s GPT-3.5 (175 مليار معلمة)، والذي يشغل الإصدار المجاني من ChatGPT، وتفوق على Gemma من Google (7 مليار معلمة). قامت الاختبارات بتقييم مدى فهم النموذج للغة من خلال طرح أسئلة حول الرياضيات والفلسفة والقانون والمزيد. والأمر الأكثر إثارة للاهتمام هو أن جهاز Phi-3 الصغير من Microsoft، والذي يحتوي على 7 مليار معلمة، كان أفضل بشكل ملحوظ من GPT-3.5 في العديد من هذه المعايير.
لم يكن آرون مولر، الذي يبحث في نماذج اللغة في جامعة نورث إيسترن في بوسطن، متفاجئًا من قدرة طلاب إدارة التعلم المستمر على التنافس مع طلاب ماجستير اللغة في وظائف محددة. ويقول إن السبب في ذلك هو أن زيادة عدد المعلمات ليس الطريقة الوحيدة لتحسين أداء النموذج: فتدريبه على بيانات عالية الجودة يمكن أن يؤدي إلى نتائج مماثلة أيضًا.
يقول مولر إن نماذج Phi الخاصة بشركة Microsoft قد تم تدريبها على بيانات “ذات جودة الكتب المدرسية” المضبوطة بدقة، والتي تتميز بأسلوب أكثر اتساقًا يسهل التعلم منه مقارنة بالنصوص شديدة التنوع عبر الإنترنت التي يعتمد عليها عادةً حاملو ماجستير إدارة الأعمال. وعلى نحو مماثل، قامت شركة آبل بتدريب أنظمة إدارة الأراضي (SLM) الخاصة بها حصريًا على مجموعات بيانات أكثر ثراءً وتعقيدًا.
يأتي صعود SLMs في وقت تضيق فيه فجوة الأداء بين LLMs بسرعة وتتطلع شركات التكنولوجيا إلى الانحراف عن قوانين القياس القياسية واستكشاف سبل أخرى لترقية الأداء. وفي حدث أقيم في أبريل، قال سام ألتمان، الرئيس التنفيذي لشركة OpenAI، إنه يعتقد أننا في نهاية عصر النماذج العملاقة. “سوف نجعلهم أفضل بطرق أخرى.”
نظرًا لأن SLMs لا تستهلك نفس القدر من الطاقة تقريبًا مثل LLMs، فيمكن أيضًا تشغيلها محليًا على أجهزة مثل الهواتف الذكية وأجهزة الكمبيوتر المحمولة (بدلاً من تشغيلها في السحابة) للحفاظ على خصوصية البيانات وتخصيصها لكل شخص. في شهر مارس، طرحت شركة Google برنامج Gemini Nano على خط هواتف Pixel الذكية الخاصة بالشركة. يمكن لـ SLM تلخيص التسجيلات الصوتية وإنتاج ردود ذكية على المحادثات دون الاتصال بالإنترنت. ومن المتوقع أن تحذو شركة أبل حذوها في وقت لاحق من هذا العام.
والأهم من ذلك هو أن إدارة التعلم المستدامة يمكنها إضفاء الطابع الديمقراطي على الوصول إلى نماذج اللغة، كما يقول مولر. حتى الآن، تركز تطوير الذكاء الاصطناعي في أيدي اثنتين من الشركات الكبرى القادرة على تحمل تكاليف نشر البنية التحتية المتطورة، في حين اضطرت عمليات ومختبرات أخرى أصغر إلى ترخيصها مقابل رسوم باهظة.
نظرًا لأنه يمكن تدريب SLMs بسهولة على أجهزة ذات أسعار معقولة، كما يقول مولر، فهي في متناول أولئك الذين لديهم موارد متواضعة ومع ذلك لا تزال قادرة بما يكفي لتطبيقات محددة.
بالإضافة إلى ذلك، في حين يتفق الباحثون على أنه لا يزال هناك الكثير من العمل الذي ينتظرنا للتغلب على الهلوسة، فإن إدارة SLM المنسقة بعناية تقربهم خطوة نحو بناء ذكاء اصطناعي مسؤول وقابل للتفسير أيضًا، مما قد يسمح للباحثين بتصحيح مشكلات محددة في LLM وإصلاحها من المصدر. .
بالنسبة للباحثين مثل أليكس وارستادت، الباحث في علوم الكمبيوتر في المعهد التقني الفدرالي العالي بزيورخ، يمكن أن تقدم أساليب التعلم المستمر (SLM) أيضًا رؤى جديدة ورائعة حول سؤال علمي طويل الأمد: كيف يكتسب الأطفال لغتهم الأولى. تنظم وارستادت، جنبًا إلى جنب مع مجموعة من الباحثين، بما في ذلك مولر من جامعة نورث إيسترن، برنامج BabyLM، وهو تحدٍ يقوم فيه المشاركون بتحسين التدريب على النماذج اللغوية باستخدام البيانات الصغيرة.
لا تستطيع تقنيات SLM أن تكشف أسرارًا جديدة للإدراك البشري فحسب، بل إنها تساعد أيضًا في تحسين الذكاء الاصطناعي التوليدي. بحلول الوقت الذي يبلغ فيه الطفل 13 عامًا، يكون قد تعرض لحوالي 100 مليون كلمة وهو أفضل من روبوتات الدردشة في اللغة، مع إمكانية الوصول إلى 0.01 بالمائة فقط من البيانات. في حين لا أحد يعرف ما الذي يجعل البشر أكثر كفاءة، يقول وارستادت، “إن الهندسة العكسية الفعالة للتعلم الشبيه بالإنسان على نطاقات صغيرة يمكن أن تؤدي إلى تحسينات هائلة عند توسيع نطاقها إلى مقاييس ماجستير إدارة الأعمال”.
من مقالات موقعك
مقالات ذات صلة حول الويب
