ما هي الاختلافات بين نماذج المحولات ذاتية الانحدار وغير ذاتية الانحدار؟

مرحبًا، عشاق التكنولوجيا والمطلعين على الصناعة! اليوم، سوف أتعمق في عالم نماذج المحولات وأتحدث عن الاختلافات بين نماذج المحولات ذات الانحدار الذاتي وغير الانحدار الذاتي. باعتباري أحد موردي Transformer، رأيت بنفسي كيف تشكل هذه النماذج مستقبل الذكاء الاصطناعي والتعلم الآلي. لذلك، دعونا نبدأ!

نماذج محولات الانحدار الذاتي

تعد نماذج محولات الانحدار التلقائي من أكثر النماذج شهرة في مجال الذكاء الاصطناعي. ربما تكون قد سمعت عن عمالقة مثل GPT (المحولات المولدة مسبقًا) التي تندرج ضمن هذه الفئة. الفكرة الأساسية وراء نماذج الانحدار الذاتي هي أنها تولد مخرجات رمزية واحدة في كل مرة، بناءً على الرموز المميزة التي تم إنشاؤها مسبقًا.

فكر في الأمر مثل رواية قصة بكلمة واحدة في كل مرة. كل كلمة جديدة تعتمد على كل الكلمات التي سبقتها. من الناحية الرياضية، إذا كان لدينا سلسلة من الرموز المميزة (y_1,y_2,\cdots,y_n)، فإن نموذج الانحدار الذاتي يتنبأ (y_i) مشروطًا بـ (y_1,y_2,\cdots,y_{i - 1}). لذا، (P(y_1,y_2,\cdots,y_n)=\prod_{i = 1}^{n}P(y_i|y_1,y_2,\cdots,y_{i-1})).

إحدى المزايا الكبيرة لنماذج الانحدار الذاتي هي قدرتها على إنشاء تسلسلات متماسكة وغنية بالسياق. نظرًا لأنه يتم إنشاء كل رمز مميز استنادًا إلى التاريخ الكامل للرموز المميزة السابقة، فإن الإخراج يميل إلى التدفق بشكل جيد ويكون منطقيًا في السياق المحدد. على سبيل المثال، في مهام توليد اللغة، غالبًا ما يُقرأ النص الذي تنتجه نماذج الانحدار الذاتي كما لو أنه مكتوب بواسطة إنسان.

ومع ذلك، هناك أيضا بعض العيوب. الطبيعة التسلسلية لتوليد المخرجات تعني أن نماذج الانحدار الذاتي يمكن أن تكون بطيئة جدًا، خاصة عند التعامل مع تسلسلات طويلة. يجب أن ينتظر كل رمز مميز جديد حتى يتم إنشاء الرموز السابقة، مما يؤدي إلى اختناق في عملية الإنشاء.

إذا كنت مهتمًا بالحلول المستندة إلى الانحدار التلقائي لتطبيقات معينة، فيمكنك الاطلاع علىمحول مغموروالذي يقدم أداءً موثوقًا به في مجموعة من السياقات.

نماذج المحولات غير ذاتية الانحدار

من ناحية أخرى، نماذج المحولات غير الانحدارية تتخذ نهجا مختلفا. بدلاً من إنشاء الرموز المميزة واحدة تلو الأخرى، يحاولون إنشاء تسلسل الإخراج بالكامل بالتوازي. وهذا يشبه كتابة قصة كاملة مرة واحدة بدلاً من كتابة كلمة بكلمة.

تتنبأ النماذج غير الانحدارية بشكل مباشر بجميع الرموز المميزة في تسلسل الإخراج بناءً على الإدخال. على سبيل المثال، في مهمة الترجمة الآلية، بدلاً من ترجمة الجملة كلمة بكلمة بطريقة تسلسلية، سيقوم نموذج غير انحداري تلقائي بتحليل الجملة المدخلة بأكملها ثم إخراج الجملة المترجمة كلها مرة واحدة.

الميزة الرئيسية للنماذج غير الانحدارية هي سرعتها. نظرًا لأنها تولد التسلسل بأكمله بالتوازي، فيمكن أن تكون أسرع بكثير من نماذج الانحدار الذاتي، خاصة بالنسبة للتسلسلات الطويلة. وهذا يجعلها خيارًا رائعًا للتطبيقات التي تتطلب إنشاء ملفات في الوقت الفعلي أو بسرعة عالية، مثل التسميات التوضيحية المباشرة.

لكن النماذج غير الانحدارية الذاتية تواجه أيضًا بعض التحديات. يمكن أن يكون إنشاء تسلسلات متماسكة أكثر صعوبة لأنها لا تتمتع بميزة إنشاء رمز الإخراج المميز برمز مميز، مع الأخذ في الاعتبار السياق في كل خطوة. في بعض الأحيان قد يفتقر الناتج إلى السلاسة والسياق - الوعي الذي يمكن أن تحققه نماذج الانحدار الذاتي.

بالنسبة للحلول عالية السرعة والفعالة وغير الانحدارية، فإنمحول مثبت على الوسادة من النوع الجافيعد خيارًا رائعًا لتلبية الاحتياجات الصناعية المختلفة.

الاختلافات الرئيسية في التدريب والاستدلال

عندما يتعلق الأمر بالتدريب، يتم تدريب نماذج الانحدار الذاتي لزيادة احتمالية ظهور الرمز المميز التالي في ضوء الرموز المميزة السابقة. عادةً ما تكون دالة الخسارة عبارة عن خسارة إنتروبيا متقاطعة محسوبة على جميع الرموز المميزة في التسلسل. تقوم عملية التدريب هذه بتعليم النموذج بشكل فعال التنبؤ بالرمز المميز التالي الأكثر احتمالية في كل خطوة.

ومع ذلك، غالبًا ما يتم تدريب النماذج غير الانحدارية لتقليل نوع مختلف من الخسارة، مثل مسافة التحرير أو متوسط ​​الخطأ المربع بين التسلسل المتوقع والتسلسل المستهدف. الهدف هو جعل التسلسل المتوقع بالكامل أقرب ما يمكن إلى التسلسل الصحيح في طلقة واحدة.

فيما يتعلق بالاستدلال، كما ناقشنا بالفعل، فإن نماذج الانحدار الذاتي لديها عملية استدلال تسلسلي. يبدأون من بداية تسلسل الإخراج ويقومون بإنشاء كل رمز مميز واحدًا تلو الآخر. يمكن أن تستغرق هذه العملية وقتًا طويلاً، خاصة بالنسبة للمخرجات الطويلة.

في المقابل، تقوم النماذج غير الانحدارية بإجراء الاستدلال في مسار واحد. إنهم يأخذون المدخلات ويعالجونها وينتجون مباشرة تسلسل الإخراج بأكمله. وينتج عن ذلك أوقات استدلال أسرع بكثير، طالما أن النموذج يمكنه توليد نتائج متماسكة.

الأداء في المهام المختلفة

في مهام إنشاء اللغة مثل تلخيص النص وكتابة القصة، عادةً ما يكون أداء نماذج الانحدار التلقائي أفضل من حيث جودة النص الذي تم إنشاؤه. تتيح لهم عملية الإنشاء التسلسلي الخاصة بهم بناء السياق وإنشاء نص أكثر طبيعية وتدفقًا. على سبيل المثال، عند إنشاء ملخص مقال إخباري، يمكن لنموذج الانحدار التلقائي إنشاء ملخص يمكن قراءته وكأنه نص مكتوب جيدًا.

من ناحية أخرى، تعد النماذج غير الانحدارية أكثر ملاءمة للمهام التي تكون فيها السرعة أمرًا بالغ الأهمية. في الترجمة الآلية، خاصة لترجمة المستندات الطويلة، يمكن للنماذج غير الانحدارية التلقائية أن توفر ترجمات سريعة. على الرغم من أن الترجمات قد لا تكون مصقولة مثل تلك الواردة من نماذج الانحدار الذاتي، إلا أنها لا تزال دقيقة بما يكفي للعديد من الأغراض العملية.

في التعرف على الكلام، يمكن لنماذج الانحدار الذاتي تعديل تنبؤاتها عندما "تسمع" المزيد من إشارة الكلام. وذلك لأنهم يقومون بإنشاء النسخ لكلمة واحدة في كل مرة، ويمكن أن يأخذوا في الاعتبار الكلمات السابقة. يمكن للنماذج غير ذاتية الانحدار أن تقوم بنسخ الخطاب بسرعة ولكنها قد تواجه صعوبات في الحالات التي يكون فيها السياق مهمًا جدًا.

أي واحد تختار؟

يعتمد الاختيار بين نماذج المحولات ذات الانحدار الذاتي وغير الانحدار الذاتي على احتياجاتك الخاصة. إذا أعطيت الأولوية لجودة المخرجات التي تم إنشاؤها وكان التسلسل يحتاج إلى أن يكون متماسكًا جدًا وغنيًا بالسياق، فمن المحتمل أن يكون نموذج الانحدار الذاتي هو الحل الأمثل. ومع ذلك، إذا كانت السرعة هي اهتمامك الرئيسي ويمكنك تحمل بعض التنازلات في جودة المخرجات، فقد يكون النموذج غير الانحداري التلقائي مناسبًا بشكل أفضل.

باعتبارنا أحد موردي المحولات، فإننا نقدم مجموعة واسعة من الحلول القائمة على نماذج الانحدار الذاتي وغير الانحدار الذاتي. سواء كنت تعمل في مشروع بحثي، أو تطبيق تجاري، أو مهمة صناعية، يمكننا مساعدتك في العثور على المحول المناسب الذي يناسب متطلباتك.

إذا كنت مهتمًا بمناقشة احتياجاتك الخاصة واستكشاف أفضل نماذج المحولات لمشروعك، فلا تتردد في التواصل معنا. نحن هنا لمساعدتك في جميع استفساراتك المتعلقة بـ Transformer ومساعدتك على اتخاذ القرار الأكثر استنارة. دعنا نتحدث حول كيف يمكننا دفع مشروعك للأمام باستخدام أحدث وأكبر تقنيات المحولات!

مراجع

• Vaswani، A.، Shazeer، N.، Parmar، N.، Uszkoreit، J.، Jones، L.، Gomez، AN، ... & Polosukhin، I. (2017). الاهتمام هو كل ما تحتاجه. التقدم في أنظمة معالجة المعلومات العصبية.
• غو، جيه، برادبري، جيه، شيونغ، سي، و سوشر، آر (2018). الترجمة الآلية العصبية غير الانحدارية. arXiv ما قبل الطباعة arXiv:1711.02281.
• رادفورد، أ.، ناراسيمهان، ك.، ساليمانز، ت.، وسوتسكيفير، آي. (2018). تحسين فهم اللغة من خلال التدريب المسبق التوليدي.