[0:01] تخيّل أنّك وجدت نص
[0:03] يصف مشهداً بين شخص ومساعده يصف حديثًا بين شخص و مساعد وهمي يعمل بواسطة الذكاء الاصطناعي.
[0:06] يعمل بالذكاء الاصطناعي.
[0:07] يحتوي النّص على السؤال الّذي طرحه الشّخص،  و لكن قد تمّ حذف إجابة المساعد.
[0:13] لنفترض أيضًا أنّ لديك هذه الآلة السّحريّة اللّتي تأخذ
[0:16] أي نص و تقدّم  تخمين منطقي للكلمة التّالية في ذاك النّص.
[0:21] اذًا، يمكنك إكمال المشهد عن طريق استعمال الآلة
[0:25] للتنبّؤ بأوّل كلمة من الجواب،
[0:28] و من ثمّ إعادة التّكرار مع النّصوص المحدّثة حتّى يكتمل الحوار.
[0:33] عندما تتفاعل مع محادث آلي، هذا بالضبط ما يحدث.
[0:37] أي نموذج لغوي كبير هو مجرّد دالة رياضيّة معقّدة
[0:40] تتنبّأ بالكلمة الّتالية لأي نص.
[0:44] و لكن، بدلًا من أن يقدّم النّموذج كلمة واحدة فقط،
[0:47] هو يقدّم جميع الخيارات مع احتمالاتها المختلفة.
[0:51] لبناء محادث آلي، عليك تقديم نص صغير يفترض محادثة بين شخص
[0:56] و مساعده الوهمي الّذكي. تضيف في أوّل النص سؤال الشّخص.
[1:02] و من بعدها، تدع النموذج يتنبّأ بالكلمة التّالية من جواب المساعد الوهمي.
[1:07] يتم إعادة تكرار هذه الآليّة، و يقدّم الجواب الكامل للمستخدم.
[1:13] بل و يمكن جعل رد المحادث الآلي أشبه بالحديث الطبيعي
[1:16] من خلال السماح لـه على بالاختيار عشوائيًّا بعض الكلمات ذو احتمالات أصغر.
[1:20] إذن، رغم أنّ حسابات النّموذج حتميّة ،
[1:23] نفس السؤال قد يؤدّي إلى إجابات مختلفة.
[1:28] تتعلّم النّماذج كيفيّة إجراء التنبؤات من خلال تدريبهم بكميّات هائلة من النصوص،
[1:32] عادةً تنزّل عن الإنترنت.
[1:34] مثلًا، النصوص الّلتي استعملت لتدريب GPT-3،
[1:39] تستغرق الانسان أكثر من ٢٦٠٠ عام من القراءة المتواصلة.
[1:44] و النماذج الأحدث يتم تدريبها على كميّات أكبر فأكبر.
[1:48] يمكنك مقارنة عمليّة التّدريب بعمليّة تعديل المفاتيح على آلة كبيرة.
[1:52] يتم تحديد عمل النّموذج كاملًا جرّاء هذه الدّوزنة
[1:56] والأرقام الموزّعة على المفاتيح وهي تلقّب بالمعايير أو الأوزان.
[2:01] تغيير هذه المعايير يؤدّي إلى تعديل الإحتمالات
[2:04] اللَتي يحتسبها النّموذج لكلمته التّالية في نص معيّن.
[2:07] و يتم وصفها  بنماذج لغويّة كبيرة لأنّها
[2:10] قد تحتوي على مئات المليارات من هذه المعايير.
[2:15] لا تحدّد  قيم هذه المعايير باليد،
[2:18] بل هي توزّع عشوائيًّا قي بداية الأمر، أي خيارات النموذج خالية من أي معنى.
[2:22] ثم يتم دوزنتها بناءً على العديد من الأمثلة النصّيّة.
[2:27] قد يشمل المثل مجرّد عبارة قصيرة
[2:30] و نص كبيرجدّا. و لكن في كلا الحالتين
[2:34] يعمل النّموذج من خلال حذف كلمة النص الأخيرة،
[2:38] التنبّؤ بالخيارات و من بعدها مقارنة الخيارات و احتمالاتها مع كلمة النص الأصليّة.
[2:43] عندها، تستعمل آلية تعرف بالانتشار الخلفي لتحديث قيم جميع المعايير في النموذج.
[2:47] و الهدف  تعديل  الاحتمالات في صالح الكلمة الصحيحة
[2:51] على حساب الخيارات الأخرى.
[2:55] بعد تكرار عمليّة التّدريب على آلاف المليارات من الأمثلة،
[2:58] يبدأ النّموذج بتقديم تنبّؤات أدق على بيانات التّدريب،
[3:03] بل و يبدأ بتقديم تخمينات منطقيّة و صحيحة على نصوص جديدة
[3:07] لم يدرّب عليها.
[3:09] نظرًا للعدد الهائل من الأوزان و الكم الهائل من بيانات التّدريب،
[3:13] حجم العمليات الحسابيّة الّتي يشملها تدريب نموذج لغوي كبير يفوق الاستيعاب.
[3:19] على سبيل المثل، لنفترض أنّه باستطاعتك
[3:22] حساب مليار عمليّة رياضيّة في كل ثانية.
[3:26] كم تعتقد سيستغرق الأمر إن أجريت جميع
[3:29] الحسابات المطلوبة لتدريب أكبر النماذج الغوية؟
[3:33] سنة؟
[3:36] أم ١٠،٠٠٠ سنة؟
[3:39] الجواب الفعلي أضخم بكثي
[3:41] وهو في الواقع يفوق ١٠٠ مليون سنة.
[3:45] و لكن هذا فقط جزء من القصّة.
[3:47] هذه العمليّة بأكملها تسمّى التّدريب المسبق.
[3:49] قدرة النّموذج على أكمال نص عشوائي
[3:52] عن الإنترنت يختلف بكثير كونه مساعد ذكي فعّال و مفيد.
[3:56] لمعالجة ذلك، تخضع المحادثات الآليّة لنوع آخر من التّدريب،
[4:00] و هو يعرف بالتعليم المعزّز بالمراجعة البشريّة.
[4:04] يقوم العاملون بالإبلاغ عن تنبؤات غير مفيدة أو إشكاليّة.
[4:07] تصليحها يساهم في تعديل قيم المعايير
[4:11] مما يجعل تنبؤات النموذج أنسب للمستخدمين.
[4:14] إجراء الحسابات الهائلة في التدريب المسبق
[4:18] كان مستحيل لولا رقاقات حاسوبيّة خاصة تجري عدّة حسابات بالتوازي أي سويًّا.
[4:23] و هي تعرف ب"وحدات معالجة الرسوميّات" أو GPUs.
[4:28] و لكن، ليست كل النماذج قابلة لهذة الحسابات المتوازية.
[4:32] قبل ٢٠١٧، كانت نماذج اللّغات تعالج كل كلمة على حدة.
[4:36] عندها، قام فريق باحثين من Google بتقديم نموذج جديد يعرف كال"محوّل".
[4:43] و هو لا يقرأ النص من البداية حتّى النّهاية،
[4:46] بل يعالج النّص كاملًا بالتوازي.
[4:49] الخطوة الأولى داخل المحوّل، و معظم النّماذج اللّغوية ،
[4:54] هي تعيين قائمة طويلة من الأرقام لكل كلمة.
[4:57] وذلك لأن عمليّة التدريب تعمل فقط مع قيم مستمرّة خاضعة للحسابات الرياضيّة،
[5:02] على عكس الكلمات. لذا نرمّز اللّغة من خلال الأرقام.
[5:05] و بالعكس، كل قائمة تدل بطريقة ما إلى معنى
[5:09] الكلمة المتّصلة بها.
[5:10] ما يجعل المحوّلات فريدة هو اعتمادها على
[5:13] عمليّة خاصة تعرف بالانتباه.
[5:16] هذه العمليّة تمنح القوائم فرصة على التّفاعل مع بعضهما البعض.
[5:21] بالتّالي، تحدّث معاني الكلمات الّتي ترمز إليها بحسب السياق المحيط بالكلمة.
[5:25] و كل ذلك يتم بالتوازي.
[5:27] مثلًا قائمة الأرقام اللّتي ترمز إلى كلمة مصرف قد تتعدّل بناءً
[5:31] على سياق جديد لتضيف إلى الكلمة معنى آخر، وهو مصرف مياه.
[5:37] المحوّلات أيضّا تتضمّن نوع ثاني من الحسابات يعرف
[5:41] كشبكة عصبيّة أمامية الاتجاه. ذلك يخوّل النموذج
[5:44] على تخزين المزيد من الأنماط اللغوية المكتسبة أثناء التدريب.
[5:49] تتدفق كل هذه المعلومات في تكرارتٍ عدّة
[5:53] لهاتين الحسابتين الأساسيتين. الهدف
[5:56] أن تغتني كل قائمة من الأرقام، فترمز لمعلومات جديدة
[6:00] قد يحتاجها النّموذج ليقدّم تنبّؤ دقيق للكلمة
[6:04] التّالية في أي نص يدخب إليه.
[6:07] في النّهاية، يتم إجراء دالة حسابيّة أخيرة على آخر قائمة في تسلسل الكلمات من النص.
[6:11] و هي قد تأثّرت بسياق النص المدخول،
[6:16] بالإضافة إلى كل ما تعلّمه النّموذج خلال التّدريب
[6:19] لإنتاج تنبّؤ عن الكلمة التّالية في النص.
[6:22] و هذا التنبّؤ هو مكوّن من جميع الخيارات مع احتمالاتها المختلفة.
[6:28] على الرغم من أن الباحثين يصممون إطار عمل كل خطوة,
[6:32] من المهم أن نفهم أنّ سلوك النّموذج الإجمالي هو ظاهرة تنشأ
[6:37] بناءً على دوزنة مئات المليارات من المعايير خلال التّدريب.
[6:42] بالتّالي، من الصّعب للغاية تحديد
[6:45] سبب قيام النّموذج بأي خيار معيّن.
[6:48] ما نعرفه معرفته هو أنّه عند استخدام النّماذج اللّغويّة الكبيرة لإكمال نص،
[6:53] الكلمات الّتي تنتج تتسم بطلاقة مفاجأة و رائعة و حتّى مفيدة.
[7:05] إن كنت مشاهد جديد، و لديك الفضول لمعرفة المزيد
[7:08] حول كيفيّة عمل المحّولات والانتباه، فلدّي بعض الموارد لك.
[7:12] إحدى الخيارات هي سلسلة أعددتها عن التعلّم العميق.
[7:16] نقوم بتصوير وشرح تفاصيل الانتباه و كل الخطوات الأخرى
[7:20] في المحوّل.
[7:22] الإضافة، على قناتي الثّانية، نشرت
[7:25] محاضرة ألقيتها حول الموضوع لشركة TNG في ميونخ.
[7:29] أحيانًا، أفضل المحتوى اللّذي أعدّه في سياق حديثًا عاديًّا بدلًا من
[7:33] فيديو منتجًا. و لكنّك حر لتختارما يناسبك أكثر.