[00:00]
الأحرف الأولى من GPT تعني المحول التوليدي المُدرب مسبقًا.
[00:05]
لذا فإن الكلمة الأولى واضحة بما فيه الكفاية، فهي روبوتات تولد نصًا جديدًا.
[00:09]
يشير التدريب المسبق إلى كيفية خضوع النموذج لعملية التعلم من كمية هائلة من
[00:14]
البيانات، وتشير البادئة إلى أن هناك مساحة أكبر لضبطه في مهام محددة مع تدريب إضافي.
[00:20]
لكن الكلمة الأخيرة، هذه هي القطعة الرئيسية الحقيقية.
[00:23]
المحول هو نوع محدد من الشبكات العصبية، وهو نموذج للتعلم الآلي، وهو
[00:27]
الاختراع الأساسي الكامن وراء الطفرة الحالية في الذكاء الاصطناعي.
[00:31]
ما أريد أن أفعله بهذا الفيديو والفصول التالية
[00:35]
هو تقديم شرح بصري لما يحدث بالفعل داخل المحول.
[00:39]
سنقوم بمتابعة البيانات التي تتدفق من خلاله ونتحرك خطوة بخطوة.
[00:43]
هناك العديد من أنواع النماذج المختلفة التي يمكنك بنائها باستخدام المحولات.
[00:47]
تأخذ بعض النماذج الصوت وتنتج نصًا.
[00:51]
تأتي هذه الجملة من نموذج يسير في الاتجاه المعاكس، وينتج خطابًا تركيبيًا من النص فقط.
[00:56]
كل تلك الأدوات التي اجتاحت العالم في عام 2022 مثل Dolly
[01:00]
وMidjourney التي تأخذ وصفًا نصيًا وتنتج صورة تعتمد على المحولات.
[01:06]
حتى لو لم أتمكن من فهم ما يفترض أن يكون عليه مخلوق الفطيرة، ما
[01:09]
زلت مندهشًا من أن هذا النوع من الأشياء ممكن حتى ولو عن بعد.
[01:13]
وتم اختراع المحول الأصلي الذي قدمته Google في عام 2017
[01:18]
لحالة الاستخدام المحددة لترجمة النص من لغة إلى أخرى.
[01:22]
لكن المتغير الذي سنركز عليه أنا وأنت، وهو النوع الذي يكمن وراء أدوات مثل
[01:27]
ChatGPT، سيكون نموذجًا تم تدريبه على استيعاب جزء من النص، ربما حتى مع بعض
[01:32]
الصور المحيطة أو الصوت المصاحب له، وإنتاج تنبؤ لما سيأتي بعد ذلك في المقطع.
[01:38]
يأخذ هذا التنبؤ شكل توزيع احتمالي على العديد من أجزاء النص المختلفة التي قد تتبعها.
[01:45]
للوهلة الأولى، قد تعتقد أن التنبؤ بالكلمة التالية
[01:47]
يبدو وكأنه هدف مختلف تمامًا عن إنشاء نص جديد.
[01:50]
ولكن بمجرد أن يكون لديك نموذج تنبؤ مثل هذا، فإن الشيء البسيط الذي يمكنك إنشاء جزء
[01:54]
أطول من النص هو إعطائه مقتطفًا أوليًا للعمل معه، وجعله يأخذ عينة عشوائية من التوزيع
[01:59]
الذي أنشأه للتو، وإلحاق تلك العينة بالنص ، ثم قم بتشغيل العملية برمتها مرة أخرى
[02:04]
لإجراء تنبؤ جديد استنادًا إلى النص الجديد بالكامل، بما في ذلك ما تمت إضافته للتو.
[02:10]
لا أعرف عنك، لكن يبدو أن هذا لا ينبغي أن ينجح حقًا.
[02:13]
في هذه الرسوم المتحركة، على سبيل المثال، أقوم بتشغيل GPT-2 على
[02:16]
جهاز الكمبيوتر المحمول الخاص بي وأطلب منه التنبؤ بشكل متكرر وأخذ
[02:19]
عينات من الجزء التالي من النص لإنشاء قصة بناءً على النص الأولي.
[02:22]
القصة ليس لها معنى كبير حقًا.
[02:26]
ولكن إذا قمت باستبدالها باستدعاءات واجهة برمجة التطبيقات (API) إلى GPT-3 بدلاً من
[02:31]
ذلك، وهو نفس النموذج الأساسي، ولكنه أكبر بكثير، فسنحصل فجأة وبطريقة سحرية تقريبًا
[02:35]
على قصة معقولة، قصة يبدو أنها تستنتج أن مخلوق باي سيعيش في عالم أرض الرياضيات والحساب.
[02:41]
هذه العملية هنا من التنبؤ المتكرر وأخذ العينات هي في الأساس ما يحدث عندما تتفاعل مع
[02:46]
ChatGPT أو أي من نماذج اللغات الكبيرة الأخرى هذه وتراهم ينتجون كلمة واحدة في كل مرة.
[02:52]
في الواقع، إحدى الميزات التي سأستمتع بها كثيرًا هي
[02:55]
القدرة على رؤية التوزيع الأساسي لكل كلمة جديدة تختارها.
[03:03]
دعونا نبدأ الأمور بمعاينة عالية المستوى لكيفية تدفق البيانات عبر المحول.
[03:08]
سنقضي المزيد من الوقت في التحفيز والتفسير والتوسع في تفاصيل كل خطوة، ولكن بشكل عام،
[03:13]
عندما يقوم أحد روبوتات الدردشة هذه بإنشاء كلمة معينة، إليك ما يحدث تحت الغطاء.
[03:19]
أولاً، يتم تقسيم المدخلات إلى مجموعة من القطع الصغيرة.
[03:22]
تسمى هذه القطع بالرموز، وفي حالة النص، تميل هذه إلى أن تكون
[03:26]
كلمات أو أجزاء صغيرة من الكلمات أو مجموعات أحرف مشتركة أخرى.
[03:30]
إذا كانت الصور أو الصوت متضمنة، فيمكن أن تكون الرموز المميزة
[03:33]
عبارة عن بقع صغيرة من تلك الصورة أو أجزاء صغيرة من هذا الصوت.
[03:37]
يتم بعد ذلك ربط كل واحدة من هذه الرموز المميزة بمتجه، مما يعني
[03:41]
قائمة من الأرقام، والتي تهدف إلى تشفير معنى تلك القطعة بطريقة ما.
[03:45]
إذا كنت تعتقد أن هذه المتجهات تعطي إحداثيات في مساحة ذات أبعاد عالية جدًا، فإن الكلمات
[03:50]
ذات المعاني المتشابهة تميل إلى الهبوط على ناقلات قريبة من بعضها البعض في ذلك الفضاء.
[03:55]
يمر تسلسل المتجهات هذا عبر عملية تُعرف باسم كتلة الانتباه، وهذا يسمح للمتجهات
[04:00]
بالتحدث مع بعضها البعض وتمرير المعلومات ذهابًا وإيابًا لتحديث قيمها.
[04:04]
على سبيل المثال، يختلف معنى كلمة نموذج في عبارة
[04:08]
نموذج التعلم الآلي عن معناها في عبارة نموذج أزياء.
[04:12]
إن كتلة الانتباه هي المسؤولة عن معرفة الكلمات في السياق ذات الصلة
[04:17]
بتحديث معاني الكلمات الأخرى، وكيف يجب تحديث هذه المعاني بالضبط.
[04:22]
ومرة أخرى، كلما استخدمت معنى الكلمة، يتم تشفيرها
[04:25]
بالكامل بطريقة أو بأخرى في مدخلات تلك المتجهات.
[04:29]
بعد ذلك، تمر هذه المتجهات من خلال نوع مختلف من العمليات، واعتمادًا على المصدر الذي
[04:33]
تقرأه، سيشار إلى ذلك باسم الإدراك الحسي متعدد الطبقات أو ربما طبقة التغذية الأمامية.
[04:38]
وهنا لا تتحدث المتجهات مع بعضها البعض، بل تمر جميعها بنفس العملية بالتوازي.
[04:43]
وعلى الرغم من صعوبة تفسير هذه الكتلة قليلًا، سنتحدث لاحقًا عن كيف أن الخطوة تشبه إلى
[04:48]
حدٍ ما طرح قائمة طويلة من الأسئلة حول كل متجه، ثم تحديثها بناءً على إجابات تلك الأسئلة.
[04:54]
تبدو جميع العمليات في كلتا الكتلتين وكأنها كومة ضخمة من مضاعفات
[04:59]
المصفوفات، وستكون مهمتنا الأساسية هي فهم كيفية قراءة المصفوفات الأساسية.
[05:06]
أقوم بتغطية بعض التفاصيل حول بعض خطوات التطبيع التي
[05:09]
تحدث بينهما، ولكن هذه في النهاية معاينة عالية المستوى.
[05:13]
بعد ذلك، تتكرر العملية بشكل أساسي، وتتنقل ذهابًا وإيابًا بين كتل الانتباه
[05:18]
وكتل الإدراك الحسي متعددة الطبقات، حتى النهاية، يكون الأمل هو أن كل
[05:23]
المعنى الأساسي للمقطع قد تم بطريقة ما خبزه في المتجه الأخير في الترتيب.
[05:28]
نقوم بعد ذلك بإجراء عملية معينة على المتجه الأخير الذي ينتج توزيعًا احتماليًا على جميع
[05:33]
الرموز المميزة المحتملة، وجميع الأجزاء الصغيرة المحتملة من النص التي قد تأتي بعد ذلك.
[05:38]
وكما قلت، بمجرد أن يكون لديك أداة تتنبأ بما سيأتي بعد ذلك في ضوء مقتطف من النص،
[05:43]
يمكنك تغذيتها بقليل من النص الأولي وجعلها تلعب بشكل متكرر لعبة التنبؤ بما
[05:48]
سيأتي بعد ذلك، وأخذ عينات من التوزيع، والإلحاق ذلك، ثم تكرره مراراً وتكراراً.
[05:53]
ربما يتذكر البعض منكم من ذوي الخبرة المدة التي سبقت ظهور ChatGPT في
[05:57]
المشهد، هذا هو الشكل الذي كانت تبدو عليه العروض التوضيحية المبكرة لـ
[06:00]
GPT-3، حيث يمكنك إكمال القصص والمقالات تلقائيًا بناءً على مقتطف أولي.
[06:05]
لتحويل أداة كهذه إلى روبوت دردشة، فإن أسهل نقطة بداية هي الحصول على القليل من النص الذي
[06:10]
يحدد إعدادات المستخدم الذي يتفاعل مع مساعد الذكاء الاصطناعي المفيد، وهو ما يمكن أن تسميه
[06:16]
موجه النظام، وبعد ذلك ستستخدم السؤال الأولي للمستخدم أو المطالبة به هو الجزء الأول من
[06:21]
الحوار، وبعد ذلك يمكنك البدء في التنبؤ بما سيقوله مساعد الذكاء الاصطناعي المفيد ردًا على
[06:26]
ذلك.
[06:27]
هناك الكثير مما يمكن قوله عن خطوة التدريب المطلوبة
[06:30]
لإنجاح هذا الأمر، ولكن على مستوى عالٍ، هذه هي الفكرة.
[06:35]
في هذا الفصل، سنتوسع أنا وأنت في تفاصيل ما يحدث في بداية الشبكة، وفي نهايتها،
[06:41]
وأريد أيضًا قضاء الكثير من الوقت في مراجعة بعض الأجزاء المهمة من المعرفة الأساسية
[06:47]
أشياء كانت ستصبح طبيعة أي مهندس تعلم آلي بحلول الوقت الذي ظهرت فيه المحولات.
[06:53]
إذا كنت مرتاحًا لهذه المعرفة الأساسية وقليل الصبر، فلا تتردد في الانتقال إلى
[06:57]
الفصل التالي، والذي سيركز على كتل الانتباه، والتي تعتبر بشكل عام قلب المحول.
[07:03]
بعد ذلك أريد أن أتحدث أكثر عن كتل الإدراك الحسي متعددة الطبقات، وكيفية
[07:07]
عمل التدريب، وعدد من التفاصيل الأخرى التي سيتم تخطيها حتى تلك النقطة.
[07:12]
للحصول على سياق أوسع، تعد مقاطع الفيديو هذه إضافات إلى سلسلة مصغرة حول التعلم
[07:16]
العميق، ولا بأس إذا لم تكن قد شاهدت مقاطع الفيديو السابقة، أعتقد أنه يمكنك
[07:20]
القيام بذلك خارج النظام، ولكن قبل الغوص في المحولات على وجه التحديد، أعتقد من
[07:24]
الجدير التأكد من أننا على نفس الصفحة حول الفرضية الأساسية وبنية التعلم العميق.
[07:29]
على الرغم من المخاطرة بتوضيح ما هو واضح، فهذا هو أحد أساليب التعلم الآلي، والذي
[07:33]
يصف أي نموذج تستخدم فيه البيانات لتحديد كيفية تصرف النموذج بطريقة أو بأخرى.
[07:39]
ما أعنيه بذلك هو، لنفترض أنك تريد وظيفة تلتقط صورة وتنتج علامة
[07:43]
تصفها، أو مثالنا للتنبؤ بالكلمة التالية في ضوء مقطع من النص، أو
[07:47]
أي مهمة أخرى يبدو أنها تتطلب بعض العناصر الحدس والتعرف على الأنماط.
[07:53]
نحن نعتبر هذا الأمر أمرا مفروغا منه هذه الأيام، ولكن الفكرة في التعلم الآلي
[07:57]
هي أنه بدلا من محاولة تحديد إجراء واضح لكيفية القيام بهذه المهمة في التعليمات
[08:02]
البرمجية، وهو ما كان سيفعله الناس في الأيام الأولى للذكاء الاصطناعي، بدلا
[08:06]
من ذلك قم بإعداد بنية مرنة للغاية مع معلمات قابلة للضبط، مثل مجموعة من
[08:10]
المقابض والأقراص، ثم تستخدم بطريقة ما العديد من الأمثلة حول الشكل الذي يجب
[08:15]
أن يبدو عليه الإخراج لمدخل معين لتعديل وضبط قيم تلك المعلمات لتقليد هذا السلوك.
[08:19]
على سبيل المثال، ربما يكون أبسط شكل من أشكال التعلم الآلي هو الانحدار
[08:24]
الخطي، حيث تكون المدخلات والمخرجات عبارة عن أرقام فردية، شيء مثل
[08:28]
اللقطات المربعة للمنزل وسعره، وما تريده هو العثور على خط أفضل ملاءمة
[08:32]
من خلال هذا البيانات، كما تعلمون، للتنبؤ بأسعار المنازل في المستقبل.
[08:37]
يتم وصف هذا الخط بمعلمتين مستمرتين، على سبيل المثال الميل والتقاطع y،
[08:42]
والهدف من الانحدار الخطي هو تحديد تلك المعلمات لمطابقة البيانات بشكل وثيق.
[08:48]
وغني عن القول أن نماذج التعلم العميق تصبح أكثر تعقيدًا.
[08:52]
GPT-3، على سبيل المثال، لا يحتوي على اثنين، بل 175 مليار معلمة.
[08:58]
ولكن هذا هو الأمر، ليس من المسلم به أنه يمكنك إنشاء نموذج عملاق يحتوي على عدد كبير من
[09:03]
المعلمات دون الحاجة إلى الإفراط في تجهيز بيانات التدريب بشكل كبير أو استعصاء التدريب
[09:09]
تمامًا.
[09:10]
يصف التعلم العميق فئة من النماذج التي أثبتت في
[09:13]
العقدين الماضيين أنها قابلة للتوسع بشكل ملحوظ.
[09:16]
ما يوحدهم هو نفس خوارزمية التدريب، التي تسمى الانتشار العكسي، والسياق
[09:21]
الذي أريدك أن تحصل عليه أثناء تقدمنا هو أنه لكي تعمل خوارزمية التدريب
[09:26]
هذه بشكل جيد على نطاق واسع، يجب أن تتبع هذه النماذج تنسيقًا محددًا معينًا.
[09:31]
إذا كنت تعرف هذا التنسيق، فمن المفيد أن تشرح العديد من الاختيارات
[09:35]
الخاصة بكيفية معالجة المحول للغة، والتي قد تتعرض لخطر الشعور بالتعسف.
[09:41]
أولاً، أيًا كان النموذج الذي تقوم بإنشائه، يجب تنسيق الإدخال كمصفوفة من الأرقام الحقيقية.
[09:46]
قد يعني هذا قائمة من الأرقام، أو يمكن أن تكون مصفوفة ثنائية الأبعاد، أو في كثير من
[09:51]
الأحيان تتعامل مع مصفوفات ذات أبعاد أعلى، حيث المصطلح العام المستخدم هو الموتر.
[09:56]
غالبًا ما تفكر في أن بيانات الإدخال يتم تحويلها تدريجيًا إلى العديد
[10:00]
من الطبقات المتميزة، حيث يتم تنظيم كل طبقة دائمًا كنوع من مجموعة من
[10:04]
الأرقام الحقيقية، حتى تصل إلى الطبقة النهائية التي تعتبرها المخرجات.
[10:09]
على سبيل المثال، الطبقة الأخيرة في نموذج معالجة النص لدينا هي قائمة من
[10:13]
الأرقام التي تمثل التوزيع الاحتمالي لجميع الرموز المميزة التالية الممكنة.
[10:17]
في التعلم العميق، يُشار دائمًا إلى معلمات النموذج هذه بالأوزان، وذلك
[10:21]
لأن الميزة الرئيسية لهذه النماذج هي أن الطريقة الوحيدة لتفاعل هذه
[10:25]
المعلمات مع البيانات التي تتم معالجتها هي من خلال المبالغ المرجحة.
[10:30]
يمكنك أيضًا رش بعض الوظائف غير الخطية طوال الوقت، لكنها لن تعتمد على المعلمات.
[10:35]
عادةً، بدلًا من رؤية المجاميع المرجحة كلها عارية ومكتوبة بشكل واضح
[10:40]
بهذه الطريقة، ستجدها مجمعة معًا كمكونات مختلفة في منتج متجه المصفوفة.
[10:46]
إنه يعني قول الشيء نفسه، إذا فكرت مرة أخرى في كيفية عمل ضرب
[10:50]
متجه المصفوفة، فإن كل مكون في الإخراج يبدو وكأنه مجموع مرجح.
[10:54]
غالبًا ما يكون من الأنظف من الناحية المفاهيمية بالنسبة لي ولكم
[10:58]
التفكير في المصفوفات المملوءة بمعلمات قابلة للضبط والتي تحول
[11:01]
المتجهات التي يتم استخلاصها من البيانات التي تتم معالجتها.
[11:06]
على سبيل المثال، تم تنظيم تلك الأوزان البالغ عددها 175
[11:10]
مليارًا في GPT-3 في ما يقل قليلاً عن 28000 مصفوفة متميزة.
[11:14]
تنقسم هذه المصفوفات بدورها إلى ثماني فئات مختلفة، وما سنفعله أنا
[11:18]
وأنت هو المرور عبر كل واحدة من هذه الفئات لفهم ما يفعله هذا النوع.
[11:23]
بينما نمضي قدمًا، أعتقد أنه من الممتع الرجوع إلى الأرقام
[11:27]
المحددة من GPT-3 لحساب مصدر تلك الـ 175 مليارًا بالضبط.
[11:31]
حتى لو كانت هناك نماذج أكبر وأفضل في الوقت الحاضر، فإن هذا النموذج يتمتع بسحر
[11:36]
معين باعتباره نموذج اللغة الكبيرة لجذب انتباه العالم خارج مجتمعات تعلم الآلة.
[11:41]
ومن الناحية العملية أيضًا، تميل الشركات إلى الالتزام بأرقام محددة للشبكات الأكثر حداثة.
[11:47]
أريد فقط أن أبدأ المشهد، فبينما تنظر إلى أسفل الغطاء لترى ما يحدث داخل أداة مثل
[11:52]
ChatGPT، تبدو كل العمليات الحسابية الفعلية تقريبًا مثل مضاعفة متجهات المصفوفات.
[11:57]
هناك القليل من المخاطرة بالضياع في بحر مليارات الأرقام، ولكن يجب أن ترسم تمييزًا
[12:02]
حادًا للغاية في عقلك بين أوزان النموذج، والتي سألونها دائمًا باللون الأزرق أو الأحمر،
[12:07]
والبيانات التي يتم الحصول عليها تمت معالجتها، والتي سألونها دائمًا باللون الرمادي.
[12:12]
الأوزان هي العقول الفعلية، وهي الأشياء التي يتم
[12:14]
تعلمها أثناء التدريب، وهي التي تحدد كيفية تصرفه.
[12:18]
تقوم البيانات التي تتم معالجتها ببساطة بتشفير أي مدخلات
[12:22]
محددة يتم إدخالها في النموذج لتشغيل معين، مثل مقتطف من النص.
[12:27]
مع كل ذلك كأساس، دعونا نتعمق في الخطوة الأولى من مثال معالجة النص هذا،
[12:32]
وهو تقسيم المدخلات إلى أجزاء صغيرة وتحويل تلك الأجزاء إلى متجهات.
[12:37]
لقد ذكرت كيف تسمى هذه القطع بالرموز، والتي قد تكون أجزاء من الكلمات
[12:40]
أو علامات الترقيم، ولكن بين الحين والآخر في هذا الفصل وخاصة في الفصل
[12:44]
التالي، أود فقط أن أتظاهر بأنها مقسمة بشكل أكثر وضوحًا إلى كلمات.
[12:48]
نظرًا لأننا نحن البشر نفكر بالكلمات، فإن هذا سيجعل من
[12:51]
الأسهل بكثير الرجوع إلى أمثلة صغيرة وتوضيح كل خطوة.
[12:55]
يحتوي النموذج على مفردات محددة مسبقًا، وقائمة من كل الكلمات الممكنة،
[12:59]
على سبيل المثال 50000 منها، والمصفوفة الأولى التي سنواجهها، والمعروفة
[13:03]
باسم مصفوفة التضمين، تحتوي على عمود واحد لكل كلمة من هذه الكلمات.
[13:08]
هذه الأعمدة هي التي تحدد المتجه الذي تتحول إليه كل كلمة في تلك الخطوة الأولى.
[13:15]
نسميها نحن، ومثل كل المصفوفات التي نراها، تبدأ قيمها
[13:18]
بشكل عشوائي، ولكن سيتم تعلمها بناءً على البيانات.
[13:23]
كان تحويل الكلمات إلى متجهات ممارسة شائعة في التعلم الآلي قبل فترة
[13:27]
طويلة من المحولات، ولكنه أمر غريب بعض الشيء إذا لم يسبق لك رؤيته من
[13:31]
قبل، وهو يضع الأساس لكل ما يلي، لذلك دعونا نتوقف لحظة للتعرف عليه.
[13:36]
غالبًا ما نطلق على هذا التضمين كلمة، مما يدعوك إلى التفكير في
[13:39]
هذه المتجهات بشكل هندسي للغاية كنقاط في مساحة عالية الأبعاد.
[13:44]
لن يكون تصور قائمة من ثلاثة أرقام كإحداثيات لنقاط في مساحة ثلاثية
[13:47]
الأبعاد مشكلة، لكن تضمين الكلمات يميل إلى أن يكون ذو أبعاد أعلى بكثير.
[13:52]
في GPT-3 لديهم 12288 بُعدًا، وكما سترون، من المهم
[13:56]
العمل في مساحة بها الكثير من الاتجاهات المميزة.
[14:01]
بنفس الطريقة التي يمكنك من خلالها أخذ شريحة ثنائية الأبعاد عبر مساحة ثلاثية
[14:05]
الأبعاد وإسقاط جميع النقاط على تلك الشريحة، من أجل تحريك تضمينات الكلمات التي
[14:10]
يقدمها لي نموذج بسيط، سأفعل شيئًا مشابهًا عن طريق اختيار شريحة ثلاثية الأبعاد
[14:15]
عبر هذا الفضاء ذي الأبعاد العالية جدًا، وإسقاط متجهات الكلمات عليها وعرض النتائج.
[14:21]
الفكرة الكبيرة هنا هي أنه عندما يقوم النموذج بتعديل وضبط أوزانه لتحديد
[14:25]
كيفية دمج الكلمات كمتجهات أثناء التدريب، فإنه يميل إلى الاستقرار على
[14:29]
مجموعة من التضمينات حيث يكون للاتجاهات في الفضاء نوع من المعنى الدلالي.
[14:34]
بالنسبة لنموذج تحويل الكلمة إلى ناقل البسيط الذي أستخدمه هنا، إذا
[14:38]
قمت بإجراء بحث عن جميع الكلمات التي تكون تضميناتها أقرب إلى كلمة
[14:42]
برج، ستلاحظ كيف تبدو جميعها وكأنها تعطي مشاعر برجية متشابهة جدًا.
[14:46]
وإذا كنت تريد تعلم بعض لغة بايثون واللعب بها في المنزل،
[14:48]
فهذا هو النموذج المحدد الذي أستخدمه لصنع الرسوم المتحركة.
[14:51]
إنه ليس محولاً، لكنه يكفي لتوضيح فكرة أن الاتجاهات في الفضاء يمكن أن تحمل معنى دلاليًا.
[14:58]
أحد الأمثلة الكلاسيكية على ذلك هو أنه إذا أخذت الفرق بين المتجهات
[15:03]
الخاصة بالمرأة والرجل، وهو شيء يمكن أن تتخيله كمتجه صغير يربط
[15:08]
طرف أحدهما بطرف الآخر، فهو مشابه جدًا للفرق بين الملك والرجل ملكة.
[15:15]
لنفترض أنك لا تعرف كلمة ملكة أنثى، يمكنك العثور عليها عن طريق أخذ الملك،
[15:20]
وإضافة اتجاه المرأة-الرجل، والبحث عن التضمينات الأقرب إلى تلك النقطة.
[15:27]
على الأقل نوعا ما.
[15:28]
على الرغم من كونه مثالًا كلاسيكيًا للنموذج الذي ألعب به، فإن التضمين الحقيقي
[15:32]
للملكة هو في الواقع أبعد قليلاً عما قد يوحي به هذا، ربما لأن الطريقة التي
[15:36]
يتم بها استخدام الملكة في بيانات التدريب ليست مجرد نسخة أنثوية من الملك.
[15:41]
وعندما تجولت في الأمر، بدا أن العلاقات الأسرية توضح الفكرة بشكل أفضل بكثير.
[15:46]
النقطة المهمة هي أنه يبدو أثناء التدريب أن النموذج وجد أنه من المفيد اختيار
[15:50]
التضمينات بحيث يقوم اتجاه واحد في هذا الفضاء بتشفير المعلومات المتعلقة بالجنس.
[15:56]
مثال آخر هو أنك إذا أخذت تضمين إيطاليا، وطرحت تضمين ألمانيا، وأضفت
[16:02]
ذلك إلى تضمين هتلر، فستحصل على شيء قريب جدًا من تضمين موسوليني.
[16:08]
يبدو الأمر كما لو أن النموذج تعلم ربط بعض الاتجاهات
[16:11]
بالهوية الإيطالية، وأخرى بقادة محور الحرب العالمية الثانية.
[16:16]
ربما المثال المفضل لدي في هذا السياق هو كيف أنه في بعض النماذج، إذا أخذت الفرق
[16:21]
بين ألمانيا واليابان، وأضفته إلى السوشي، فسينتهي بك الأمر قريبًا جدًا من النقانق.
[16:27]
أيضًا أثناء لعب لعبة العثور على أقرب الجيران، سررت برؤية مدى قرب كات من الوحش والوحش.
[16:34]
أحد الأمور الرياضية البديهية التي من المفيد أن نأخذها في الاعتبار، خاصة في
[16:39]
الفصل التالي، هو كيف يمكن اعتبار المنتج النقطي لمتجهين وسيلة لقياس مدى توافقهما.
[16:44]
من الناحية الحسابية، تتضمن المنتجات النقطية ضرب جميع المكونات المقابلة ثم إضافة
[16:49]
النتائج، وهو أمر جيد، نظرًا لأن الكثير من حساباتنا يجب أن تبدو وكأنها مبالغ مرجحة.
[16:55]
هندسيًا، يكون حاصل الضرب النقطي موجبًا عندما تشير المتجهات إلى اتجاهات متشابهة،
[17:00]
ويكون صفرًا إذا كانت متعامدة، ويكون سالبًا عندما تشير إلى اتجاهات متعاكسة.
[17:06]
على سبيل المثال، لنفترض أنك كنت تلعب بهذا النموذج، وتفترض أن تضمين
[17:11]
القطط ناقص القطة قد يمثل نوعًا من اتجاه التعددية في هذا الفضاء.
[17:17]
لاختبار ذلك، سأأخذ هذا المتجه وأحسب حاصل ضربه النقطي مقابل تضمينات بعض
[17:22]
الأسماء المفردة، ومقارنته مع نواتج الضرب النقطية مع أسماء الجمع المقابلة.
[17:27]
إذا تلاعبت بهذا، ستلاحظ أن الجمع يبدو أنه يعطي دائمًا قيمًا أعلى
[17:31]
من القيم المفردة، مما يشير إلى أنها تتماشى أكثر مع هذا الاتجاه.
[17:37]
ومن الممتع أيضًا أنه إذا أخذت هذا المنتج النقطي مع تضمينات الكلمات
[17:41]
1، 2، 3، وما إلى ذلك، فإنها تعطي قيمًا متزايدة، لذا يبدو الأمر
[17:45]
كما لو أننا نستطيع قياس كمي مدى عثور النموذج على كلمة معينة.
[17:50]
مرة أخرى، يتم تعلم تفاصيل كيفية تضمين الكلمات باستخدام البيانات.
[17:54]
إن مصفوفة التضمين هذه، التي تخبرنا أعمدتها بما
[17:56]
يحدث لكل كلمة، هي أول كومة من الأوزان في نموذجنا.
[18:00]
باستخدام أرقام GPT-3، يبلغ حجم المفردات على وجه التحديد 50257، ومرة أخرى،
[18:04]
لا يتكون هذا من الناحية الفنية من كلمات في حد ذاتها، بل من الرموز المميزة.
[18:10]
بُعد التضمين هو 12,288، وبضرب ذلك يخبرنا أن هذا يتكون من حوالي 617 مليون وزن.
[18:18]
دعونا نمضي قدمًا ونضيف هذا إلى حصيلة جارية، متذكرين
[18:21]
أنه في النهاية يجب أن نحصي ما يصل إلى 175 مليارًا.
[18:25]
في حالة المحولات، أنت تريد حقًا أن تفكر في المتجهات الموجودة
[18:28]
في مساحة التضمين هذه على أنها لا تمثل مجرد كلمات فردية.
[18:32]
لسبب واحد، أنها تقوم أيضًا بتشفير معلومات حول موضع تلك الكلمة، وهو ما سنتحدث عنه
[18:37]
لاحقًا، ولكن الأهم من ذلك، يجب أن تفكر فيها على أنها تتمتع بالقدرة على استيعاب السياق.
[18:43]
على سبيل المثال، قد يتم سحب وسحب المتجه الذي بدأ حياته كدمج لكلمة "ملك"
[18:49]
بواسطة كتل مختلفة في هذه الشبكة، بحيث يشير في النهاية إلى اتجاه أكثر
[18:54]
تحديدًا ودقة والذي يشفر بطريقة أو بأخرى. كان ملكًا عاش في اسكتلندا، وقد
[18:59]
وصل إلى منصبه بعد قتل الملك السابق، ويتم وصفه باللغة الشكسبيرية.
[19:05]
فكر في فهمك لكلمة معينة.
[19:08]
يتم تحديد معنى هذه الكلمة بوضوح من خلال البيئة المحيطة، وفي بعض الأحيان يتضمن
[19:13]
ذلك السياق من مسافة بعيدة، لذلك عند تجميع نموذج لديه القدرة على التنبؤ
[19:18]
بالكلمة التي تأتي بعد ذلك، فإن الهدف هو تمكينه بطريقة ما من دمج السياق بكفاءة.
[19:24]
لكي نكون واضحين، في تلك الخطوة الأولى، عندما تقوم بإنشاء مجموعة من المتجهات
[19:28]
بناءً على نص الإدخال، يتم انتزاع كل واحد منها ببساطة من مصفوفة التضمين، لذلك
[19:32]
في البداية يمكن لكل واحد فقط تشفير معنى كلمة واحدة بدون أي مدخلات من محيطه.
[19:37]
لكن يجب أن تفكر في الهدف الأساسي لهذه الشبكة التي تتدفق من خلالها على أنه تمكين كل واحد
[19:43]
من تلك المتجهات من استيعاب معنى أكثر ثراءً وتحديدًا مما يمكن أن تمثله مجرد كلمات فردية.
[19:49]
يمكن للشبكة معالجة عدد ثابت فقط من المتجهات في
[19:51]
المرة الواحدة، وهو ما يُعرف بحجم السياق الخاص بها.
[19:54]
بالنسبة لـ GPT-3، تم تدريبه بحجم سياق يبلغ 2048، وبالتالي فإن البيانات المتدفقة عبر
[19:59]
الشبكة تبدو دائمًا مثل هذه المجموعة المكونة من 2048 عمودًا، يحتوي كل منها على 12000
[20:04]
بُعدًا.
[20:05]
يحد حجم السياق هذا من مقدار النص الذي يمكن للمحول دمجه عند التنبؤ بالكلمة التالية.
[20:12]
وهذا هو السبب في أن المحادثات الطويلة مع بعض برامج الدردشة
[20:15]
الآلية، مثل الإصدارات الأولى من ChatGPT، غالبًا ما أعطت شعورًا
[20:18]
بأن الروبوت يفقد خيط المحادثة مع استمرارك لفترة طويلة جدًا.
[20:23]
سنتناول تفاصيل الاهتمام في الوقت المناسب، ولكن بالتخطي
[20:25]
للأمام، أريد أن أتحدث لمدة دقيقة عما يحدث في النهاية.
[20:29]
تذكر أن الناتج المطلوب هو توزيع احتمالي على جميع الرموز المميزة التي قد تأتي بعد ذلك.
[20:35]
على سبيل المثال، إذا كانت الكلمة الأخيرة هي "بروفيسور"، وكان
[20:39]
السياق يتضمن كلمات مثل "هاري بوتر"، وقبل ذلك مباشرة نرى المعلم
[20:43]
الأقل تفضيلًا، وأيضًا إذا أعطيتني بعض الحرية من خلال السماح لي بالتظاهر
[20:47]
بأن الرموز تبدو ببساطة وكأنها كلمات كاملة، إذن من المفترض أن تقوم الشبكة
[20:51]
المدربة جيدًا والتي اكتسبت المعرفة بهاري بوتر بتخصيص رقم كبير لكلمة Snape.
[20:56]
وهذا ينطوي على خطوتين مختلفتين.
[20:58]
الأول هو استخدام مصفوفة أخرى تقوم بتعيين المتجه الأخير في هذا السياق
[21:03]
إلى قائمة مكونة من 50000 قيمة، واحدة لكل رمز مميز في المفردات.
[21:08]
ثم هناك دالة تعمل على تطبيع هذا إلى توزيع احتمالي، تسمى Softmax وسنتحدث عنها
[21:13]
أكثر خلال ثانية واحدة فقط، ولكن قبل ذلك قد يبدو غريبًا بعض الشيء استخدام
[21:18]
هذا التضمين الأخير فقط للتنبؤ، عندما بعد كل شيء، في تلك الخطوة الأخيرة، هناك
[21:23]
الآلاف من المتجهات الأخرى في الطبقة الموجودة هناك مع معانيها الغنية بالسياق.
[21:28]
يتعلق هذا بحقيقة أنه في عملية التدريب يتبين أن الأمر أكثر كفاءة إذا استخدمت كل
[21:34]
واحد من تلك المتجهات في الطبقة النهائية للتنبؤ في نفس الوقت بما سيأتي بعده مباشرة.
[21:40]
هناك الكثير مما يمكن قوله عن التدريب لاحقًا، لكني أريد فقط أن أذكر ذلك الآن.
[21:45]
تسمى هذه المصفوفة بمصفوفة Unembedding ونعطيها التسمية WU.
[21:50]
مرة أخرى، مثل جميع مصفوفات الوزن التي نراها، تبدأ
[21:52]
إدخالاتها بشكل عشوائي، ولكن يتم تعلمها أثناء عملية التدريب.
[21:56]
للحفاظ على النتيجة في إجمالي عدد المعلمات لدينا، تحتوي مصفوفة إلغاء التضمين هذه على
[22:01]
صف واحد لكل كلمة في المفردات، وكل صف يحتوي على نفس عدد العناصر مثل بُعد التضمين.
[22:06]
إنها تشبه إلى حد كبير مصفوفة التضمين، فقط مع تبديل الترتيب، لذا فهي تضيف 617 مليون
[22:11]
معلمة أخرى إلى الشبكة، مما يعني أن عددنا حتى الآن يزيد قليلاً عن مليار، وهو جزء
[22:16]
صغير ولكنه ليس ضئيلًا تمامًا من الـ 175 مليارًا التي لدينا. سوف ينتهي في المجموع.
[22:22]
كدرس صغير أخير في هذا الفصل، أريد أن أتحدث أكثر عن وظيفة
[22:26]
softmax هذه، لأنها تظهر لنا مرة أخرى عندما نغوص في كتل الانتباه.
[22:31]
الفكرة هي أنه إذا كنت تريد أن تعمل سلسلة من الأرقام كتوزيع
[22:35]
احتمالي، مثل التوزيع على جميع الكلمات التالية المحتملة، فيجب
[22:39]
أن تكون كل قيمة بين 0 و1، وتحتاج أيضًا إلى جمعها جميعًا حتى 1 .
[22:45]
ومع ذلك، إذا كنت تلعب لعبة تعليمية حيث يبدو كل ما تفعله مثل الضرب بمصفوفة
[22:50]
ومتجه، فإن المخرجات التي تحصل عليها افتراضيًا لا تلتزم بهذا على الإطلاق.
[22:55]
غالبًا ما تكون القيم سالبة، أو أكبر بكثير من 1، ومن المؤكد تقريبًا ألا يكون مجموعها 1.
[23:00]
Softmax هي الطريقة القياسية لتحويل قائمة عشوائية من الأرقام إلى توزيع صالح بطريقة
[23:06]
تجعل القيم الأكبر تنتهي الأقرب إلى 1، والقيم الأصغر تنتهي قريبة جدًا من 0.
[23:11]
هذا كل ما تحتاج إلى معرفته حقًا.
[23:13]
لكن إذا كنت فضوليًا، فإن الطريقة التي يتم بها الأمر هي أولاً رفع e إلى قوة كل رقم،
[23:18]
وهو ما يعني أن لديك الآن قائمة من القيم الموجبة، وبعد ذلك يمكنك جمع كل تلك القيم
[23:23]
الموجبة وتقسيمها كل مصطلح بهذا المبلغ، مما يؤدي إلى تطبيعه في قائمة تضيف ما يصل إلى 1.
[23:30]
ستلاحظ أنه إذا كان أحد الأرقام في المدخلات أكبر بكثير من الباقي،
[23:34]
ففي المخرجات، يهيمن المصطلح المقابل على التوزيع، لذلك إذا كنت
[23:38]
تأخذ عينات منه فمن المؤكد تقريبًا أنك تختار المدخلات القصوى.
[23:42]
ولكنه أكثر ليونة من مجرد اختيار الحد الأقصى، بمعنى أنه عندما تكون
[23:46]
القيم الأخرى كبيرة بشكل مماثل، فإنها تحصل أيضًا على وزن ذي معنى في
[23:50]
التوزيع، وكل شيء يتغير بشكل مستمر حيث تقوم باستمرار بتغيير المدخلات.
[23:55]
في بعض المواقف، مثل عندما يستخدم ChatGPT هذا التوزيع لإنشاء كلمة
[23:59]
تالية، هناك مساحة لقليل من المرح الإضافي عن طريق إضافة القليل من
[24:04]
الإثارة الإضافية إلى هذه الوظيفة، مع إضافة ثابت t إلى مقام تلك الأسس.
[24:09]
نحن نسميها درجة الحرارة، لأنها تشبه بشكل غامض دور درجة الحرارة في بعض معادلات الديناميكا
[24:15]
الحرارية، والتأثير هو أنه عندما تكون t أكبر، فإنك تعطي وزنًا أكبر للقيم الأقل، مما يعني
[24:21]
أن التوزيع يكون أكثر تجانسًا قليلاً، وإذا إذا كان t أصغر، فإن القيم الأكبر سوف تهيمن
[24:26]
بقوة أكبر، حيث في الحالة القصوى، تعيين t يساوي الصفر يعني أن كل الوزن يذهب إلى القيمة
[24:32]
القصوى.
[24:33]
على سبيل المثال، سأطلب من GPT-3 إنشاء قصة بالنص الأساسي، ذات
[24:38]
مرة كان هناك A، لكنني سأستخدم درجات حرارة مختلفة في كل حالة.
[24:43]
درجة الحرارة صفر تعني أنها تتوافق دائمًا مع الكلمة الأكثر
[24:47]
توقعًا، وما تحصل عليه في نهاية المطاف هو مشتق مبتذل من المعتدل.
[24:53]
تمنحك درجة الحرارة المرتفعة فرصة لاختيار كلمات أقل احتمالية، ولكنها تنطوي على مخاطرة.
[24:58]
في هذه الحالة، تبدأ القصة بشكل أكثر أصالة، حول فنان ويب
[25:02]
شاب من كوريا الجنوبية، لكنها سرعان ما تتحول إلى هراء.
[25:06]
من الناحية الفنية، لا تسمح لك واجهة برمجة التطبيقات (API) باختيار درجة حرارة أكبر من 2.
[25:11]
لا يوجد سبب رياضي لذلك، إنه مجرد قيد تعسفي مفروض
[25:15]
لمنع أدواتهم من الظهور وهي تولد أشياء لا معنى لها.
[25:19]
لذا، إذا كنت فضوليًا، فإن الطريقة التي تعمل بها هذه الرسوم المتحركة في الواقع هي
[25:24]
أنني آخذ الـ 20 رمزًا التاليًا الأكثر احتمالية التي ينشئها GPT-3، والذي يبدو
[25:28]
أنه الحد الأقصى الذي سيعطونه لي، ثم أقوم بتعديل الاحتمالات بناءً على على الأس 15.
[25:33]
كمصطلح آخر، بنفس الطريقة التي يمكنك من خلالها تسمية مكونات مخرجات هذه
[25:37]
الدالة بالاحتمالات، غالبًا ما يشير الأشخاص إلى المدخلات على أنها سجلات،
[25:41]
أو يقول بعض الأشخاص سجلات، ويقول بعض الأشخاص سجلات، سأقول سجلات .
[25:46]
على سبيل المثال، عندما تقوم بتغذية بعض النصوص، فإن كل هذه الكلمات المضمنة
[25:50]
تتدفق عبر الشبكة، وتقوم بإجراء هذا الضرب النهائي باستخدام مصفوفة إلغاء
[25:54]
التضمين، وسيشير الأشخاص الذين يتعلمون الآلة إلى المكونات الموجودة في
[25:57]
هذا الناتج الأولي غير الطبيعي باسم اللوجيستات للتنبؤ بالكلمة التالية.
[26:03]
كان الكثير من الهدف في هذا الفصل هو وضع الأسس لفهم
[26:06]
آلية الانتباه، أسلوب طفل الكاراتيه الشمع على الشمع.
[26:10]
كما ترى، إذا كان لديك حدس قوي لتضمين الكلمات، ولسوفت ماكس، لكيفية قياس المنتجات
[26:16]
النقطية للتشابه، وكذلك الفرضية الأساسية التي مفادها أن معظم الحسابات يجب أن تبدو
[26:21]
مثل ضرب المصفوفات بمصفوفات مليئة بالمعلمات القابلة للضبط، ثم فهم الاهتمام يجب أن
[26:26]
تكون هذه الآلية، وهي حجر الزاوية في الطفرة الحديثة في الذكاء الاصطناعي، سلسة نسبيًا.
[26:32]
لذلك، تعال وانضم إلي في الفصل التالي.
[26:36]
بينما أنشر هذا، تتوفر مسودة الفصل التالي للمراجعة من قبل مؤيدي Patreon.
[26:41]
من المفترض أن يتم نشر النسخة النهائية للعامة خلال أسبوع أو أسبوعين، ويعتمد ذلك
[26:44]
عادةً على مقدار التغيير الذي سأقوم به في نهاية المطاف بناءً على تلك المراجعة.
[26:47]
في هذه الأثناء، إذا كنت تريد التعمق في الاهتمام،
[26:50]
وإذا كنت تريد مساعدة القناة قليلاً، فهي تنتظرك.