الذكاء الاصطناعي x العملات الرقمية: من الصفر إلى القمة
شهدت صناعة الذكاء الاصطناعي في الآونة الأخيرة تطوراً سريعاً، حيث ينظر إليها بعض الناس على أنها الثورة الصناعية الرابعة. أدت ظهور النماذج الكبيرة إلى تعزيز كفاءة مختلف القطاعات، حيث يُقدر أن GPT زاد من كفاءة العمل في الولايات المتحدة بنحو 20%. كما يُعتبر القدرة على التعميم التي توفرها النماذج الكبيرة نموذج تصميم برمجي جديد، حيث كان تصميم البرمجيات في الماضي يعتمد على الشيفرات الدقيقة، أما الآن فأصبح التركيز أكثر على دمج إطار النماذج الكبيرة العامة في البرمجيات، مما يجعل البرمجيات تتمتع بأداء أفضل ودعم أوسع للأنماط. لقد جلبت تقنيات التعلم العميق بالفعل جولة جديدة من الازدهار لصناعة الذكاء الاصطناعي، وانتشرت هذه الموجة أيضاً إلى صناعة العملات المشفرة.
سيتناول هذا التقرير بالتفصيل تاريخ تطور صناعة الذكاء الاصطناعي، وتصنيفات التكنولوجيا، وتأثير تقنية التعلم العميق على الصناعة. ثم سنقوم بتحليل شامل لحالة وتوجهات تطوير سلسلة القيمة المتعلقة بالتعلم العميق، بما في ذلك وحدات معالجة الرسوميات (GPU)، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية. أخيرًا، سنتناول من حيث الجوهر العلاقة بين العملات المشفرة وصناعة الذكاء الاصطناعي، وسنقوم بتوضيح هيكل سلسلة القيمة المتعلقة بالذكاء الاصطناعي المرتبطة بالعملات المشفرة.
بدأت صناعة الذكاء الاصطناعي في الخمسينيات من القرن العشرين، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة وخلفيات علمية متعددة مجموعة متنوعة من المدارس لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة بشكل رئيسي مصطلح "تعلم الآلة"، وتتمثل فكرته في السماح للآلات بتحسين أداء النظام من خلال التكرار المتكرر في المهام بالاعتماد على البيانات. والخطوات الرئيسية هي إدخال البيانات إلى الخوارزمية، وتدريب النموذج باستخدام البيانات، واختبار النموذج ونشره، واستخدام النموذج لإكمال مهام التنبؤ التلقائي.
توجد ثلاثة مدارس رئيسية في التعلم الآلي، وهي الشبكات العصبية، الرمزية، والسلوكية، والتي تحاكي على التوالي النظام العصبي البشري، الفكر، والسلوك.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة](https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
في الوقت الحالي، تهيمن نظرية الاتصال المرتبطة بالشبكات العصبية، والمعروفة أيضًا باسم التعلم العميق، على الساحة. السبب الرئيسي وراء ذلك هو أن هذا الهيكل يحتوي على طبقة إدخال وطبقة إخراج، ولكن به العديد من الطبقات المخفية. عندما تكون عدد الطبقات وعدد الخلايا العصبية كافيين، هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وبعد عدة تجارب بيانات، ستصل هذه الخلايا العصبية إلى الحالة المثلى، وهذه هي أيضًا أصل كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
على سبيل المثال، يمكن فهمه ببساطة على أنه بناء دالة، حيث تكون الدالة المدخلة X=2 تعطي Y=3؛ وعندما X=3 تعطي Y=5، وإذا كنت تريد أن تتعامل هذه الدالة مع جميع قيم X، فسيتعين عليك باستمرار إضافة درجات هذه الدالة ومعاملاتها، على سبيل المثال، يمكن بناء دالة تلبي هذه الشروط وهي Y = 2X -1، ولكن إذا كانت هناك نقطة بيانات واحدة X=2 و Y=11، فستحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاث، واستخدام GPU للكسر العنيف لتكتشف أن Y = X2 -3X +5 مناسبة أكثر، ولكنها لا تحتاج إلى التطابق التام مع البيانات، يكفي فقط الالتزام بالتوازن، والإخراج المماثل بشكل عام. هنا، X2 و X و X0 تمثل خلايا عصبية مختلفة، بينما 1 و -3 و 5 هي معلماتها.
في هذه الحالة، إذا قمنا بإدخال كميات كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية وتعديل المعلمات لتناسب البيانات الجديدة. بهذه الطريقة، يمكننا التكيف مع جميع البيانات.
تستند تقنية التعلم العميق المعتمدة على الشبكات العصبية إلى عدة تكرارات وتطورات تقنية، مثل الشبكات العصبية المبكرة، والشبكات العصبية التغذوية، والشبكات العصبية المتكررة، والشبكات العصبية التلافيفية، والشبكات التنافسية، وأخيراً تطورت إلى نماذج كبيرة حديثة مثل تقنية Transformer المستخدمة في GPT وغيرها. تقنية Transformer هي مجرد اتجاه تطوري واحد للشبكات العصبية، حيث تم إضافة محول ) Transformer (، والذي يُستخدم لترميز جميع الأنماط ) مثل الصوت، الفيديو، الصور، إلخ ( إلى قيم عددية مناسبة للتعبير عنها. ثم يتم إدخالها إلى الشبكة العصبية، بحيث يمكن للشبكة العصبية ملاءمة أي نوع من البيانات، مما يعني تحقيق تعدد الوسائط.
شهد تطور الذكاء الاصطناعي ثلاث موجات تقنية. كانت الموجة الأولى في الستينيات من القرن العشرين، بعد عشر سنوات من طرح تقنية الذكاء الاصطناعي. كانت هذه الموجة ناتجة عن تطور تقنية الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة والحوار بين الإنسان والآلة. في نفس الفترة، ظهرت أنظمة الخبراء، مثل نظام DENRAL الذي أنجزته بعض المؤسسات، والذي يمتلك معرفة كيميائية قوية جداً، ويقوم باستنتاج الإجابات مثل خبير كيميائي عبر طرح الأسئلة. يمكن اعتبار نظام خبير الكيمياء هذا مزيجاً من قاعدة المعرفة الكيميائية ونظام الاستنتاج.
بعد نظام الخبراء، اقترح العلماء في التسعينيات شبكة بايز، والتي تُعرف أيضًا بشبكة المعتقدات. في نفس الفترة، قدم بروكس علم الروبوتات القائم على السلوك، مما يمثل ولادة السلوكية.
في عام 1997، هزم نظام الكمبيوتر العميق الأزرق "Blue" بواقع 3.5:2.5 بطل الشطرنج كاسباروف )Kasparov(، وقد اعتُبرت هذه الانتصار علامة بارزة في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة تطورها الثانية.
حدثت الموجة الثالثة من تكنولوجيا الذكاء الاصطناعي في عام 2006. قدم عمالقة التعلم العميق يان ليكون وجيفري هينتون ويوشوا بنجيو مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجيًا، من RNN وGAN إلى Transformer وStable Diffusion، حيث شكلت هذه الخوارزميات معًا هذه الموجة التقنية الثالثة، وكانت هذه أيضًا فترة ازدهار الارتباطية.
ظهرت العديد من الأحداث الرمزية بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم نظام شركة تكنولوجيا في برنامج اختبار الإجابات "خطر" )Jeopardy( الإنسان ليحقق البطولة.
في عام 2014، اقترح Goodfellow شبكة GAN) التوليدية التنافسية، Generative Adversarial Network(، من خلال السماح لشبكتين عصبيتين بالتنافس مع بعضهما البعض، يمكنها توليد صور تبدو حقيقية. في الوقت نفسه، كتب Goodfellow أيضًا كتابًا بعنوان "Deep Learning"، المعروف باسم الكتاب الزهري، وهو واحد من الكتب التمهيدية المهمة في مجال التعلم العميق.
في عام 2015، اقترح هينتون وآخرون خوارزمية التعلم العميق في مجلة "Nature"، وقد أثار هذا الاقتراح لطريقة التعلم العميق ردود فعل هائلة في الأوساط الأكاديمية والصناعية.
في عام 2015، تم إنشاء شركة للذكاء الاصطناعي، وأعلن العديد من الشخصيات البارزة عن استثمار مشترك قدره 10 مليارات دولار.
في عام 2016، خاضت AlphaGo المعتمدة على تقنية التعلم العميق معركة إنسان ضد آلة في لعبة Go ضد بطل العالم في اللعبة، لاعب Go المحترف من الدرجة التاسعة لي شيد شي، حيث حققت الفوز بمجموع نقاط 4 مقابل 1.
في عام 2017، قامت شركة بتطوير إنسان آلي يُدعى صوفيا، والذي يُعتبر أول إنسان آلي يحصل على صفة مواطن من الدرجة الأولى في التاريخ، ويتميز بتعابير وجه غنية وقدرة على فهم اللغة البشرية.
في عام 2017، أصدرت شركة ذات خبرة غنية في مجال الذكاء الاصطناعي، واحتياطي تقني، ورقة بحثية بعنوان "Attention is all you need"، مما أدى إلى ظهور خوارزمية Transformer وظهور نماذج اللغة على نطاق واسع.
في عام 2018، أصدرت شركة نموذج GPT) القائم على خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت فريق من شركة معينة AlphaGo القائم على التعلم العميق، الذي يمكنه التنبؤ بهيكل البروتينات، ويعتبر علامة على تقدم كبير في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت إحدى الشركات نموذج GPT-2، والذي يحتوي على 1.5 مليار معلمة.
في عام 2020، طورت إحدى الشركات GPT-3، الذي يحتوي على 175 مليار معلمة، وهو أعلى بمعدل 100 مرة من النسخة السابقة GPT-2، تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية مثل الإجابة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت شركة ما نموذج GPT-4، الذي يحتوي على 1.76 تريليون معلمة، وهو 10 أضعاف GPT-3.
تم إطلاق تطبيق ChatGPT المستند إلى نموذج GPT-4 في يناير 2023، وفي مارس، وصل ChatGPT إلى مئة مليون مستخدم، ليصبح التطبيق الذي وصل إلى مئة مليون مستخدم في أسرع وقت في التاريخ.
تستخدم نماذج اللغة الكبيرة الحالية طرق التعلم العميق المعتمدة على الشبكات العصبية. وقد أدى ظهور نماذج مثل GPT إلى حدوث طفرة في الذكاء الاصطناعي، حيث تدفق الكثير من اللاعبين إلى هذا المجال، كما اكتشفنا أن السوق تشهد زيادة كبيرة في الطلب على البيانات وقوة الحوسبة. لذلك، في هذا الجزء من التقرير، نستكشف بشكل أساسي سلسلة التوريد لخوارزميات التعلم العميق، وكيف تتكون السلسلة العليا والسفلى في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي حالة السلسلتين العليا والسفلى وعلاقة العرض والطلب، وما هو التطور المستقبلي.
أولاً، نحتاج إلى توضيح أنه عند إجراء تدريب نماذج LLMs الكبيرة التي يقودها GPT بناءً على تقنية Transformer، يتم تقسيم العملية إلى ثلاث خطوات.
قبل التدريب، وبما أنه يعتمد على نموذج Transformer، فإن المحول يحتاج إلى تحويل إدخال النص إلى قيم رقمية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم بالأصوات (Tokens). وفقًا للقواعد العامة، يمكن اعتبار كلمة أو حرف إنجليزي تقريبا كصوت واحد، في حين يمكن اعتبار كل حرف صيني بشكل تقريبي كصوتين. وهذه هي الوحدة الأساسية المستخدمة لتقييم GPT.
الخطوة الأولى، التدريب المسبق. من خلال تزويد طبقة الإدخال بعدد كافٍ من أزواج البيانات، مثل المثال المذكور في الجزء الأول من التقرير (X، Y)، للبحث عن أفضل معلمات لكل خلية عصبية تحت هذا النموذج، في هذه اللحظة نحتاج إلى كمية كبيرة من البيانات، وهذه العملية هي الأكثر استهلاكًا للقدرة الحاسوبية، لأنها تتطلب تكرار محاولة الخلايا العصبية لمجموعة متنوعة من المعلمات. بعد الانتهاء من تدريب مجموعة من أزواج البيانات، يتم عادةً استخدام نفس مجموعة البيانات للتدريب الثانوي لتكرار المعلمات.
الخطوة الثانية، الضبط الدقيق. الضبط الدقيق هو إعطاء مجموعة صغيرة ولكنها عالية الجودة من البيانات للتدريب، مثل هذا التغيير سيجعل مخرجات النموذج ذات جودة أعلى، لأن التدريب المسبق يحتاج إلى كميات كبيرة من البيانات، لكن الكثير من هذه البيانات قد تحتوي على أخطاء أو جودة منخفضة. يمكن أن تعزز خطوة الضبط الدقيق جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً سيتم إنشاء نموذج جديد تمامًا، نسميه "نموذج المكافأة"، والغرض من هذا النموذج بسيط جدًا، وهو تصنيف نتائج المخرجات، لذلك سيكون تنفيذ هذا النموذج بسيطًا نسبيًا، لأن سيناريو العمل عمودي. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير عالية الجودة، وبالتالي يمكننا استخدام نموذج المكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ( ولكن في بعض الأحيان نحتاج أيضًا إلى المشاركة البشرية لتقييم جودة مخرجات النموذج )
باختصار، خلال عملية تدريب النماذج الكبيرة، هناك متطلبات عالية جدًا لكمية البيانات في مرحلة ما قبل التدريب، كما أن الطاقة الحاسوبية المطلوبة من وحدات معالجة الرسومات (GPU) هي الأعلى أيضًا، بينما يتطلب التعديل الدقيق بيانات عالية الجودة لتحسين المعلمات، ويمكن أن تستخدم التعلم المعزز نموذج مكافأة لتكرار المعلمات بشكل متكرر من أجل إنتاج نتائج ذات جودة أعلى.
أثناء عملية التدريب، كلما زادت المعلمات، زادت قدرة التعميم القصوى. على سبيل المثال، في مثال وظيفة Y = aX + b، هناك في الواقع عصبان X و X0. لذلك، كيفما تغيرت المعلمات، فإن البيانات التي يمكن ملاءمتها تكون محدودة للغاية، لأن طبيعتها لا تزال خطًا مستقيمًا. إذا زاد عدد العصبونات، فيمكن تكرار المزيد من المعلمات، وبالتالي يمكن ملاءمة المزيد من البيانات. وهذا هو السبب في أن النماذج الكبيرة تحقق إنجازات مذهلة، وأيضًا هو السبب في أن الاسم الشائع هو "نموذج كبير"، لأنه في الأساس يحتوي على عدد هائل من العصبونات والمعلمات، وكمية هائلة من البيانات، وفي الوقت نفسه يحتاج إلى قدرة حسابية هائلة.
لذا، فإن أداء النماذج الكبيرة يتحدد بشكل رئيسي من ثلاثة عوامل: عدد المعلمات، كمية وجودة البيانات، والقدرة الحاسوبية. نفترض أن عدد المعلمات هو p، وكمية البيانات هي n( المحسوبة بناءً على عدد الرموز)، وبالتالي يمكننا حساب كمية الحساب المطلوبة من خلال قاعدة تجريبية عامة، مما يمكننا من تقدير كمية القدرة الحاسوبية التي نحتاج إلى شرائها ومدة التدريب.
تُعتبر قوة الحوسبة عمومًا وحدة قياسها هي Flops، والتي تمثل عملية حسابية عائمة واحدة، والعمليات الحسابية العائمة هي مصطلح شامل لعمليات الجمع والطرح والضرب والقسمة للأرقام غير الصحيحة، مثل 2.5 + 3.557. وتُشير "عائمة" إلى القدرة على حمل الأرقام العشرية، بينما FP16 تمثل دقة تدعم الأرقام العشرية، وFP32 هي دقة أكثر شيوعًا بشكل عام. وفقًا لقواعد التجربة العملية، يتطلب التدريب المسبق (Pre-traning) مرة واحدة ( عادةً تدريب نماذج كبيرة متعددة المرات )، ويحتاج تقريبًا إلى 6np Flops، حيث يُعتبر 6 ثابتًا صناعيًا. أما الاستدلال (Inference، فهو العملية التي ندخل فيها بيانات، وننتظر مخرجات النموذج الكبير )، مقسمة إلى جزئين، إدخال n توكن، وإخراج.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 15
أعجبني
15
5
إعادة النشر
مشاركة
تعليق
0/400
CryptoSourGrape
· 08-16 11:46
لو كنت قد استثمرت في All in AI في وقت مبكر، ربما كنت الآن مستلقياً وأقود LAMB... الآن لا يمكنني سوى العمل بجد كل يوم.
شاهد النسخة الأصليةرد0
MEVHunterZhang
· 08-16 08:42
مرة أخرى، يُستغل بغباء بواسطة الذكاء الاصطناعي
شاهد النسخة الأصليةرد0
SeasonedInvestor
· 08-16 08:42
20٪ هو ثور على الأرجح
شاهد النسخة الأصليةرد0
AirdropSkeptic
· 08-16 08:41
炒到顶了 等着 خداع الناس لتحقيق الربح吧
شاهد النسخة الأصليةرد0
CryptoPhoenix
· 08-16 08:41
السوق الصاعدة لا تبعد كثيرًا، فن renaissance للذكاء الاصطناعي أعطى الأمل للعملات الرقمية... سوق الدببة تشكل العقلية، والإيمان لا يموت أبدًا
الذكاء الاصطناعي وقطاع الأصول الرقمية العمق融合 نماذج كبيرة تقود موجة تقنية جديدة
الذكاء الاصطناعي x العملات الرقمية: من الصفر إلى القمة
شهدت صناعة الذكاء الاصطناعي في الآونة الأخيرة تطوراً سريعاً، حيث ينظر إليها بعض الناس على أنها الثورة الصناعية الرابعة. أدت ظهور النماذج الكبيرة إلى تعزيز كفاءة مختلف القطاعات، حيث يُقدر أن GPT زاد من كفاءة العمل في الولايات المتحدة بنحو 20%. كما يُعتبر القدرة على التعميم التي توفرها النماذج الكبيرة نموذج تصميم برمجي جديد، حيث كان تصميم البرمجيات في الماضي يعتمد على الشيفرات الدقيقة، أما الآن فأصبح التركيز أكثر على دمج إطار النماذج الكبيرة العامة في البرمجيات، مما يجعل البرمجيات تتمتع بأداء أفضل ودعم أوسع للأنماط. لقد جلبت تقنيات التعلم العميق بالفعل جولة جديدة من الازدهار لصناعة الذكاء الاصطناعي، وانتشرت هذه الموجة أيضاً إلى صناعة العملات المشفرة.
سيتناول هذا التقرير بالتفصيل تاريخ تطور صناعة الذكاء الاصطناعي، وتصنيفات التكنولوجيا، وتأثير تقنية التعلم العميق على الصناعة. ثم سنقوم بتحليل شامل لحالة وتوجهات تطوير سلسلة القيمة المتعلقة بالتعلم العميق، بما في ذلك وحدات معالجة الرسوميات (GPU)، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية. أخيرًا، سنتناول من حيث الجوهر العلاقة بين العملات المشفرة وصناعة الذكاء الاصطناعي، وسنقوم بتوضيح هيكل سلسلة القيمة المتعلقة بالذكاء الاصطناعي المرتبطة بالعملات المشفرة.
! علم الوافد الجديد 丨 الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة
تاريخ تطور صناعة الذكاء الاصطناعي
بدأت صناعة الذكاء الاصطناعي في الخمسينيات من القرن العشرين، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة وخلفيات علمية متعددة مجموعة متنوعة من المدارس لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة بشكل رئيسي مصطلح "تعلم الآلة"، وتتمثل فكرته في السماح للآلات بتحسين أداء النظام من خلال التكرار المتكرر في المهام بالاعتماد على البيانات. والخطوات الرئيسية هي إدخال البيانات إلى الخوارزمية، وتدريب النموذج باستخدام البيانات، واختبار النموذج ونشره، واستخدام النموذج لإكمال مهام التنبؤ التلقائي.
توجد ثلاثة مدارس رئيسية في التعلم الآلي، وهي الشبكات العصبية، الرمزية، والسلوكية، والتي تحاكي على التوالي النظام العصبي البشري، الفكر، والسلوك.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة](https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
في الوقت الحالي، تهيمن نظرية الاتصال المرتبطة بالشبكات العصبية، والمعروفة أيضًا باسم التعلم العميق، على الساحة. السبب الرئيسي وراء ذلك هو أن هذا الهيكل يحتوي على طبقة إدخال وطبقة إخراج، ولكن به العديد من الطبقات المخفية. عندما تكون عدد الطبقات وعدد الخلايا العصبية كافيين، هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وبعد عدة تجارب بيانات، ستصل هذه الخلايا العصبية إلى الحالة المثلى، وهذه هي أيضًا أصل كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
على سبيل المثال، يمكن فهمه ببساطة على أنه بناء دالة، حيث تكون الدالة المدخلة X=2 تعطي Y=3؛ وعندما X=3 تعطي Y=5، وإذا كنت تريد أن تتعامل هذه الدالة مع جميع قيم X، فسيتعين عليك باستمرار إضافة درجات هذه الدالة ومعاملاتها، على سبيل المثال، يمكن بناء دالة تلبي هذه الشروط وهي Y = 2X -1، ولكن إذا كانت هناك نقطة بيانات واحدة X=2 و Y=11، فستحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاث، واستخدام GPU للكسر العنيف لتكتشف أن Y = X2 -3X +5 مناسبة أكثر، ولكنها لا تحتاج إلى التطابق التام مع البيانات، يكفي فقط الالتزام بالتوازن، والإخراج المماثل بشكل عام. هنا، X2 و X و X0 تمثل خلايا عصبية مختلفة، بينما 1 و -3 و 5 هي معلماتها.
في هذه الحالة، إذا قمنا بإدخال كميات كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية وتعديل المعلمات لتناسب البيانات الجديدة. بهذه الطريقة، يمكننا التكيف مع جميع البيانات.
تستند تقنية التعلم العميق المعتمدة على الشبكات العصبية إلى عدة تكرارات وتطورات تقنية، مثل الشبكات العصبية المبكرة، والشبكات العصبية التغذوية، والشبكات العصبية المتكررة، والشبكات العصبية التلافيفية، والشبكات التنافسية، وأخيراً تطورت إلى نماذج كبيرة حديثة مثل تقنية Transformer المستخدمة في GPT وغيرها. تقنية Transformer هي مجرد اتجاه تطوري واحد للشبكات العصبية، حيث تم إضافة محول ) Transformer (، والذي يُستخدم لترميز جميع الأنماط ) مثل الصوت، الفيديو، الصور، إلخ ( إلى قيم عددية مناسبة للتعبير عنها. ثم يتم إدخالها إلى الشبكة العصبية، بحيث يمكن للشبكة العصبية ملاءمة أي نوع من البيانات، مما يعني تحقيق تعدد الوسائط.
شهد تطور الذكاء الاصطناعي ثلاث موجات تقنية. كانت الموجة الأولى في الستينيات من القرن العشرين، بعد عشر سنوات من طرح تقنية الذكاء الاصطناعي. كانت هذه الموجة ناتجة عن تطور تقنية الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة والحوار بين الإنسان والآلة. في نفس الفترة، ظهرت أنظمة الخبراء، مثل نظام DENRAL الذي أنجزته بعض المؤسسات، والذي يمتلك معرفة كيميائية قوية جداً، ويقوم باستنتاج الإجابات مثل خبير كيميائي عبر طرح الأسئلة. يمكن اعتبار نظام خبير الكيمياء هذا مزيجاً من قاعدة المعرفة الكيميائية ونظام الاستنتاج.
بعد نظام الخبراء، اقترح العلماء في التسعينيات شبكة بايز، والتي تُعرف أيضًا بشبكة المعتقدات. في نفس الفترة، قدم بروكس علم الروبوتات القائم على السلوك، مما يمثل ولادة السلوكية.
في عام 1997، هزم نظام الكمبيوتر العميق الأزرق "Blue" بواقع 3.5:2.5 بطل الشطرنج كاسباروف )Kasparov(، وقد اعتُبرت هذه الانتصار علامة بارزة في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة تطورها الثانية.
حدثت الموجة الثالثة من تكنولوجيا الذكاء الاصطناعي في عام 2006. قدم عمالقة التعلم العميق يان ليكون وجيفري هينتون ويوشوا بنجيو مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجيًا، من RNN وGAN إلى Transformer وStable Diffusion، حيث شكلت هذه الخوارزميات معًا هذه الموجة التقنية الثالثة، وكانت هذه أيضًا فترة ازدهار الارتباطية.
ظهرت العديد من الأحداث الرمزية بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم نظام شركة تكنولوجيا في برنامج اختبار الإجابات "خطر" )Jeopardy( الإنسان ليحقق البطولة.
في عام 2014، اقترح Goodfellow شبكة GAN) التوليدية التنافسية، Generative Adversarial Network(، من خلال السماح لشبكتين عصبيتين بالتنافس مع بعضهما البعض، يمكنها توليد صور تبدو حقيقية. في الوقت نفسه، كتب Goodfellow أيضًا كتابًا بعنوان "Deep Learning"، المعروف باسم الكتاب الزهري، وهو واحد من الكتب التمهيدية المهمة في مجال التعلم العميق.
في عام 2015، اقترح هينتون وآخرون خوارزمية التعلم العميق في مجلة "Nature"، وقد أثار هذا الاقتراح لطريقة التعلم العميق ردود فعل هائلة في الأوساط الأكاديمية والصناعية.
في عام 2015، تم إنشاء شركة للذكاء الاصطناعي، وأعلن العديد من الشخصيات البارزة عن استثمار مشترك قدره 10 مليارات دولار.
في عام 2016، خاضت AlphaGo المعتمدة على تقنية التعلم العميق معركة إنسان ضد آلة في لعبة Go ضد بطل العالم في اللعبة، لاعب Go المحترف من الدرجة التاسعة لي شيد شي، حيث حققت الفوز بمجموع نقاط 4 مقابل 1.
في عام 2017، قامت شركة بتطوير إنسان آلي يُدعى صوفيا، والذي يُعتبر أول إنسان آلي يحصل على صفة مواطن من الدرجة الأولى في التاريخ، ويتميز بتعابير وجه غنية وقدرة على فهم اللغة البشرية.
في عام 2017، أصدرت شركة ذات خبرة غنية في مجال الذكاء الاصطناعي، واحتياطي تقني، ورقة بحثية بعنوان "Attention is all you need"، مما أدى إلى ظهور خوارزمية Transformer وظهور نماذج اللغة على نطاق واسع.
في عام 2018، أصدرت شركة نموذج GPT) القائم على خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت فريق من شركة معينة AlphaGo القائم على التعلم العميق، الذي يمكنه التنبؤ بهيكل البروتينات، ويعتبر علامة على تقدم كبير في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت إحدى الشركات نموذج GPT-2، والذي يحتوي على 1.5 مليار معلمة.
في عام 2020، طورت إحدى الشركات GPT-3، الذي يحتوي على 175 مليار معلمة، وهو أعلى بمعدل 100 مرة من النسخة السابقة GPT-2، تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية مثل الإجابة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت شركة ما نموذج GPT-4، الذي يحتوي على 1.76 تريليون معلمة، وهو 10 أضعاف GPT-3.
تم إطلاق تطبيق ChatGPT المستند إلى نموذج GPT-4 في يناير 2023، وفي مارس، وصل ChatGPT إلى مئة مليون مستخدم، ليصبح التطبيق الذي وصل إلى مئة مليون مستخدم في أسرع وقت في التاريخ.
في عام 2024، أطلقت شركة ما GPT-4 أومني.
! علم الوافد الجديد 丨الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة
سلسلة صناعة التعلم العميق
تستخدم نماذج اللغة الكبيرة الحالية طرق التعلم العميق المعتمدة على الشبكات العصبية. وقد أدى ظهور نماذج مثل GPT إلى حدوث طفرة في الذكاء الاصطناعي، حيث تدفق الكثير من اللاعبين إلى هذا المجال، كما اكتشفنا أن السوق تشهد زيادة كبيرة في الطلب على البيانات وقوة الحوسبة. لذلك، في هذا الجزء من التقرير، نستكشف بشكل أساسي سلسلة التوريد لخوارزميات التعلم العميق، وكيف تتكون السلسلة العليا والسفلى في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي حالة السلسلتين العليا والسفلى وعلاقة العرض والطلب، وما هو التطور المستقبلي.
أولاً، نحتاج إلى توضيح أنه عند إجراء تدريب نماذج LLMs الكبيرة التي يقودها GPT بناءً على تقنية Transformer، يتم تقسيم العملية إلى ثلاث خطوات.
قبل التدريب، وبما أنه يعتمد على نموذج Transformer، فإن المحول يحتاج إلى تحويل إدخال النص إلى قيم رقمية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم بالأصوات (Tokens). وفقًا للقواعد العامة، يمكن اعتبار كلمة أو حرف إنجليزي تقريبا كصوت واحد، في حين يمكن اعتبار كل حرف صيني بشكل تقريبي كصوتين. وهذه هي الوحدة الأساسية المستخدمة لتقييم GPT.
الخطوة الأولى، التدريب المسبق. من خلال تزويد طبقة الإدخال بعدد كافٍ من أزواج البيانات، مثل المثال المذكور في الجزء الأول من التقرير (X، Y)، للبحث عن أفضل معلمات لكل خلية عصبية تحت هذا النموذج، في هذه اللحظة نحتاج إلى كمية كبيرة من البيانات، وهذه العملية هي الأكثر استهلاكًا للقدرة الحاسوبية، لأنها تتطلب تكرار محاولة الخلايا العصبية لمجموعة متنوعة من المعلمات. بعد الانتهاء من تدريب مجموعة من أزواج البيانات، يتم عادةً استخدام نفس مجموعة البيانات للتدريب الثانوي لتكرار المعلمات.
الخطوة الثانية، الضبط الدقيق. الضبط الدقيق هو إعطاء مجموعة صغيرة ولكنها عالية الجودة من البيانات للتدريب، مثل هذا التغيير سيجعل مخرجات النموذج ذات جودة أعلى، لأن التدريب المسبق يحتاج إلى كميات كبيرة من البيانات، لكن الكثير من هذه البيانات قد تحتوي على أخطاء أو جودة منخفضة. يمكن أن تعزز خطوة الضبط الدقيق جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً سيتم إنشاء نموذج جديد تمامًا، نسميه "نموذج المكافأة"، والغرض من هذا النموذج بسيط جدًا، وهو تصنيف نتائج المخرجات، لذلك سيكون تنفيذ هذا النموذج بسيطًا نسبيًا، لأن سيناريو العمل عمودي. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير عالية الجودة، وبالتالي يمكننا استخدام نموذج المكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ( ولكن في بعض الأحيان نحتاج أيضًا إلى المشاركة البشرية لتقييم جودة مخرجات النموذج )
باختصار، خلال عملية تدريب النماذج الكبيرة، هناك متطلبات عالية جدًا لكمية البيانات في مرحلة ما قبل التدريب، كما أن الطاقة الحاسوبية المطلوبة من وحدات معالجة الرسومات (GPU) هي الأعلى أيضًا، بينما يتطلب التعديل الدقيق بيانات عالية الجودة لتحسين المعلمات، ويمكن أن تستخدم التعلم المعزز نموذج مكافأة لتكرار المعلمات بشكل متكرر من أجل إنتاج نتائج ذات جودة أعلى.
أثناء عملية التدريب، كلما زادت المعلمات، زادت قدرة التعميم القصوى. على سبيل المثال، في مثال وظيفة Y = aX + b، هناك في الواقع عصبان X و X0. لذلك، كيفما تغيرت المعلمات، فإن البيانات التي يمكن ملاءمتها تكون محدودة للغاية، لأن طبيعتها لا تزال خطًا مستقيمًا. إذا زاد عدد العصبونات، فيمكن تكرار المزيد من المعلمات، وبالتالي يمكن ملاءمة المزيد من البيانات. وهذا هو السبب في أن النماذج الكبيرة تحقق إنجازات مذهلة، وأيضًا هو السبب في أن الاسم الشائع هو "نموذج كبير"، لأنه في الأساس يحتوي على عدد هائل من العصبونات والمعلمات، وكمية هائلة من البيانات، وفي الوقت نفسه يحتاج إلى قدرة حسابية هائلة.
لذا، فإن أداء النماذج الكبيرة يتحدد بشكل رئيسي من ثلاثة عوامل: عدد المعلمات، كمية وجودة البيانات، والقدرة الحاسوبية. نفترض أن عدد المعلمات هو p، وكمية البيانات هي n( المحسوبة بناءً على عدد الرموز)، وبالتالي يمكننا حساب كمية الحساب المطلوبة من خلال قاعدة تجريبية عامة، مما يمكننا من تقدير كمية القدرة الحاسوبية التي نحتاج إلى شرائها ومدة التدريب.
تُعتبر قوة الحوسبة عمومًا وحدة قياسها هي Flops، والتي تمثل عملية حسابية عائمة واحدة، والعمليات الحسابية العائمة هي مصطلح شامل لعمليات الجمع والطرح والضرب والقسمة للأرقام غير الصحيحة، مثل 2.5 + 3.557. وتُشير "عائمة" إلى القدرة على حمل الأرقام العشرية، بينما FP16 تمثل دقة تدعم الأرقام العشرية، وFP32 هي دقة أكثر شيوعًا بشكل عام. وفقًا لقواعد التجربة العملية، يتطلب التدريب المسبق (Pre-traning) مرة واحدة ( عادةً تدريب نماذج كبيرة متعددة المرات )، ويحتاج تقريبًا إلى 6np Flops، حيث يُعتبر 6 ثابتًا صناعيًا. أما الاستدلال (Inference، فهو العملية التي ندخل فيها بيانات، وننتظر مخرجات النموذج الكبير )، مقسمة إلى جزئين، إدخال n توكن، وإخراج.