تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تُعتبر عملية تدريب النماذج هي المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاءً خفيف الوزن، تحتاج عملية التدريب إلى استثمار مستمر من قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور نماذج الهندسة، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، بالإضافة إلى التدريب اللامركزي الذي نناقشه في هذه المقالة.
التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعة، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه الهندسة المعمارية المتكاملة تعزز كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، مما يجعلها مثالية لتدريب نماذج كبيرة مثل GPT وGemini، وتتميز بفعالية عالية، وموارد قابلة للتحكم، ولكنها تعاني في الوقت نفسه من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الواحدة.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، من أجل التغلب على قيود حساب وتخزين آلة واحدة. على الرغم من أنه يتمتع بخصائص "اللامركزية" على المستوى الفيزيائي، إلا أن الكل لا يزال تحت سيطرة مركزية من قبل مؤسسة واحدة للتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الطرق السائدة:
التوازي البياني: كل عقدة تدرب معلمات بيانات مختلفة تشارك، يجب مطابقة أوزان النموذج
التوازي في النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
التنفيذ المتوازي: تنفيذ متسلسل على مراحل، مما يزيد من معدل النقل
تقسيم التنسور: تقسيم دقيق لحساب المصفوفة، وزيادة درجة التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يمكن تشبيهه بمدير واحد يدير عن بُعد تعاون موظفين من عدة "مكاتب" لإكمال المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
تدريب اللامركزية يمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزته الأساسية في: عدة عقد غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية أو وحدات معالجة رسومات سحابية أو أجهزة حافة ) تتعاون لإكمال مهام التدريب بدون منسق مركزي، عادةً من خلال بروتوكول يدفع توزيع المهام والتعاون، وبمساعدة آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة تباين الأجهزة وتقسيمها: التنسيق بين الأجهزة المتباينة صعب، وكفاءة تقسيم المهام منخفضة
عنق زجاجة كفاءة الاتصال: الاتصال الشبكي غير مستقر, وعائق التزامن في التدرج واضح
نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب.
نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، آلية التراجع عن الأخطاء معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين في جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز الصدق + الحصول على نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي كشكل انتقال بين التوزيع واللامركزية، يبرز الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية، والمالية ). يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا مزايا توزيع البيانات للتدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث تكون مهام التدريب، وبنية الثقة، وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من حيث نمط التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو الاحتياجات العالية من الموارد، أو صعوبة التعاون، فإنه لا يناسب بطبيعته الإنجاز بكفاءة بين العقد المتباينة والموثوق بها. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية وسرعة استجابة منخفضة وعرض نطاق ترددي مرتفع، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكة المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة مثل الرعاية الصحية والمالية، بالإضافة إلى البيانات الحساسة، مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما المهام التي تفتقر إلى حوافز التعاون مثل نماذج الشركات المغلقة أو تدريب النماذج الداخلية، تفتقر إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الحالية لتدريب اللامركزية.
لكن هذا لا يعني أن التدريب اللامركزي هو وهم. في الواقع، في فئات المهام الخفيفة الهيكل، سهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، ولكن لا تقتصر على: ضبط LoRA، مهام التدريب بعد المحاذاة السلوكية مثل RLHF، DPO(، تدريب ووسم البيانات عبر الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، بالإضافة إلى سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، والقدرة على تحمل قوة الحوسبة غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال الشبكات الند للند، وبروتوكول Swarm، والمُحسِّنات الموزعة.
![تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التقنية للتعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp(
) اللامركزية تدريب الكلاسيكيات تحليل المشروع
حاليًا في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع البارزة في مجال البلوكشين بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما المسارات التنفيذية لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن ملاحظة تقدم أولي نحو الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، بالإضافة إلى مناقشة الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
(# Prime Intellect: رائد الشبكات التعاونية لتعلم التعزيز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماتهم الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات هي PRIME-RL و TOPLOC و SHARDCAST، في بناء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق، والانفتاح، وآلية تحفيز كاملة.
أ. هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية
![تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التقنية للتعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp(
ثانياً، شرح الآلية الرئيسية لتدريب Prime Intellect
PRIME-RL: بنية مهمة التعلم المعزز غير المتزامن المفككة
PRIME-RL هو إطار نموذج وتنفيذ المهام المخصص من Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكييف أولي، حيث يفكك هيكليًا عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإنجاز دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع العمليات التقليدية للتعلم الخاضع للإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق من سلوك التدريب خفيفة الوزن
TOPLOC)الملاحظة الموثوقة & فحص السياسة المحلية### هي آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كانت العقدة قد أنجزت فعلاً تعلم استراتيجية فعالة استنادًا إلى بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسار المحلي بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية". إنها تحول لأول مرة سلوك المسار خلال عملية التدريب إلى كائنات قابلة للتحقق، مما يمثل ابتكارًا رئيسيًا لتحقيق توزيع مكافآت تدريب لا يعتمد على الثقة، ويقدم مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية اللامركزية يمكن تدقيقها وتحفيزها.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول نقل الوزن والتجميع المصمم من قبل Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية والقيود على العرض ووجود حالات متعددة للعقد. يجمع بين آلية نقل الأخبار واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالات غير متزامنة، مما يحقق تقاربًا تدريجيًا للوزن وتطورًا متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل كبير من قابلية التوسع وقدرة التحمل في التدريب اللامركزي، ويشكل الأساس الأساسي لبناء توافق وزن مستقر وتكرار التدريب المستمر.
OpenDiLoCo: إطار الاتصالات غير المتزامنة النادرة
OpenDiLoCo هو إطار تحسين الاتصالات مستقل ومفتوح المصدر تم تحقيقه من قبل فريق Prime Intellect استنادًا إلى فكرة DiLoCo التي اقترحتها DeepMind، تم تصميمه خصيصًا للتحديات الشائعة مثل قيود النطاق الترددي، والتباين بين الأجهزة، وعدم استقرار العقد في التدريب اللامركزي. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصالات الناتجة عن المزامنة العالمية، ويعتمد فقط على عقد الجوار المحلية لإكمال تدريب النموذج بشكل تعاوني. بالجمع بين التحديثات غير المتزامنة وآلية التحمل للنقاط الفاشلة، يجعل OpenDiLoCo وحدات معالجة الرسومات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل ملحوظ إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لا مركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL###Prime Collective Communication Library( هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل اختناقات التكيف في المكتبات التقليدية ) مثل NCCL وGloo( في الأجهزة غير المتجانسة والشبكات منخفضة النطاق. تدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط المتقطعة، ويمكن تشغيلها على وحدات معالجة الرسومات الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد عززت بشكل كبير من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.
ثالثًا، شبكة Prime Intellect للتحفيز وتوزيع الأدوار
قام Prime Intellect بإنشاء شبكة تدريب قابلة للتحقق ولا تتطلب إذنًا، مزودة بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
عقد تدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات الملاحظة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST( وصرف المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
![تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى ثورة تقنية التعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-45f26de57a53ac937af683e629dbb804.webp(
أربعة، INTELLECT-2: إصدار أول نموذج تدريب لامركزي يمكن التحقق منه
أطلقت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة. يبلغ حجم المعلمات 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متباينة موزعة عبر ثلاث قارات، باستخدام بنية غير متزامنة تمامًا، مدة التدريب
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 20
أعجبني
20
4
إعادة النشر
مشاركة
تعليق
0/400
BlockchainTherapist
· 07-30 18:48
ذهب إلى المجموعة
شاهد النسخة الأصليةرد0
AirdropBlackHole
· 07-30 16:40
التعدين تعدين إلى坏掉了
شاهد النسخة الأصليةرد0
Hash_Bandit
· 07-30 13:29
همم، تدريب الذكاء الاصطناعي اللامركزي يبدو مثل مجمعات التعدين في عام 2013... نفس تحديات البنية التحتية بصراحة.
شاهد النسخة الأصليةرد0
PonziDetector
· 07-30 13:15
إنه عمل زائد، من الأفضل أن نجعل التوافق مع EVM جيداً مباشرةً.
تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى التحول التكنولوجي للتعاون اللامركزي
تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تُعتبر عملية تدريب النماذج هي المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاءً خفيف الوزن، تحتاج عملية التدريب إلى استثمار مستمر من قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور نماذج الهندسة، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، بالإضافة إلى التدريب اللامركزي الذي نناقشه في هذه المقالة.
التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعة، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه الهندسة المعمارية المتكاملة تعزز كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، مما يجعلها مثالية لتدريب نماذج كبيرة مثل GPT وGemini، وتتميز بفعالية عالية، وموارد قابلة للتحكم، ولكنها تعاني في الوقت نفسه من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الواحدة.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، من أجل التغلب على قيود حساب وتخزين آلة واحدة. على الرغم من أنه يتمتع بخصائص "اللامركزية" على المستوى الفيزيائي، إلا أن الكل لا يزال تحت سيطرة مركزية من قبل مؤسسة واحدة للتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الطرق السائدة:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يمكن تشبيهه بمدير واحد يدير عن بُعد تعاون موظفين من عدة "مكاتب" لإكمال المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
تدريب اللامركزية يمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزته الأساسية في: عدة عقد غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية أو وحدات معالجة رسومات سحابية أو أجهزة حافة ) تتعاون لإكمال مهام التدريب بدون منسق مركزي، عادةً من خلال بروتوكول يدفع توزيع المهام والتعاون، وبمساعدة آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين في جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز الصدق + الحصول على نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي كشكل انتقال بين التوزيع واللامركزية، يبرز الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية، والمالية ). يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا مزايا توزيع البيانات للتدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث تكون مهام التدريب، وبنية الثقة، وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من حيث نمط التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو الاحتياجات العالية من الموارد، أو صعوبة التعاون، فإنه لا يناسب بطبيعته الإنجاز بكفاءة بين العقد المتباينة والموثوق بها. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية وسرعة استجابة منخفضة وعرض نطاق ترددي مرتفع، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكة المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة مثل الرعاية الصحية والمالية، بالإضافة إلى البيانات الحساسة، مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما المهام التي تفتقر إلى حوافز التعاون مثل نماذج الشركات المغلقة أو تدريب النماذج الداخلية، تفتقر إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الحالية لتدريب اللامركزية.
لكن هذا لا يعني أن التدريب اللامركزي هو وهم. في الواقع، في فئات المهام الخفيفة الهيكل، سهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، ولكن لا تقتصر على: ضبط LoRA، مهام التدريب بعد المحاذاة السلوكية مثل RLHF، DPO(، تدريب ووسم البيانات عبر الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، بالإضافة إلى سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، والقدرة على تحمل قوة الحوسبة غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال الشبكات الند للند، وبروتوكول Swarm، والمُحسِّنات الموزعة.
![تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التقنية للتعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp(
) اللامركزية تدريب الكلاسيكيات تحليل المشروع
حاليًا في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع البارزة في مجال البلوكشين بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما المسارات التنفيذية لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن ملاحظة تقدم أولي نحو الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، بالإضافة إلى مناقشة الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
(# Prime Intellect: رائد الشبكات التعاونية لتعلم التعزيز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماتهم الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات هي PRIME-RL و TOPLOC و SHARDCAST، في بناء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق، والانفتاح، وآلية تحفيز كاملة.
أ. هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية
![تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التقنية للتعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp(
ثانياً، شرح الآلية الرئيسية لتدريب Prime Intellect
PRIME-RL: بنية مهمة التعلم المعزز غير المتزامن المفككة
PRIME-RL هو إطار نموذج وتنفيذ المهام المخصص من Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكييف أولي، حيث يفكك هيكليًا عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإنجاز دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع العمليات التقليدية للتعلم الخاضع للإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق من سلوك التدريب خفيفة الوزن
TOPLOC)الملاحظة الموثوقة & فحص السياسة المحلية### هي آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كانت العقدة قد أنجزت فعلاً تعلم استراتيجية فعالة استنادًا إلى بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسار المحلي بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية". إنها تحول لأول مرة سلوك المسار خلال عملية التدريب إلى كائنات قابلة للتحقق، مما يمثل ابتكارًا رئيسيًا لتحقيق توزيع مكافآت تدريب لا يعتمد على الثقة، ويقدم مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية اللامركزية يمكن تدقيقها وتحفيزها.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول نقل الوزن والتجميع المصمم من قبل Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية والقيود على العرض ووجود حالات متعددة للعقد. يجمع بين آلية نقل الأخبار واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالات غير متزامنة، مما يحقق تقاربًا تدريجيًا للوزن وتطورًا متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل كبير من قابلية التوسع وقدرة التحمل في التدريب اللامركزي، ويشكل الأساس الأساسي لبناء توافق وزن مستقر وتكرار التدريب المستمر.
OpenDiLoCo: إطار الاتصالات غير المتزامنة النادرة
OpenDiLoCo هو إطار تحسين الاتصالات مستقل ومفتوح المصدر تم تحقيقه من قبل فريق Prime Intellect استنادًا إلى فكرة DiLoCo التي اقترحتها DeepMind، تم تصميمه خصيصًا للتحديات الشائعة مثل قيود النطاق الترددي، والتباين بين الأجهزة، وعدم استقرار العقد في التدريب اللامركزي. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصالات الناتجة عن المزامنة العالمية، ويعتمد فقط على عقد الجوار المحلية لإكمال تدريب النموذج بشكل تعاوني. بالجمع بين التحديثات غير المتزامنة وآلية التحمل للنقاط الفاشلة، يجعل OpenDiLoCo وحدات معالجة الرسومات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل ملحوظ إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لا مركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL###Prime Collective Communication Library( هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل اختناقات التكيف في المكتبات التقليدية ) مثل NCCL وGloo( في الأجهزة غير المتجانسة والشبكات منخفضة النطاق. تدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط المتقطعة، ويمكن تشغيلها على وحدات معالجة الرسومات الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد عززت بشكل كبير من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.
ثالثًا، شبكة Prime Intellect للتحفيز وتوزيع الأدوار
قام Prime Intellect بإنشاء شبكة تدريب قابلة للتحقق ولا تتطلب إذنًا، مزودة بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST( وصرف المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
![تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى ثورة تقنية التعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-45f26de57a53ac937af683e629dbb804.webp(
أربعة، INTELLECT-2: إصدار أول نموذج تدريب لامركزي يمكن التحقق منه
أطلقت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة. يبلغ حجم المعلمات 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متباينة موزعة عبر ثلاث قارات، باستخدام بنية غير متزامنة تمامًا، مدة التدريب