ربما تساءلتَ عما إذا كان من الممكن امتلاك دماغ اصطناعي قوي دون الاعتماد على تشغيل خوادم شركة كبيرة في الولايات المتحدة. والإجابة هي نعم بكل تأكيد، بل وأكثر من ذلك، أصبح ذلك ممكناً اليوم. تشغيل نماذج اللغة في جهاز صغير الحجم مثل Raspberry Pi، لم يعد الأمر مجرد تجربة للمهوسين التقنيين، بل أصبح خيارًا تقنيًا عمليًا وفعالًا بشكل مدهش.
يحدث السحر بفضل الحوسبة الطرفية أو الحوسبة حافةوالتي تتضمن أساسًا معالجة المعلومات في مكان توليدها. بنقل الذكاء الاصطناعي إلى الجهاز، فإننا نمكّن خصوصية البيانات كن مطلقًا، لأنه لا شيء يغادر المنزل، ونتخلص من زمن الاستجابة المحبط الذي يحدث عندما يتعين على البيانات السفر آلاف الكيلومترات قبل تلقي رد.
الأجهزة المثالية للذكاء الاصطناعي المحلي
إذا كنت ترغب في التورط في هذه المشكلة، فلن تفي أي لوحة ترخيص بالغرض. التوت بي 5 يُعدّ هذا الجهاز الخيار الأمثل بفضل معالجه Arm Cortex-A76، وهو معالج قويّ للغاية في التعامل مع مهام الاستدلال. ولضمان تجربة استخدام سلسة، من الضروري امتلاك طراز 8GB من ذاكرة الوصول العشوائينظرًا لأن النماذج الكمية تستهلك كمية كبيرة من ذاكرة الوصول العشوائي ويحتاج نظام التشغيل إلى الهواء ليتنفس.
أحد المجالات التي يقع فيها الكثيرون في أخطاء هو التحكم بدرجة الحرارة. فعملية الاستدلال باستخدام نموذج LLM تدفع أنوية المعالج إلى أقصى طاقتها، مما يؤدي إلى ارتفاع درجة حرارته بسرعة. ولمنع انخفاض أداء النظام نتيجة لذلك، الاختناق الحراري، و مبرد نشط رسمي إنها ليست ملحقاً اختيارياً، بل هي ضرورية. إذا كنت لا تريد أن يتحول جهاز Raspberry Pi الخاص بك إلى محمصة خبز، فأنت بحاجة إلى نظام تهوية فعال.
فيما يتعلق بالتخزين، على الرغم من أن بطاقة microSD من الفئة A2 ستفي بالغرض، إلا أنه إذا كنت ترغب في تحميل النماذج بسرعة فائقة، فمن الأفضل استخدام... NVMe SSD باستخدام وحدة M.2 HAT. الفرق شاسع: تحميل نموذج بسعة 2 جيجابايت يمكن أن يستغرق من 12 ثانية إلى 3 أو 4 ثوانٍ فقط، وهو ما يُسرّع عملية النشر من أي تطبيق على الحافة.
فهم نماذج النمذجة المكانية السائلة (SLMs) والقياس الكمي
انسَ أمر محاولة تشغيل GPT-4 على جهاز Raspberry Pi؛ سيكون الأمر أشبه بمحاولة إدخال فيل في سيارة صغيرة. وهنا تكمن المشكلة... نماذج اللغات الصغيرة (SLMs)تم تصميم هذه النماذج، التي تحتوي عادةً على ما بين بضع مئات الملايين و 7 أو 8 مليارات معلمة، خصيصًا للأجهزة ذات الموارد المحدودة دون فقدان الكثير من التماسك.
السرّ الرئيسي لإنجاح هذا الأمر هو تحديد كمية GGUFباختصار، يتضمن ذلك تقليل دقة أوزان النموذج (على سبيل المثال، من 16 بت إلى 4 بت). هذا يجعل النموذج يشغل مساحة أقل بكثير من ذاكرة الوصول العشوائي (RAM) و سرعة التوليد عدد الرموز مقبول، مما يسمح بسرعات قراءة مريحة للإنسان.
- لاما 3.2 (1B و3B): مثالي للحوارات متعددة اللغات ومهام التلخيص.
- جيما 3 و3ن: تتميز هذه المنتجات بكفاءتها، وفي بعض الإصدارات، بقدراتها البصرية.
- مايكروسوفت فاي-3.5: يتمتع بقدرة فائقة على الاستدلال، على الرغم من أنه قد يكون أحيانًا مطنبًا للغاية.
- تيني لاما: ملك السرعة، مثالي لأوامر التشغيل الآلي المنزلي البسيطة.
أدوات النشر: Ollama و Llama.cpp
لتحقيق كل هذا، لدينا مساران رئيسيان. من جهة، Llama.cpp إنه الخيار الأمثل لمن يرغبون في تحكم كامل. فهو يسمح لك بتجميع شفرة المصدر من خلال تحسين تعليمات ARM NEON و dotprod، واستغلال كل طاقة ممكنة من السيليكون. إنه مثالي لعرض واجهة برمجة تطبيقات متوافقة مع OpenAI قم بتوصيل جهاز Raspberry Pi بالأجهزة الأخرى على الشبكة المحلية عبر المنفذ 8080.
من ناحية أخرى لدينا أولاماوهي على الأرجح أسهل طريقة لإدارة النماذج اليوم. باستخدام بضعة أوامر في سطر الأوامر، يمكنك تنزيل وتشغيل نماذج مثل Llama أو برعم بدون تعقيدات. يقوم أولاما بإعداد خادم في الخلفية يسمح بالتفاعل مع الذكاء الاصطناعي من خلال مكتبة بايثون سهل الاستخدام للغاية، مما يسهل إنشاء البرامج النصية المخصصة.
لتحسين أداء النظام، وخاصة في الإصدارات الخفيفة من نظام التشغيل Raspberry Pi OS، من الضروري زيادة مساحة التبديل إلى حوالي 4 جيجابايت. هذا يمنع العملية من أن يتم إنهاؤها بواسطة برنامج OOM Killer (نفاد الذاكرة) عندما يبدأ نموذج المحادثة وسياقها في ملء ذاكرة الوصول العشوائي المتاحة.
نماذج الرؤية واللغة (VLMs) على الحافة
تصبح الأمور مثيرة للاهتمام حقاً عندما نجمع بين البصر والكلمات. نماذج الرؤية واللغة (VLMs) تتيح هذه التقنيات لجهاز Raspberry Pi ليس فقط قراءة الصور، بل وفهمها أيضاً. نماذج مثل حلم القمر إنها سريعة بشكل مدهش وقادرة على وصف المشاهد، وعدّ الأشياء، أو إجراء التعرف الضوئي على الأحرف مباشرة على الجهاز.
ومن الأمثلة العملية والفعّالة للغاية استخدام كاميرا الذكاء الاصطناعي لراسبيري بايبدلاً من إرسال الفيديو الخام إلى السحابة، تعالج الكاميرا الصورة على المستشعر وتُنشئ بيانات وصفية (مثل علامات الكائنات ومستويات الثقة). تُرسل هذه البيانات الخفيفة إلى وحدة معالجة البيانات الخطية (LLM)، التي تُحوّلها إلى ملخصات سهلة القراءة بالنسبة للبشر. إنه الفرق بين إرسال فيديو بحجم 1 جيجابايت أو ملف نصي بحجم 1 كيلوبايت.
يفتح هذا النهج الباب أمام تطبيقات مثل مراقبة الرفوف في قطاع التجزئة، حيث يُنبه النظام في حالة نقص المخزون، أو في مراقبة المصانع للتحقق مما إذا كان المشغلون يرتدون معدات السلامةكل هذا مع الحفاظ على الخصوصية والامتثال للوائح حماية البيانات العامة (GDPR) من خلال عدم تحميل الصور إلى خوادم خارجية.
حالات استخدام واقعية وأتمتة
إذا كنت مهتمًا بأتمتة المنزل، يمكنك تحويل جهاز Raspberry Pi الخاص بك إلى... مركز التحكم المحليتخيل مساعدًا صوتيًا يستخدم Whisper.cpp لتحويل صوتك إلى نص، ووحدة LLM محلية لتحليل النية وتحويلها إلى JSON، مما يؤدي بدوره إلى تشغيل إجراءات في Home Assistant. كل هذا يحدث في أجزاء من الثانية. لا يوجد اتصال بالإنترنت.
في البيئات الصناعية، يمكن استخدام هذه الأنظمة من أجل الصيانة الوقائية أو تحسين العمليات في الوقت الفعلي. كما أنها تُعدّ كنزًا ثمينًا للزراعة الدقيقة، حيث يمكن لجهاز محمول تحليل صحة المحاصيل في وسط الحقل دون الحاجة إلى تغطية شبكة الجيل الخامس.
من الأدوات التعليمية في المناطق النائية إلى المساعدين للأشخاص ذوي الإعاقة، القدرة على التنفيذ الذكاء الاصطناعي التوليدي على الحافة إنها تُضفي طابعًا ديمقراطيًا على الوصول إلى التكنولوجيا وتسمح بإنشاء حلول متخصصة للغاية لا تعتمد على رسوم اشتراك سحابي شهرية.
إن القدرة على معالجة اللغة والرؤية محليًا على لوحة إلكترونية سعرها 80 يورو تُعدّ قفزة تكنولوجية هائلة. فمن خلال الجمع بين الأجهزة المُحسّنة والنماذج الكمية وأدوات مثل أولاما، يستطيع أي مطوّر بناء نظام ذكاء اصطناعي سريع وفعّال وخاص، يُمكن الاستفادة منه فعليًا في العالم المادي.
