نماذج محلية مع أولاما

يتصل 9xchat بأوقات تشغيل Ollama التي تعمل إما على جهازك أو على خادم بعيد على شبكتك. عند الاستعلام عن نموذج Ollama الذي يعمل على جهازك، لا تنتقل المطالبات إلى واجهات برمجة التطبيقات السحابية الخارجية، ولن تستهلك أبدًا أرصدة 9xchat أو تدفع رسومًا لكل رمز مميز.

دليل الإعداد

1. قم بتثبيت أولاما

قم بتنزيل وتثبيت Ollama من ollama.com لنظام تشغيل سطح المكتب لديك.

2. اسحب النموذج

افتح المحطة الطرفية أو موجه الأوامر واسحب النموذج المطلوب:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

افتراضيًا، يقدم Olmama واجهة برمجة التطبيقات (API) الخاصة به محليًا على http://localhost:11434.

3. قم بتوصيل Ollama في 9xchat

1. في 9xchat، افتح المكتبة → النماذج.
2. حدد Ollama في الشريط الجانبي للموفر.
3. يقوم 9xchat تلقائيًا بفحص http://localhost:11434 ويسرد البرامج المثبتة لديك نماذج.
4. إذا كان مثيل Olllama الخاص بك يعمل على جهاز بعيد أو منفذ مخصص، فأدخل عنوان URL في الحقل عنوان URL للمضيف.
5. قم بتمكين النماذج التي تريدها متاحة في مؤلف الدردشة.

القدرات والقيود الحالية

• محادثات الدردشة: يمكنك التبديل بين النماذج السحابية ونماذج Ollama لكل رسالة في سلاسل الدردشة القياسية.

• الأدوات وMCP: لا تدعم نماذج Ollama حاليًا أدوات وكيل 9xchat أو استدعاء وظيفة خادم MCP.

• مساحة عمل الكود: يتطلب سير عمل الكود الوكيل الكامل متعدد الملفات السحابة نماذج قادرة على تنفيذ أداة منظمة؛ لا يزال من الممكن تشغيل محادثة التعليمات البرمجية الأساسية والتفسيرات على نماذج Ollama.

• فهرسة المعرفة المحلية:فيالإعدادات → النماذج الافتراضية، يمكنك الاختيار Ollama كمزود التضمين الخاص بك لفهرسة مجموعات المستندات محليًا.

اعتبارات الخصوصية

• عند الإشارة إلى localhost أو 127.0.0.1، تبقى طلبات الإنشاء بالكامل على جهاز الكمبيوتر الخاص بك.
• إذا قمت بتكوين عنوان URL لمضيف بعيد (على سبيل المثال، http://192.168.1.50:11434)، فستطلب منه السفر عبر شبكتك إلى مضيف الوجهة هذا.
• ميزات السحابة (مثل بحث الويب ونصوص YouTube والصوت السحابي) اتصل بالخدمات الخارجية حتى لو كان نموذج الدردشة الذي حددته محليًا.

استكشاف الأخطاء وإصلاحها

• لم يتم اكتشاف المثيل: تأكد من تشغيل Ollama ويمكن الوصول إليه من خلاله http://localhost:11434.
• اتصالات عن بعد أو اتصالات Docker: ابدأ تشغيل Ollama باستخدام OLLAMA_ORIGIN="*" السماح بالطلبات ذات الأصل المشترك من 9xchat.
• الأداء: إذا كان التوليد بطيئًا، فاختر نموذج معلمة أصغر (مثل llama3.2:3b أو 8b) الذي يتناسب بشكل مريح مع ذاكرة الوصول العشوائي/VRAM الخاصة بنظامك.