مدل های محلی با اولاما

9xchat به زمان‌های اجرا Ollama متصل می‌شود که روی دستگاه شما یا روی سرور راه دور در شبکه شما اجرا می‌شود. هنگام پرس و جو از یک مدل Ollama که روی دستگاه شما اجرا می شود، درخواست ها به API های ابری خارجی منتقل نمی شوند و هرگز اعتبار 9xchat را مصرف نمی کنید یا برای هر توکن هزینه پرداخت نمی کنید.

راهنمای راه اندازی

1. Olama را نصب کنید

Ollama را از ollama.com برای سیستم عامل دسکتاپ خود دانلود و نصب کنید.

2. یک مدل بکشید

ترمینال یا خط فرمان خود را باز کنید و مدل مورد نظر خود را بکشید:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

به طور پیش‌فرض، Olama API خود را به صورت محلی در http://localhost:11434 ارائه می‌کند.

3. اولاما را در 9xchat وصل کنید

1. در 9xchat، Library → Models را باز کنید.
2. Ollama را در نوار کناری ارائه دهنده انتخاب کنید.
3. 9xchat به طور خودکار http://localhost:11434 را بررسی می کند و موارد نصب شده شما را لیست می کند مدل ها
4. اگر نمونه Ollama شما روی یک دستگاه راه دور یا پورت سفارشی اجرا می شود، URL را وارد کنید در قسمت Host URL.
5. مدل‌هایی را که می‌خواهید در چت آهنگساز موجود باشد فعال کنید.

قابلیت ها و محدودیت های فعلی

• مکالمات چت: می توانید بین مدل های ابری و مدل های Ollama جابجا شوید به ازای هر پیام در موضوعات چت استاندارد.

• ابزارها و MCP: مدل های Ollama در حال حاضر از ابزارهای عامل 9xchat پشتیبانی نمی کنند یا فراخوانی عملکرد سرور MCP.

• فضای کاری کد: گردش کار کد چند فایلی کامل عاملی به فضای ابری نیاز دارد مدل هایی که قادر به اجرای ابزار ساختار یافته هستند. چت کد اولیه و توضیحات همچنان می تواند در مدل های اوللاما اجرا شود.

• نمایه سازی دانش محلی:درتنظیمات → مدل های پیش فرض، می توانید انتخاب کنید Ollama به عنوان ارائه دهنده جاسازی شما برای نمایه سازی مجموعه اسناد به صورت محلی.

ملاحظات حریم خصوصی

• هنگام اشاره به localhost یا 127.0.0.1، درخواست های تولید کاملاً باقی می مانند در کامپیوتر شما
• اگر یک URL میزبان راه دور (مانند http://192.168.1.50:11434) را پیکربندی کنید، درخواست از طریق شبکه خود به آن میزبان مقصد سفر کنید.
• ویژگی‌های ابری (مانند جستجوی وب، رونوشت‌های یوتیوب و صدای ابری) حتی اگر مدل گپ انتخابی شما محلی باشد، با خدمات خارجی تماس بگیرید.

عیب یابی

• نمونه شناسایی نشد: تأیید کنید که Olama در حال اجرا و در دسترس است http://localhost:11434.
• اتصالات از راه دور یا داکر: اوللاما را با OLLAMA_ORIGIN="*" شروع کنید تا اجازه درخواست های متقاطع از 9xchat.
• عملکرد: اگر تولید کند است، مدل پارامتر کوچکتری را انتخاب کنید (مانند llama3.2:3b یا 8b) که به راحتی در RAM/VRAM سیستم شما جای می گیرد.