Локальные модели с Олламой

9xchat подключается к средам выполнения Ollama, работающим либо на вашем компьютере, либо на удаленном сервере в вашей сети. При запросе модели Ollama, работающей на вашем компьютере, запросы не передаются во внешние облачные API, и вы никогда не расходуете кредиты 9xchat и не платите комиссию за каждый токен.

Руководство по настройке

1. Установите Олламу

Загрузите и установите Ollama с сайта ollama.com для операционной системы вашего настольного компьютера.

2. Вытащите модель

Откройте терминал или командную строку и выберите нужную модель:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

По умолчанию Ollama обслуживает свой API локально по адресу http://localhost:11434.

3. Подключите Олламу в 9xchat.

1. В 9xchat откройте Библиотека → Модели.
2. Выберите Ollama на боковой панели поставщика.
3. 9xchat автоматически проверяет http://localhost:11434 и выводит список установленных модели.
4. Если ваш экземпляр Ollama работает на удаленном компьютере или на специальном порту, введите URL-адрес в поле URL-адрес хоста.
5. Включите модели, которые вы хотите использовать в композиторе чата.

Текущие возможности и ограничения

• Обсуждение в чате: Вы можете переключаться между облачными моделями и моделями Ollama. за сообщение в стандартных темах чата.

• Инструменты и MCP: Модели Ollama в настоящее время не поддерживают агентские инструменты 9xchat. или вызов функции сервера MCP.

• Рабочая область кода: Для полного агентного многофайлового рабочего процесса кода требуется облако. модели, способные выполнять структурированные инструменты; базовый чат по коду и объяснения по-прежнему могут работать на моделях Ollama.

• Индексирование местных знаний.В менюНастройки → Модели по умолчанию вы можете выбрать Ollama в качестве вашего поставщика внедрений для локальной индексации коллекций документов.

Соображения конфиденциальности

• При указании на localhost или 127.0.0.1 запросы генерации остаются полностью на вашем компьютере.
• Если вы настроите URL-адрес удаленного хоста (например, http://192.168.1.50:11434), запросы путешествовать по вашей сети к этому хосту назначения.
• Облачные функции (например, веб-поиск, расшифровки YouTube и облачное аудио) обращайтесь к внешним службам, даже если выбранная вами модель чата локальная.

Устранение неполадок

• Экземпляр не обнаружен. Убедитесь, что Ollama запущена и доступна по адресу http://localhost:11434.
• Удаленные подключения или подключения через Docker. Запустите Ollama с помощью OLLAMA_ORIGIN="*", чтобы разрешить запросы между источниками от 9xchat.
• Производительность. Если генерация происходит медленно, выберите модель с меньшими параметрами. (например, llama3.2:3b или 8b), который удобно помещается в оперативной/видеопамяти вашей системы.