Modelos Locales con Ollama

9xchat se conecta a los tiempos de ejecución de Ollama que se ejecutan en su máquina o en un servidor remoto de su red. Al consultar un modelo de Ollama que se ejecuta en su máquina, las indicaciones no viajan a API de nube externas y nunca consume créditos 9xchat ni paga tarifas por token.

Guía de configuración

1. Instalar Ollama

Descargue e instale Ollama desde ollama.com para su sistema operativo de escritorio.

2. Tira de un modelo

Abra su terminal o símbolo del sistema y extraiga el modelo que desee:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

De forma predeterminada, Ollama ofrece su API localmente en http://localhost:11434.

3. Conecte Ollama en 9xchat

1. En 9xchat, abra Biblioteca → Modelos.
2. Seleccione Ollama en la barra lateral del proveedor.
3. 9xchat verifica automáticamente http://localhost:11434 y enumera sus archivos instalados. modelos.
4. Si su instancia de Ollama se ejecuta en una máquina remota o en un puerto personalizado, ingrese la URL en el campo URL de host.
5. Habilite los modelos que desee que estén disponibles en el compositor de chat.

Capacidades y limitaciones actuales

• Conversaciones de chat: Puedes cambiar entre modelos en la nube y modelos de Ollama por mensaje en hilos de chat estándar.

• Herramientas y MCP: Los modelos de Ollama actualmente no son compatibles con las herramientas agentes 9xchat o llamada a la función del servidor MCP.

• Espacio de trabajo de código: El flujo de trabajo de código de múltiples archivos agente completo requiere la nube modelos capaces de ejecutar herramientas estructuradas; El chat de código básico y las explicaciones aún se pueden ejecutar en los modelos de Ollama.

• Indexación de conocimiento local:EnConfiguración → Modelos predeterminados, puede seleccionar Ollama como su proveedor de incrustaciones para indexar colecciones de documentos localmente.

Consideraciones de privacidad

• Al apuntar a localhost o 127.0.0.1, las solicitudes de generación permanecen por completo en tu computadora.
• Si configura una URL de host remoto (por ejemplo, http://192.168.1.50:11434), las solicitudes viajar a través de su red hasta ese host de destino.
• Funciones en la nube (como búsqueda web, transcripciones de YouTube y audio en la nube) comuníquese con servicios externos incluso si el modelo de chat seleccionado es local.

Solución de problemas

• Instancia no detectada: Confirme que Ollama se esté ejecutando y sea accesible en http://localhost:11434.
• Conexiones remotas o Docker: Inicie Ollama con OLLAMA_ORIGIN="*" para permitir solicitudes de origen cruzado de 9xchat.
• Rendimiento: Si la generación es lenta, elija un modelo de parámetro más pequeño (como llama3.2:3b o 8b) que cabe cómodamente en la RAM/VRAM de su sistema.