Modelli locali con Ollama

Connetti le istanze di Ollama per eseguire modelli open source senza costi per i token.

9xchat si connette ai runtime Ollama in esecuzione sul tuo computer o su un server remoto sulla tua rete. Quando esegui una query su un modello Ollama in esecuzione sul tuo computer, le richieste non vengono inviate ad API cloud esterne e non consumi mai crediti 9xchat né paghi tariffe per token.

Le connessioni del modello Ollama sono disponibili su desktop (Windows, macOS e Linux). L'utilizzo dei tuoi modelli Ollama non richiede un abbonamento o 9 crediti xchat.

Guida all'installazione

1. Installa Ollama

Scarica e installa Ollama da ollama.com per il tuo sistema operativo desktop.

2. Tira un modello

Apri il terminale o il prompt dei comandi ed estrai il modello desiderato:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

Per impostazione predefinita, Ollama fornisce la sua API localmente all'indirizzo "http://localhost:11434".

3. Connetti Ollama a 9xchat

In 9xchat, apri Libreria → Modelli.
Seleziona Ollama nella barra laterale del provider.
9xchat controlla automaticamente http://localhost:11434 ed elenca i file installati modelli.
Se la tua istanza Ollama viene eseguita su un computer remoto o su una porta personalizzata, inserisci l'URL nel campo URL host.
Abilita i modelli che desideri siano disponibili nel compositore di chat.

Capacità e limitazioni attuali

Conversazioni chat: puoi alternare tra i modelli cloud e i modelli Ollama per messaggio nei thread di chat standard.
Strumenti e MCP: I modelli Ollama attualmente non supportano gli strumenti agentici di 9xchat o chiamata alla funzione del server MCP.
Area di lavoro del codice: il flusso di lavoro completo del codice con più file e agenti richiede il cloud modelli in grado di eseguire strumenti strutturati; la chat e le spiegazioni del codice di base possono ancora essere eseguite sui modelli Ollama.
Indicizzazione della conoscenza locale: in Impostazioni → Modelli predefiniti, puoi selezionare Ollama come fornitore di incorporamenti per indicizzare le raccolte di documenti localmente.

Considerazioni sulla privacy

Quando si punta a "localhost" o "127.0.0.1", le richieste di generazione rimangono interamente sul tuo computer
Se si configura un URL host remoto (ad esempio http://192.168.1.50:11434), le richieste viaggiare sulla tua rete verso quell'host di destinazione.
Funzionalità cloud (come ricerca web, trascrizioni YouTube e audio cloud) contatta i servizi esterni anche se il modello di chat selezionato è locale.

Risoluzione dei problemi

Istanza non rilevata: Conferma che Ollama sia in esecuzione e accessibile su "http://localhost:11434".
Connessioni remote o Docker: Avvia Ollama con OLLAMA_ORIGIN="*" per consentire richieste multiorigine da 9xchat.
Prestazioni: se la generazione è lenta, scegli un modello con parametri più piccoli (come llama3.2:3b o 8b) che si adatta comodamente alla RAM/VRAM del tuo sistema.