Lokale modellen met Ollama

9xchat maakt verbinding met Ollama-runtimes die op uw machine of op een externe server in uw netwerk worden uitgevoerd. Wanneer u een Ollama-model opvraagt ​​dat op uw machine draait, gaan de aanwijzingen niet naar externe cloud-API's en verbruikt u nooit 9xchat-credits of betaalt u nooit kosten per token.

Installatiehandleiding

1. Installeer Ollama

Download en installeer Ollama van ollama.com voor uw desktopbesturingssysteem.

2. Trek een model

Open uw terminal of opdrachtprompt en trek het gewenste model:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

Standaard levert Ollama zijn API lokaal op http://localhost:11434.

3. Verbind Ollama in 9xchat

1. Open in 9xchat Bibliotheek → Modellen.
2. Selecteer Ollama in de zijbalk van de provider.
3. 9xchat controleert automatisch http://localhost:11434 en vermeldt uw geïnstalleerde modellen.
4. Als uw Ollama-instantie op een externe machine of aangepaste poort draait, voert u de URL in in het veld Host-URL.
5. Schakel de modellen in die u beschikbaar wilt hebben in de chatcomponist.

Huidige mogelijkheden en beperkingen

• Chatgesprekken: U kunt schakelen tussen cloudmodellen en Ollama-modellen per bericht in standaard chatthreads.

• Tools en MCP: Ollama-modellen ondersteunen momenteel geen 9xchat agentische tools of MCP-serverfunctieaanroep.

• Codewerkruimte: Voor de volledige codeworkflow met meerdere bestanden is de cloud vereist modellen die in staat zijn tot gestructureerde tool-uitvoering; basiscodechat en uitleg kunnen nog steeds worden uitgevoerd op Ollama-modellen.

• Lokale kennisindexering:InInstellingen → Standaardmodellen kunt u selecteren Ollama als uw inbeddingsprovider om documentcollecties lokaal te indexeren.

Privacyoverwegingen

• Wanneer u naar localhost of 127.0.0.1 verwijst, blijven generatieverzoeken volledig op uw computer.
• Als u een externe host-URL configureert (bijvoorbeeld http://192.168.1.50:11434), worden verzoeken via uw netwerk naar die bestemmingshost reizen.
• Cloudfuncties (zoals zoeken op internet, YouTube-transcripties en cloudaudio) neem contact op met externe diensten, zelfs als uw geselecteerde chatmodel lokaal is.

Problemen oplossen

• Instance niet gedetecteerd: Bevestig dat Ollama actief is en toegankelijk is op http://localhost:11434.
• Remote- of Docker-verbindingen: Start Ollama met OLLAMA_ORIGIN="*" om sta cross-origineverzoeken van 9xchat toe.
• Prestaties: Als het genereren langzaam gaat, kies dan een kleiner parametermodel (zoals llama3.2:3b of 8b) die comfortabel in het RAM/VRAM van uw systeem past.