Lokale Modelle mit Ollama

9xchat stellt eine Verbindung zu Ollama-Laufzeiten her, die entweder auf Ihrem Computer oder auf einem Remote-Server in Ihrem Netzwerk ausgeführt werden. Wenn Sie ein Ollama-Modell abfragen, das auf Ihrem Computer ausgeführt wird, werden Eingabeaufforderungen nicht an externe Cloud-APIs weitergeleitet, und Sie verbrauchen niemals 9xchat-Credits oder zahlen Gebühren pro Token.

Einrichtungsanleitung

1. Installieren Sie Ollama

Laden Sie Ollama von ollama.com für Ihr Desktop-Betriebssystem herunter und installieren Sie es.

2. Ziehen Sie ein Modell

Öffnen Sie Ihr Terminal oder Ihre Eingabeaufforderung und rufen Sie Ihr gewünschtes Modell auf:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

Standardmäßig stellt Ollama seine API lokal unter http://localhost:11434 bereit.

3. Verbinden Sie Ollama in 9xchat

1. Öffnen Sie in 9xchat Bibliothek → Modelle.
2. Wählen Sie Ollama in der Anbieterseitenleiste aus.
3. 9xchat überprüft automatisch http://localhost:11434 und listet Ihre installierten Dateien auf Modelle.
4. Wenn Ihre Ollama-Instanz auf einem Remote-Computer oder einem benutzerdefinierten Port ausgeführt wird, geben Sie die URL ein im Feld Host-URL.
5. Aktivieren Sie die gewünschten Modelle im Chat Composer.

Aktuelle Möglichkeiten und Einschränkungen

• Chat-Gespräche: Sie können zwischen Cloud-Modellen und Ollama-Modellen wechseln pro Nachricht in Standard-Chat-Threads.

• Tools und MCP: Ollama-Modelle unterstützen derzeit keine Agenten-Tools 9xchat oder MCP-Serverfunktionsaufruf.

• Code-Arbeitsbereich: Der vollständige Agenten-Code-Workflow mit mehreren Dateien erfordert eine Cloud Modelle, die zur strukturierten Werkzeugausführung fähig sind; Grundlegender Code-Chat und Erklärungen können weiterhin auf Ollama-Modellen ausgeführt werden.

• Lokale Wissensindizierung:UnterEinstellungen → Standardmodelle können Sie auswählen Ollama als Ihr Einbettungsanbieter zur lokalen Indizierung von Dokumentsammlungen.

Überlegungen zum Datenschutz

• Wenn auf localhost oder 127.0.0.1 verwiesen wird, bleiben Generierungsanforderungen vollständig erhalten auf Ihrem Computer.
• Wenn Sie eine Remote-Host-URL konfigurieren (z. B. http://192.168.1.50:11434), werden Anfragen gestellt über Ihr Netzwerk zu diesem Zielhost reisen.
• Cloud-Funktionen (z. B. Websuche, YouTube-Transkripte und Cloud-Audio) Wenden Sie sich an externe Dienste, auch wenn Ihr ausgewähltes Chat-Modell lokal ist.

Fehlerbehebung

• Instanz nicht erkannt: Bestätigen Sie, dass Ollama ausgeführt wird und unter erreichbar ist http://localhost:11434.
• Remote- oder Docker-Verbindungen: Starten Sie Ollama mit OLLAMA_ORIGIN="*" Erlauben Sie Cross-Origin-Anfragen von 9xchat.
• Leistung: Wenn die Generierung langsam ist, wählen Sie ein kleineres Parametermodell (z. B. llama3.2:3b oder 8b), das bequem in den RAM/VRAM Ihres Systems passt.