Model Lokal dengan Ollama

9xchat terhubung ke runtime Ollama yang berjalan di mesin Anda atau di server jarak jauh di jaringan Anda. Saat menanyakan model Ollama yang berjalan di mesin Anda, perintahnya tidak dikirimkan ke API cloud eksternal, dan Anda tidak pernah menggunakan kredit 9xchat atau membayar biaya per token.

Panduan pengaturan

1. Instal Ollama

Unduh dan instal Ollama dari ollama.com untuk sistem operasi desktop Anda.

2. Tarik sebuah model

Buka terminal atau command prompt Anda dan tarik model yang Anda inginkan:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

Secara default, Ollama menyajikan API-nya secara lokal di http://localhost:11434.

3. Hubungkan Ollama di 9xchat

1. Di 9xchat, buka Perpustakaan → Model.
2. Pilih Ollama di sidebar penyedia.
3. 9xchat secara otomatis memeriksa http://localhost:11434 dan mencantumkan instalasi Anda model.
4. Jika instans Ollama Anda berjalan pada mesin jarak jauh atau port khusus, masukkan URL-nya di bidang URL Host.
5. Aktifkan model yang Anda inginkan tersedia di komposer obrolan.

Kemampuan dan keterbatasan saat ini

• Percakapan chat: Anda dapat beralih antara model cloud dan model Ollama per pesan di utas obrolan standar.

• Alat dan MCP: Model Ollama saat ini tidak mendukung alat agen 9xchat atau panggilan fungsi server MCP.

• Ruang Kerja Kode: Alur kerja Kode multi-file agen penuh memerlukan cloud model yang mampu melakukan eksekusi alat terstruktur; obrolan kode dasar dan penjelasannya masih dapat dijalankan pada model Ollama.

• Pengindeksan Pengetahuan Lokal:DiPengaturan → Model Default, Anda dapat memilih Ollama sebagai penyedia penyematan Anda untuk mengindeks koleksi dokumen secara lokal.

Pertimbangan privasi

• Saat menunjuk ke localhost atau 127.0.0.1, permintaan pembuatan tetap ada sepenuhnya di komputer Anda.
• Jika Anda mengonfigurasi URL host jarak jauh (mis. http://192.168.1.50:11434), permintaan melakukan perjalanan melalui jaringan Anda ke host tujuan tersebut.
• Fitur cloud (seperti penelusuran web, transkrip YouTube, dan audio cloud) hubungi layanan eksternal meskipun model obrolan yang Anda pilih bersifat lokal.

Pemecahan masalah

• Instance tidak terdeteksi: Pastikan Ollama berjalan dan dapat diakses di http://localhost:11434.
• Koneksi jarak jauh atau Docker: Mulai Ollama dengan OLLAMA_ORIGIN="*" ke mengizinkan permintaan lintas asal dari 9xchat.
• Kinerja: Jika pembuatannya lambat, pilih model parameter yang lebih kecil (seperti llama3.2:3b atau 8b) yang cocok dengan RAM/VRAM sistem Anda.