オラマと地元のモデル

9xchat は、お使いのマシンまたはネットワーク上のリモート サーバーで実行されている Ollama ランタイムに接続します。マシン上で実行されている Ollama モデルをクエリする場合、プロンプトは外部クラウド API に送信されず、9xchat クレジットを消費したり、トークンごとの料金を支払うことはありません。

セットアップガイド

1.Ollamaをインストールする

デスクトップ オペレーティング システム用に、ollama.com から Ollama をダウンロードしてインストールします。

2.モデルをプルする

ターミナルまたはコマンド プロンプトを開き、目的のモデルをプルします。

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

デフォルトでは、Ollama はローカルの http://localhost:11434 で API を提供します。

3. 9xchat で Ollama を接続します

1. 9xchat で、ライブラリ → モデル を開きます。
2. プロバイダーのサイドバーで Ollama を選択します。
3. 9xchat は、http://localhost:11434 を自動的にチェックし、インストールされているものをリストします。 モデル。
4. Ollama インスタンスがリモート マシンまたはカスタム ポートで実行されている場合は、URL を入力します。 ホスト URL フィールドに入力します。
5. チャット コンポーザーで使用できるようにしたいモデルを有効にします。

現在の機能と制限

• チャット会話: クラウド モデルと Ollama モデルを切り替えることができます 標準チャット スレッドのメッセージごとに。

• ツールと MCP: Ollama モデルは現在、9xchat エージェント ツールをサポートしていません。 または MCP サーバー関数の呼び出し。

• コード ワークスペース: 完全なエージェント型マルチファイル コード ワークフローにはクラウドが必要です 構造化されたツールを実行できるモデル。基本的なコードのチャットと説明は Ollama モデルでも実行できます。

• ローカル ナレッジのインデックス作成: [設定] → [デフォルト モデル] で、次の項目を選択できます。 Ollama を埋め込みプロバイダーとして使用し、ドキュメント コレクションのインデックスをローカルに作成します。

プライバシーに関する考慮事項

• localhost または 127.0.0.1 を指す場合、生成リクエストは完全に残ります あなたのコンピュータ上で。
• リモート ホスト URL (例: http://192.168.1.50:11434) を設定する場合、リクエスト ネットワークを介してその宛先ホストに移動します。
• クラウド機能 (Web 検索、YouTube トランスクリプト、クラウド オーディオなど) 選択したチャット モデルがローカルであっても、外部サービスに連絡してください。

トラブルシューティング

• インスタンスが検出されません: Ollama が実行中であり、次の場所でアクセスできることを確認します。 http://localhost:11434。
• リモート接続または Docker 接続: OLLAMA_ORIGIN="*" を使用して Ollama を起動して、 9xchat からのクロスオリジンリクエストを許可します。
• パフォーマンス: 生成が遅い場合は、より小さいパラメータ モデルを選択してください システムの RAM/VRAM に快適に収まるファイル (llama3.2:3b や 8b など)。