123SUDODocs
指南

Ollama 的本地模特

连接 Ollama 实例以零代币费用运行开源模型。

9xchat 连接到在您的计算机或网络上的远程服务器上运行的 Ollama 运行时。查询在您的计算机上运行的 Ollama 模型时,提示不会传输到外部云 API,并且您永远不会消耗 9xchat 积分或支付每个代币费用。

Ollama 模型连接可在桌面(Windows、macOS 和 Linux)上使用。使用您自己的 Ollama 模型不需要订阅或 9xchat 积分。

设置指南

1.安装Ollama

ollama.com 下载并安装适用于您的桌面操作系统的 Ollama。

2. 拉取模型

打开终端或命令提示符并拉出您想要的模型:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

默认情况下,Ollama 在 http://localhost:11434 本地提供其 API。

3.在9xchat中连接Ollama

  1. 在 9xchat 中,打开 库 → 模型
  2. 在提供商侧栏中选择 Ollama
  3. 9xchat 自动检查 http://localhost:11434 并列出您已安装的 模型。
  4. 如果您的 Ollama 实例在远程计算机或自定义端口上运行,请输入 URL 在 主机 URL 字段中。
  5. 启用您想要在聊天编辑器中使用的模型。

当前的能力和限制

  • **聊天对话:**您可以在云模型和Ollama模型之间切换 标准聊天线程中的每条消息。

  • 工具和 MCP: Ollama 型号目前不支持 9xchat 代理工具 或MCP服务器函数调用。

  • 代码工作空间: 完整的代理多文件代码工作流程需要云 能够执行结构化工具的模型;基本的代码聊天和解释仍然可以在 Ollama 模型上运行。

  • 本地知识索引:设置→默认模型中,您可以选择 Ollama 作为您的嵌入提供者,在本地索引文档集合。

隐私考虑

  • 当指向 localhost127.0.0.1 时,生成请求完全保持不变 在您的计算机上。
  • 如果您配置远程主机 URL(例如 http://192.168.1.50:11434),则请求 通过您的网络到达该目标主机。
  • 云功能(例如网络搜索、YouTube 文字记录和云音频) 即使您选择的聊天模式是本地的,也请联系外部服务。

故障排除

  • 未检测到实例: 确认 Ollama 正在运行并且可访问 http://localhost:11434
  • 远程或 Docker 连接: 使用 OLLAMA_ORIGIN="*" 启动 Ollama 以 允许来自 9xchat 的跨源请求。
  • 性能: 如果生成速度慢,选择较小的参数模型 (例如 llama3.2:3b8b),适合您系统的 RAM/VRAM。

在此页面上