Người mẫu địa phương với Ollama

9xchat kết nối với các thời gian chạy Ollama chạy trên máy của bạn hoặc trên máy chủ từ xa trên mạng của bạn. Khi truy vấn mô hình Ollama đang chạy trên máy của bạn, các lời nhắc sẽ không di chuyển tới các API đám mây bên ngoài và bạn không bao giờ tiêu tốn tín dụng 9xchat hoặc trả phí cho mỗi mã thông báo.

Hướng dẫn thiết lập

1. Cài đặt Ollama

Tải xuống và cài đặt Ollama từ ollama.com cho hệ điều hành máy tính để bàn của bạn.

2. Kéo mô hình

Mở terminal hoặc dấu nhắc lệnh của bạn và kéo mô hình bạn muốn:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

Theo mặc định, Ollama phân phát API cục bộ tại http://localhost:11434.

3. Kết nối Ollama trong 9xchat

1. Trong 9xchat, mở Thư viện → Mô hình.
2. Chọn Ollama trong thanh bên của nhà cung cấp.
3. 9xchat tự động kiểm tra http://localhost:11434 và liệt kê các cài đặt của bạn các mô hình.
4. Nếu phiên bản Ollama của bạn chạy trên máy từ xa hoặc cổng tùy chỉnh, hãy nhập URL trong trường URL máy chủ.
5. Kích hoạt các mô hình bạn muốn có trong trình soạn thảo trò chuyện.

Khả năng và hạn chế hiện tại

• Cuộc trò chuyện trò chuyện: Bạn có thể chuyển đổi giữa mô hình đám mây và mô hình Ollama mỗi tin nhắn trong chuỗi trò chuyện tiêu chuẩn.

• Công cụ và MCP: Các mẫu Ollama hiện không hỗ trợ các công cụ tác nhân 9xchat hoặc gọi chức năng máy chủ MCP.

• Không gian làm việc mã: Toàn bộ quy trình làm việc mã đa tệp tác nhân yêu cầu đám mây các mô hình có khả năng thực thi công cụ có cấu trúc; trò chuyện và giải thích mã cơ bản vẫn có thể chạy trên các mẫu Ollama.

• Lập chỉ mục Kiến thức cục bộ:TrongCài đặt → Mô hình mặc định, bạn có thể chọn Ollama là nhà cung cấp dịch vụ nhúng của bạn để lập chỉ mục các bộ sưu tập tài liệu cục bộ.

Cân nhắc về quyền riêng tư

• Khi trỏ tới localhost hoặc 127.0.0.1, các yêu cầu tạo vẫn hoàn toàn giữ nguyên trên máy tính của bạn.
• Nếu bạn định cấu hình URL máy chủ từ xa (ví dụ: http://192.168.1.50:11434), các yêu cầu đi qua mạng của bạn tới máy chủ đích đó.
• Các tính năng của đám mây (chẳng hạn như tìm kiếm trên web, bản ghi YouTube và âm thanh trên đám mây) liên hệ với các dịch vụ bên ngoài ngay cả khi mô hình trò chuyện đã chọn của bạn là cục bộ.

Khắc phục sự cố

• Không phát hiện được phiên bản: Xác nhận Ollama đang chạy và có thể truy cập tại http://localhost:11434.
• Kết nối từ xa hoặc Docker: Khởi động Ollama với OLLAMA_ORIGIN="*" để cho phép các yêu cầu có nguồn gốc chéo từ 9xchat.
• Hiệu suất: Nếu quá trình tạo chậm, hãy chọn mô hình tham số nhỏ hơn (chẳng hạn như llama3.2:3b hoặc 8b) vừa vặn thoải mái với RAM/VRAM của hệ thống của bạn.