โมเดลท้องถิ่นกับ Ollama

9xchat เชื่อมต่อกับรันไทม์ Ollama ที่ทำงานบนเครื่องของคุณหรือบนเซิร์ฟเวอร์ระยะไกลบนเครือข่ายของคุณ เมื่อค้นหาโมเดล Ollama ที่ทำงานบนเครื่องของคุณ ข้อความแจ้งจะไม่ถูกส่งไปยัง API คลาวด์ภายนอก และคุณจะไม่ใช้เครดิต 9xchat หรือจ่ายค่าธรรมเนียมต่อโทเค็น

คู่มือการตั้งค่า

1. ติดตั้ง Ollama

ดาวน์โหลดและติดตั้ง Ollama จาก ollama.com สำหรับระบบปฏิบัติการเดสก์ท็อปของคุณ

2. ดึงโมเดล

เปิดเทอร์มินัลหรือพรอมต์คำสั่งแล้วดึงโมเดลที่คุณต้องการ:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

ตามค่าเริ่มต้น Ollama ให้บริการ API ในเครื่องที่ http://localhost:11434

3. เชื่อมต่อ Ollama ใน 9xchat

1. ใน 9xchat ให้เปิด Library → Models
2. เลือก Ollama ในแถบด้านข้างของผู้ให้บริการ
3. 9xchat จะตรวจสอบ http://localhost:11434 โดยอัตโนมัติและแสดงรายการการติดตั้งของคุณ โมเดล
4. หากอินสแตนซ์ Ollama ของคุณทำงานบนเครื่องระยะไกลหรือพอร์ตที่กำหนดเอง ให้ป้อน URL ในช่อง URL โฮสต์
5. เปิดใช้งานโมเดลที่คุณต้องการให้พร้อมใช้งานในตัวสร้างแชท

ความสามารถและข้อจำกัดในปัจจุบัน

• การสนทนาในแชท: คุณสลับระหว่างโมเดลคลาวด์และโมเดล Ollama ได้ ต่อข้อความในชุดแชทมาตรฐาน

• เครื่องมือและ MCP: ขณะนี้โมเดล Ollama ไม่รองรับเครื่องมือตัวแทน 9xchat หรือการเรียกใช้ฟังก์ชันเซิร์ฟเวอร์ MCP

• พื้นที่ทำงานโค้ด: เวิร์กโฟลว์โค้ดหลายไฟล์เอเจนต์เต็มรูปแบบต้องใช้ระบบคลาวด์ โมเดลที่สามารถใช้เครื่องมือที่มีโครงสร้างได้ การสนทนาด้วยโค้ดพื้นฐานและคำอธิบายยังคงสามารถทำงานได้บนโมเดล Ollama

• การจัดทำดัชนีความรู้ท้องถิ่น:ในการตั้งค่า → โมเดลเริ่มต้น คุณสามารถเลือกได้ Ollama เป็นผู้ให้บริการการฝังของคุณเพื่อสร้างดัชนีคอลเลกชันเอกสารในเครื่อง

ข้อควรพิจารณาเกี่ยวกับความเป็นส่วนตัว

• เมื่อชี้ไปที่ localhost หรือ 127.0.0.1 คำขอการสร้างจะยังคงอยู่ทั้งหมด บนคอมพิวเตอร์ของคุณ
• หากคุณกำหนดค่า URL โฮสต์ระยะไกล (เช่น http://192.168.1.50:11434) จะมีการร้องขอ เดินทางผ่านเครือข่ายของคุณไปยังโฮสต์ปลายทางนั้น
• ฟีเจอร์คลาวด์ (เช่น การค้นหาเว็บ การถอดเสียงจาก YouTube และเสียงบนคลาวด์) ติดต่อบริการภายนอกแม้ว่ารูปแบบการแชทที่คุณเลือกจะเป็นแบบท้องถิ่นก็ตาม

การแก้ไขปัญหา

• ตรวจไม่พบอินสแตนซ์: ยืนยันว่า Ollama กำลังทำงานและเข้าถึงได้ที่ http://localhost:11434.
• การเชื่อมต่อระยะไกลหรือนักเทียบท่า: เริ่ม Ollama ด้วย OLLAMA_ORIGIN="*" ไปที่ อนุญาตคำขอข้ามต้นทางจาก 9xchat
• ประสิทธิภาพ: หากการสร้างช้า ให้เลือกโมเดลพารามิเตอร์ที่เล็กลง (เช่น llama3.2:3b หรือ 8b) ที่พอดีกับ RAM/VRAM ของระบบของคุณ