Ollama와 함께하는 지역 모델

9xchat는 컴퓨터 또는 네트워크의 원격 서버에서 실행되는 Ollama 런타임에 연결됩니다. 컴퓨터에서 실행 중인 Ollama 모델을 쿼리할 때 프롬프트는 외부 클라우드 API로 이동하지 않으며 9xchat 크레딧을 사용하거나 토큰당 수수료를 지불하지 않습니다.

설정 가이드

1. 올라마 설치

데스크톱 운영 체제용 ollama.com에서 Ollama를 다운로드하여 설치하세요.

2. 모델 가져오기

터미널이나 명령 프롬프트를 열고 원하는 모델을 가져옵니다.

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

기본적으로 Ollama는 http://localhost:11434에서 로컬로 API를 제공합니다.

3. 9xchat에서 Ollama를 연결합니다.

1. 9xchat에서 라이브러리 → 모델을 엽니다.
2. 공급자 사이드바에서 Ollama를 선택합니다.
3. 9xchat는 자동으로 http://localhost:11434를 확인하고 설치된 목록을 나열합니다. 모델.
4. Ollama 인스턴스가 원격 시스템이나 사용자 정의 포트에서 실행되는 경우 URL을 입력하십시오. 호스트 URL 필드에
5. 채팅 작성기에서 사용하려는 모델을 활성화하세요.

현재 기능 및 제한사항

• 채팅 대화: 클라우드 모델과 Ollama 모델 간에 전환할 수 있습니다. 표준 채팅 스레드의 메시지당.

• 도구 및 MCP: Ollama 모델은 현재 9xchat 에이전트 도구를 지원하지 않습니다. 또는 MCP 서버 함수 호출.

• 코드 작업공간: 전체 에이전트 다중 파일 코드 워크플로에는 클라우드가 필요합니다. 구조화된 도구 실행이 가능한 모델; 기본 코드 채팅 및 설명은 Ollama 모델에서 계속 실행할 수 있습니다.

• 로컬 지식 색인화: 설정 → 기본 모델에서 선택할 수 있습니다. Ollama는 문서 컬렉션을 로컬에서 색인화하기 위한 임베딩 제공자입니다.

개인정보 보호 고려사항

• localhost 또는 127.0.0.1를 가리키면 생성 요청이 완전히 유지됩니다. 당신의 컴퓨터에서.
• 원격 호스트 URL(예: http://192.168.1.50:11434)을 구성하면 네트워크를 통해 해당 대상 호스트로 이동합니다.
• 클라우드 기능(예: 웹 검색, YouTube 스크립트, 클라우드 오디오) 선택한 채팅 모델이 로컬인 경우에도 외부 서비스에 문의하세요.

문제 해결

• 인스턴스가 감지되지 않음: Ollama가 실행 중이고 액세스할 수 있는지 확인하세요. http://localhost:11434.
• 원격 또는 Docker 연결: OLLAMA_ORIGIN="*"로 Ollama를 시작하여 9xchat의 교차 출처 요청을 허용합니다.
• 성능: 생성 속도가 느린 경우 더 작은 매개변수 모델을 선택하세요. (예: llama3.2:3b 또는 8b) 시스템의 RAM/VRAM에 적합합니다.