ओलामा के साथ स्थानीय मॉडल

9xchat आपकी मशीन पर या आपके नेटवर्क पर रिमोट सर्वर पर चलने वाले ओलामा रनटाइम से कनेक्ट होता है। आपकी मशीन पर चल रहे ओलामा मॉडल से पूछताछ करते समय, संकेत बाहरी क्लाउड एपीआई तक नहीं जाते हैं, और आप कभी भी 9xchat क्रेडिट का उपभोग नहीं करते हैं या प्रति-टोकन शुल्क का भुगतान नहीं करते हैं।

सेटअप गाइड

1. ओलामा स्थापित करें

अपने डेस्कटॉप ऑपरेटिंग सिस्टम के लिए ollama.com से ओलामा को डाउनलोड और इंस्टॉल करें।

2. एक मॉडल खींचो

अपना टर्मिनल या कमांड प्रॉम्प्ट खोलें और अपना इच्छित मॉडल खींचें:

# General chat models
ollama run llama3.2

# Coding & reasoning models
ollama run deepseek-r1:8b
ollama run qwen2.5-coder:7b

डिफ़ॉल्ट रूप से, ओलामा अपने एपीआई को स्थानीय रूप से http://localhost:11434 पर परोसता है।

3. ओलामा को 9xchat में कनेक्ट करें

1. 9xchat में, लाइब्रेरी → मॉडल खोलें।
2. प्रदाता साइडबार में ओलामा चुनें।
3. 9xchat स्वचालित रूप से http://localhost:11434 की जाँच करता है और आपके इंस्टॉल को सूचीबद्ध करता है मॉडल.
4. यदि आपका ओलामा इंस्टेंस रिमोट मशीन या कस्टम पोर्ट पर चलता है, तो यूआरएल दर्ज करें होस्ट यूआरएल फ़ील्ड में।
5. उन मॉडलों को सक्षम करें जिन्हें आप चैट कंपोज़र में उपलब्ध कराना चाहते हैं।

वर्तमान क्षमताएँ और सीमाएँ

• चैट वार्तालाप: आप क्लाउड मॉडल और ओलामा मॉडल के बीच स्विच कर सकते हैं मानक चैट थ्रेड में प्रति संदेश।

• टूल्स और एमसीपी: ओलामा मॉडल वर्तमान में 9xchat एजेंटिक टूल्स का समर्थन नहीं करते हैं या एमसीपी सर्वर फ़ंक्शन कॉलिंग।

• कोड कार्यक्षेत्र: पूर्ण एजेंटिक मल्टी-फ़ाइल कोड वर्कफ़्लो के लिए क्लाउड की आवश्यकता होती है संरचित उपकरण निष्पादन में सक्षम मॉडल; बुनियादी कोड चैट और स्पष्टीकरण अभी भी ओलामा मॉडल पर चल सकते हैं।

• स्थानीय ज्ञान अनुक्रमण: सेटिंग्स → डिफ़ॉल्ट मॉडल में, आप चयन कर सकते हैं ओलामा स्थानीय स्तर पर दस्तावेज़ संग्रहों को अनुक्रमित करने के लिए आपके एम्बेडिंग प्रदाता के रूप में।

गोपनीयता संबंधी विचार

• localhost या 127.0.0.1 की ओर इंगित करते समय, जनरेशन अनुरोध पूरी तरह से बने रहते हैं आपके कंप्यूटर पर.
• यदि आप एक दूरस्थ होस्ट URL (उदा. http://192.168.1.50:11434) कॉन्फ़िगर करते हैं, तो अनुरोध करता है अपने नेटवर्क पर उस गंतव्य होस्ट तक यात्रा करें।
• क्लाउड सुविधाएँ (जैसे वेब खोज, YouTube ट्रांसक्रिप्ट और क्लाउड ऑडियो) भले ही आपका चयनित चैट मॉडल स्थानीय हो, बाहरी सेवाओं से संपर्क करें।

समस्या निवारण

• उदाहरण का पता नहीं चला: पुष्टि करें कि ओलामा चल रहा है और यहां पहुंच योग्य है http://localhost:11434.
• रिमोट या डॉकर कनेक्शन: ओलामा को OLLAMA_ORIGIN="*" से प्रारंभ करें 9xchat से क्रॉस-ओरिजिन अनुरोधों की अनुमति दें।
• प्रदर्शन: यदि पीढ़ी धीमी है, तो एक छोटा पैरामीटर मॉडल चुनें (जैसे कि llama3.2:3b या 8b) जो आपके सिस्टम की RAM/VRAM में आराम से फिट हो जाता है।