परिचय
आज की दुनिया में Data Science और AI की दुनिया में तेजी से बदलाव आ रहे हैं। जब मैंने कुछ महीने पहले Databricks के साथ R वर्कशॉप में हिस्सा लिया, तो मुझे कुछ अनोखे SQL फ़ंक्शंस का पता चला, जो NLP को एक साधारण SQL कॉल के माध्यम से सक्षम बनाते थे। यह एक नई तकनीक थी, जो न केवल डेटा के साथ काम करने के तरीके को बदल सकती थी, बल्कि हमारी रोज़मर्रा की कार्यप्रणाली में भी एक नई जान डाल सकती थी। इस लेख में, हम जानेंगे कि कैसे मैंने LLMs (Large Language Models) का उपयोग करके एक नया प्रोजेक्ट विकसित किया, और यह कैसे डेटा एनालिस्ट्स के लिए उपयोगी साबित हो सकता है।
मुख्य लेख
शुरुआत
Databricks में SQL फ़ंक्शंस का उपयोग करते समय, मुझे "ai_" से प्रारंभ होने वाले कस्टम फ़ंक्शंस का पता चला। ये फ़ंक्शंस NLP कार्यों को सरल SQL कॉल के माध्यम से पूर्ण करते हैं। उदाहरण के लिए, जब मैंने ai_analyze_sentiment('I am happy'); का उपयोग किया, तो मुझे ‘positive’ परिणाम मिला, जबकि ‘I am sad’ के लिए मुझे ‘negative’ मिला। यह मेरे लिए एक Revelatory अनुभव था, क्योंकि मैंने पहले LLMs का उपयोग मुख्यत: कोड पूर्णता और विकास कार्यों के लिए किया था। यह नया दृष्टिकोण डेटा के खिलाफ LLMs का सीधे उपयोग करने पर केंद्रित था।
मेरी पहली प्रतिक्रिया थी कि मैं R के माध्यम से इन कस्टम फ़ंक्शंस तक पहुँच प्राप्त करने की कोशिश करूँ। dbplyr का उपयोग करते हुए मैंने देखा कि ये फ़ंक्शंस R में भी अच्छे से काम करते हैं। यह एक सकारात्मक अनुभव था।
हालांकि, इस एकीकरण का एक downside यह है कि हमें Databricks से लाइव कनेक्शन की आवश्यकता होती है, जिससे यह कुछ उपयोगकर्ताओं के लिए सीमित हो जाता है। Databricks Llama 3.1 70B मॉडल का उपयोग कर रहा है, जो एक प्रभावी LLM है, लेकिन इसका आकार अधिकांश उपयोगकर्ताओं के मशीनों पर चलाना कठिन है।
व्यवहार्यता की ओर बढ़ना
LLM विकास में तेजी से प्रगति हो रही है। पहले, केवल ऑनलाइन LLMs दैनिक उपयोग के लिए व्यवहार्य थे, जिससे कंपनियों में अपनी डेटा को साझा करने में हिचकिचाहट थी। LLMs का ऑनलाइन उपयोग महंगा हो सकता है, और प्रति-टोकन शुल्क तेजी से बढ़ सकता है।
आवश्यक समाधान यह था कि LLM को हमारे सिस्टम में एकीकृत किया जाए, जिसके लिए तीन महत्वपूर्ण तत्वों की आवश्यकता थी:
- एक मॉडल जो आराम से मेमोरी में फिट हो सके।
- एक मॉडल जो NLP कार्यों के लिए पर्याप्त सटीकता प्राप्त करे।
- एक सहज इंटरफ़ेस जो मॉडल और उपयोगकर्ता के लैपटॉप के बीच हो।
पिछले वर्ष में, इन तीनों तत्वों का होना लगभग असंभव था। हालांकि, हाल की प्रगति जैसे कि Meta का Llama और क्रॉस-प्लेटफॉर्म इंटरैक्शन इंजिन जैसे Ollama ने इसे संभव बना दिया है।
प्रोजेक्ट की शुरुआत
यह प्रोजेक्ट एक अन्वेषण के रूप में शुरू हुआ, जिसमें मैंने एक "general-purpose" LLM का उपयोग करके Databricks AI फ़ंक्शंस के समान परिणाम प्राप्त करने की कोशिश की। सबसे बड़ी चुनौती यह थी कि पता करें कि ऐसे मॉडल को विश्वसनीय और लगातार परिणाम देने के लिए कितना सेटअप और तैयारी की आवश्यकता होगी।
किसी डिज़ाइन दस्तावेज़ या ओपन-सोर्स कोड के बिना, मैंने केवल LLM के आउटपुट पर निर्भर रहकर परीक्षण किया। मैंने पाया कि एक साधारण "one-shot" प्रॉम्प्ट ने सबसे अच्छे परिणाम दिए। उदाहरण के लिए:
“`
You are a helpful sentiment engine. Return only one of the
… following answers: positive, negative, neutral. No capitalization.
… No explanations. The answer is based on the following text:
… I am happy
positive
“`दृष्टिकोण
मेरे लक्ष्यों में से एक था कि मैं
mallपैकेज को जितना संभव हो उतना "ergonomic" बनाऊं। R में, यह सरल था। मैंने यह सुनिश्चित किया कि फ़ंक्शंस पाइप्स के साथ अच्छे से काम करें।Python में, हालांकि, मैंने पाया कि डेटा मैनिपुलेशन के बारे में सोचने का तरीका बदलना पड़ा। मैंने देखा कि Pandas API एक्सटेंशन की अनुमति देता है। मैंने Polar का उपयोग करना शुरू किया, जिसने मुझे नई namespace बनाने की अनुमति दी। इससे उपयोगकर्ता आवश्यक फ़ंक्शंस तक आसानी से पहुँच सकते थे।
भविष्य क्या है
मैं मानता हूँ कि जब समुदाय
mallका उपयोग करना शुरू करेगा और प्रतिक्रिया देगा, तो यह समझना आसान होगा कि आगे क्या है। नए LLM बैक-एंड्स को जोड़ने की आवश्यकता मुख्य अनुरोध होगा। जब नए अपडेटेड मॉडल उपलब्ध होंगे, तो प्रॉम्प्ट को अपडेट करने की आवश्यकता हो सकती है।निष्कर्ष
यह लेख एक अनूठी यात्रा का हिस्सा है, जिसमें R और Python के साथ LLMs के उपयोग पर ध्यान केंद्रित किया गया है। मैं आशा करता हूँ कि यह प्रयास डेटा एनालिस्ट्स के लिए नई संभावनाएँ खोलेगा। यदि आप
mallके बारे में और जानना चाहते हैं, तो कृपया इसकी आधिकारिक साइट पर जाएँ।FAQs
1. LLM क्या है?
LLM (Large Language Model) एक प्रकार का AI मॉडल है जो मानव भाषा को समझने और उत्पन्न करने में सक्षम होता है। यह टेक्स्ट को पढ़ता है और उसके अनुसार प्रतिक्रिया देता है।
2. Databricks क्या है?
Databricks एक क्लाउड-आधारित डेटा प्लेटफ़ॉर्म है जो डेटा इंजीनियरिंग, डेटा साइंस और मशीन लर्निंग कार्यों को सरल बनाता है।
3. ai_analyze_sentiment फ़ंक्शन कैसे काम करता है?
यह फ़ंक्शन टेक्स्ट इनपुट लेता है और उसका भावनात्मक विश्लेषण करता है, जैसे कि वह सकारात्मक, नकारात्मक, या तटस्थ है।
4. R और Python में
mallपैकेज का उपयोग कैसे करें?R में, आप इसे पाइप्स के साथ आसानी से उपयोग कर सकते हैं। Python में, आप इसे Pandas DataFrame के साथ जोड़कर उपयोग कर सकते हैं।
5. Llama 3.1 और Llama 3.2 में क्या अंतर है?
Llama 3.2 एक नया और अपडेटेड मॉडल है जो बेहतर प्रदर्शन और सटीकता प्रदान करता है। इसके उपयोग से प्रॉम्प्ट को अपडेट करने की आवश्यकता हो सकती है।
Tags
AI, LLM, Databricks, R, Python, NLP, Data Science, Sentiment Analysis, Machine Learning, Data Analysis
