एआय प्रीप्रोसेसिंग म्हणजे काय? [व्हिडिओ आणि प्रश्नमंजुषा]

थोडक्यात उत्तर: एआय प्रीप्रोसेसिंग म्हणजे पुनरावृत्ती करता येण्याजोग्या टप्प्यांचा एक संच आहे, जो कच्च्या, उच्च-भिन्नता असलेल्या डेटाला सुसंगत मॉडेल इनपुटमध्ये रूपांतरित करतो. यामध्ये क्लीनिंग, एन्कोडिंग, स्केलिंग, टोकेनायझिंग आणि इमेज ट्रान्सफॉर्म्स यांचा समावेश असतो. हे महत्त्वाचे आहे कारण जर ट्रेनिंग इनपुट आणि प्रोडक्शन इनपुट भिन्न असतील, तर मॉडेल कोणतीही सूचना न देता अयशस्वी होऊ शकतात. जर एखादा टप्पा पॅरामीटर्स 'शिकत' असेल, तर लीकेज टाळण्यासाठी तो फक्त ट्रेनिंग डेटावरच फिट करा.

एआय प्रीप्रोसेसिंग म्हणजे प्रशिक्षणापूर्वी (आणि कधीकधी दरम्यान) तुम्ही कच्च्या डेटावर जे काही करता ते म्हणजे मॉडेल प्रत्यक्षात त्यातून शिकू शकेल. फक्त "स्वच्छता" नाही. ते म्हणजे डेटा साफ करणे, आकार देणे, स्केलिंग करणे, एन्कोडिंग करणे, वाढवणे आणि पॅकेजिंग करणे जे एका सुसंगत प्रतिनिधित्वात बदलते जे नंतर तुमच्या मॉडेलला शांतपणे ट्रिप करणार नाही. [1]

महत्वाचे मुद्दे:

व्याख्या: प्रीप्रोसेसिंग रॉ टेबल्स, टेक्स्ट, इमेजेस आणि लॉग्स मॉडेल-रेडी फीचर्समध्ये रूपांतरित करते.

सुसंगतता: जुळणी अपयश टाळण्यासाठी प्रशिक्षण आणि अनुमानादरम्यान समान रूपांतरे लागू करा.

गळती: फक्त प्रशिक्षण डेटावर स्केलर, एन्कोडर आणि टोकनायझर बसवा.

पुनरुत्पादनक्षमता: तदर्थ नोटबुक सेल अनुक्रमांऐवजी निरीक्षण करण्यायोग्य आकडेवारीसह पाइपलाइन तयार करा.

उत्पादन निरीक्षण: विषमता आणि विचलनाचा मागोवा घ्या, जेणेकरून इनपुटमुळे कार्यक्षमतेत हळूहळू घट होणार नाही.

या लेखानंतर तुम्हाला वाचायला आवडतील असे लेख:

🔗 वास्तविक कामगिरीसाठी एआय मॉडेल्सची चाचणी कशी करावी
अचूकता, मजबूती आणि पूर्वाग्रहाचे त्वरित मूल्यांकन करण्यासाठी व्यावहारिक पद्धती.

🔗 टेक्स्ट-टू-स्पीच एआय आहे का आणि ते कसे काम करते?
TTS ची मूलतत्त्वे, मुख्य उपयोग आणि आजच्या सामान्य मर्यादा स्पष्ट करतो.

🔗 आज एआय कर्सिव्ह हस्तलेखन अचूकपणे वाचू शकते का?
ओळख आव्हाने, सर्वोत्तम साधने आणि अचूकता टिप्स समाविष्ट करते.

🔗 सामान्य कामांमध्ये एआय किती अचूक आहे?
अचूकता घटक, बेंचमार्क आणि वास्तविक जगातील विश्वासार्हता यांचे विघटन करते.

साध्या भाषेत एआय प्रीप्रोसेसिंग (आणि ते काय नाही) 🤝

एआय प्रीप्रोसेसिंग म्हणजे कच्च्या इनपुटचे (टेबल, मजकूर, प्रतिमा, लॉग) मॉडेल-रेडी वैशिष्ट्यांमध्ये रूपांतर करणे. जर कच्चा डेटा गोंधळलेला गॅरेज असेल, तर प्रीप्रोसेसिंग म्हणजे तुम्ही बॉक्स लेबल करणे, तुटलेली कचरा टाकणे आणि गोष्टी रचणे जेणेकरून तुम्ही प्रत्यक्षात दुखापत न होता चालता येईल.

ते स्वतः मॉडेल नाही. ते असे घटक आहेत जे मॉडेलला शक्य करतात:

• श्रेणींचे संख्यांमध्ये रूपांतर करणे (एक-गरम, क्रमवाचक, इ.) [1]

• मोठ्या संख्यात्मक श्रेणींना योग्य श्रेणींमध्ये स्केल करणे (मानकीकरण, किमान-कमाल, इ.) [1]

• इनपुट आयडीमध्ये मजकूर टोकनाइझ करणे (आणि सहसा लक्ष वेधण्यासाठी एक मुखवटा) [3]

• प्रतिमांचे आकार बदलणे/क्रॉप करणे आणि डिटर्मिनिस्टिक विरुद्ध रँडम ट्रान्सफॉर्म्स योग्यरित्या लागू करणे [4]

• प्रशिक्षण आणि "वास्तविक जीवनातील" इनपुट सूक्ष्म मार्गांनी वेगळे होऊ नयेत म्हणून पुनरावृत्ती करता येण्याजोग्या पाइपलाइन तयार करणे [2]

एक छोटीशी व्यावहारिक नोंद: “प्रीप्रोसेसिंग” मध्ये मॉडेलला इनपुट मिळण्यापूर्वी सातत्याने होणाऱ्या सर्व गोष्टींचा. काही टीम्स याची विभागणी “फीचर इंजिनिअरिंग” विरुद्ध “डेटा क्लीनिंग” अशी करतात, परंतु प्रत्यक्षात या दोन्हीमधील फरक अस्पष्ट होतो. 

लोकांच्या कबूल करण्यापेक्षा एआय प्रीप्रोसेसिंग का जास्त महत्त्वाचे आहे 😬

मॉडेल हा पॅटर्न-मॅचर असतो, माइंड रीडर नसतो. जर तुमचे इनपुट विसंगत असतील, तर मॉडेल विसंगत नियम शिकतो. ते तात्विक नाही, ते वेदनादायकपणे शब्दशः आहे.

पूर्व-प्रक्रिया केल्याने तुम्हाला मदत होते:

• अंदाजक विश्वासार्हपणे वापरू शकतील अशा प्रतिनिधित्वांमध्ये वैशिष्ट्ये समाविष्ट करून शिक्षण स्थिरता सुधारा (विशेषतः जेव्हा स्केलिंग/एन्कोडिंगचा समावेश असेल). [1]

• (विचित्र कलाकृती लक्षात ठेवण्याऐवजी) गोंधळलेल्या वास्तवाला एखाद्या मॉडेलने सामान्यीकृत करू शकणाऱ्या गोष्टीसारखे बनवून आवाज कमी करा

• लीकेज आणि ट्रेन/सर्व्ह मिसमॅचेस (जे व्हॅलिडेशनमध्ये "अप्रतिम" दिसतात आणि नंतर प्रोडक्शनमध्ये सपशेल अपयशी ठरतात) यासारख्या मूक अपयश पद्धतींना प्रतिबंधित करा . [2]

• पुनरावृत्ती करण्यायोग्य ट्रान्सफॉर्म्स आठवड्याच्या प्रत्येक दिवशी नोटबुक स्पॅगेटीपेक्षा जास्त असल्याने पुनरावृत्तीचा वेग वाढवा

तसेच, बरेच "मॉडेल परफॉर्मन्स" प्रत्यक्षात येथूनच येतात. जसे की... आश्चर्यकारकपणे बरेच. कधीकधी ते अन्याय्य वाटते, पण ते वास्तव आहे 🙃

चांगली एआय प्रीप्रोसेसिंग पाइपलाइन कशामुळे बनते ✅

प्रीप्रोसेसिंगच्या "चांगल्या आवृत्तीत" सहसा हे गुण असतात:

• पुनरुत्पादनीय: समान इनपुट → समान आउटपुट (जाणूनबुजून केलेली वाढ असल्याशिवाय कोणतीही अनाकलनीय यादृच्छिकता नाही).

• ट्रेन-सर्व्हिसिंग सुसंगतता: तुम्ही प्रशिक्षणाच्या वेळी जे काही करता ते अनुमानाच्या वेळी त्याच प्रकारे लागू केले जाते (समान फिट केलेले पॅरामीटर्स, समान श्रेणी नकाशे, समान टोकनायझर कॉन्फिगरेशन इ.). [2]

• गळती-सुरक्षित: मूल्यांकन/चाचणीतील काहीही कोणत्याही फिट स्टेपवर परिणाम करत नाही. (या ट्रॅपबद्दल थोड्या वेळाने अधिक माहिती.) [2]

• निरीक्षणक्षम: काय बदलले आहे (फीचरची आकडेवारी, गहाळपणा, श्रेणींची संख्या) हे तुम्ही तपासू शकता, त्यामुळे डीबगिंग हे केवळ अनुभवांवर आधारित अभियांत्रिकी राहत नाही.

जर तुमचं प्रीप्रोसेसिंग म्हणजे 'final_v7_really_final_ok' नावाच्या नोटबुक सेल्सचा ढीग असेल ... तर तुम्हाला माहीतच आहे की काय होतं. जोपर्यंत ते चालतं, तोपर्यंतच चालतं 😬

एआय प्रीप्रोसेसिंगचे मुख्य घटक 🧱

प्रीप्रोसेसिंग म्हणजे तुम्ही पाइपलाइनमध्ये एकत्रित केलेल्या बिल्डिंग ब्लॉक्सचा संच समजा.

१) स्वच्छता आणि प्रमाणीकरण 🧼

ठराविक कामे:

• डुप्लिकेट काढून टाका

• गहाळ मूल्ये हाताळा (गहाळपणा वगळा, आरोप करा किंवा स्पष्टपणे दर्शवा)

• प्रकार, युनिट्स आणि रेंजेस लागू करा

• विकृत इनपुट शोधा

• मजकूर स्वरूपांचे मानकीकरण करा (मोकळी जागा, केसिंग नियम, युनिकोड विचित्रता)

हा भाग ग्लॅमरस नाहीये, पण तो अत्यंत मूर्ख चुकांना प्रतिबंधित करतो. मी हे प्रेमाने म्हणतो.

२) वर्गीकृत डेटा एन्कोड करणे 🔤

बहुतेक मॉडेल्स "red" किंवा "premium_user" सारख्या रॉ स्ट्रिंगचा थेट वापर करू शकत नाहीत .

सामान्य पद्धती:

• वन-हॉट एन्कोडिंग (श्रेणी → बायनरी स्तंभ) [1]

• ऑर्डिनल एन्कोडिंग (श्रेणी → पूर्णांक आयडी) [1]

मुख्य गोष्ट ही नाही कोणता एन्कोडर निवडता - तर ही आहे की मॅपिंग सुसंगत राहिले पाहिजे आणि प्रशिक्षण आणि अनुमान दरम्यान त्याचा "आकार बदलू नये". अशा प्रकारे तुम्हाला एक मॉडेल मिळते जे ऑफलाइन ठीक दिसते पण ऑनलाइन विचित्र वागते. [2]

३) वैशिष्ट्यांचे स्केलिंग आणि सामान्यीकरण 📏

जेव्हा वैशिष्ट्ये खूप वेगवेगळ्या श्रेणींमध्ये असतात तेव्हा स्केलिंग महत्त्वाचे असते.

दोन क्लासिक्स:

• मानकीकरण: सरासरी काढून टाका आणि युनिट भिन्नतेवर मोजा [1]

• किमान-कमाल स्केलिंग: प्रत्येक वैशिष्ट्य एका निर्दिष्ट श्रेणीमध्ये स्केल करा [1]

जरी तुम्ही "बहुतेकदा सामना करणारे" मॉडेल वापरत असलात तरी, स्केलिंगमुळे पाइपलाइन्सना तर्क करणे सोपे होते - आणि चुकून तुटणे कठीण होते.

४) फीचर इंजिनिअरिंग (उर्फ उपयुक्त फसवणूक) 🧪

येथे तुम्ही चांगले सिग्नल तयार करून मॉडेलचे काम सोपे करता:

• गुणोत्तर (क्लिक / इंप्रेशन)

• खिडक्या फिरवत आहेत (गेल्या N दिवसात)

• संख्या (प्रति वापरकर्ता कार्यक्रम)

• हेवी-टेल्ड डिस्ट्रिब्युशनसाठी लॉग ट्रान्सफॉर्म्स

इथे एक कला आहे. कधीकधी तुम्ही एखादे वैशिष्ट्य तयार कराल, अभिमान वाटेल... आणि ते काहीही करत नाही. किंवा त्याहूनही वाईट म्हणजे ते दुखावते. ते सामान्य आहे. वैशिष्ट्यांशी भावनिकरित्या जोडले जाऊ नका - ते तुमच्यावर प्रेम करत नाहीत 😅

५) डेटा योग्य पद्धतीने विभाजित करणे ✂️

हे स्पष्ट वाटते जोपर्यंत ते दिसत नाही:

• आयआयडी डेटासाठी यादृच्छिक विभाजने

• वेळ मालिकेसाठी वेळ-आधारित विभाजने

• जेव्हा घटक पुनरावृत्ती करतात तेव्हा गटबद्ध विभाजने (वापरकर्ते, उपकरणे, रुग्ण)

आणि महत्त्वाचे म्हणजे: डेटावरून शिकणाऱ्या प्रीप्रोसेसिंगला फिट करण्यापूर्वी विभाजित करा. जर तुमची प्रीप्रोसेसिंग पायरी पॅरामीटर्स (जसे की माध्य, शब्दसंग्रह, श्रेणी नकाशे) "शिकत" असेल, तर तिने ते फक्त प्रशिक्षणातूनच शिकले पाहिजे. [2]

डेटा प्रकारानुसार एआय प्रीप्रोसेसिंग: टॅब्युलर, मजकूर, प्रतिमा 🎛️

तुम्ही मॉडेलला काय खायला देता यावर अवलंबून प्रीप्रोसेसिंगचा आकार बदलतो.

सारणी डेटा (स्प्रेडशीट, लॉग, डेटाबेस) 📊

सामान्य पायऱ्या:

• गहाळ मूल्य धोरण

• वर्गीकृत एन्कोडिंग [1]

• संख्यात्मक स्तंभांचे स्केलिंग [1]

• आउटलायर हँडलिंग (डोमेन नियम बहुतेक वेळा "रँडम क्लिपिंग" पेक्षा जास्त असतात)

• साधित वैशिष्ट्ये (एकत्रीकरण, लॅग्ज, रोलिंग आकडेवारी)

व्यावहारिक सल्ला: स्तंभ गट स्पष्टपणे परिभाषित करा (अंकीय विरुद्ध वर्गीय विरुद्ध ओळखकर्ता). तुमचा भविष्यातील व्यक्ती तुमचे आभार मानेल.

मजकूर डेटा (NLP) 📝

मजकूर पूर्वप्रक्रियेत अनेकदा हे समाविष्ट असते:

• टोकन/सबवर्डमध्ये टोकनीकरण

• इनपुट आयडीमध्ये रूपांतरण

• पॅडिंग/ट्रंकेशन

• बॅचिंगसाठी लक्ष वेधण्यासाठी मास्क तयार करणे [3]

त्रास कमी करणारा एक छोटासा नियम: ट्रान्सफॉर्मर-आधारित सेटअपसाठी, मॉडेलच्या अपेक्षित टोकनायझर सेटिंग्जचे अनुसरण करा आणि कारण असल्याशिवाय फ्रीस्टाइल करू नका. फ्रीस्टाइलिंग म्हणजे तुम्हाला "ते ट्रेन करते पण ते विचित्र आहे" असे कसे वाटते ते सांगणे

प्रतिमा (संगणक दृष्टी) 🖼️

सामान्य पूर्वप्रक्रिया:

• आकार बदला / सुसंगत आकारांमध्ये क्रॉप करा

• मूल्यांकनासाठी निर्धारक परिवर्तने

• प्रशिक्षण वाढीसाठी यादृच्छिक रूपांतरणे (उदा., यादृच्छिक क्रॉपिंग) [4]

लोक एक गोष्ट चुकवतात: "यादृच्छिक रूपांतरणे" ही फक्त एक भावना नाहीयेत - प्रत्येक वेळी कॉल केल्यावर ते शब्दशः पॅरामीटर्सचे नमुने घेतात. विविधतेचे प्रशिक्षण देण्यासाठी उत्तम, जर तुम्ही यादृच्छिकता बंद करायला विसरलात तर मूल्यांकनासाठी भयानक. [4]

प्रत्येकजण ज्या सापळ्यात अडकतो: डेटा गळती 🕳️🐍

मूल्यांकन डेटामधील माहिती प्रशिक्षणात घुसते तेव्हा गळती होते - बहुतेकदा प्रीप्रोसेसिंगद्वारे. ते तुमचे मॉडेल प्रमाणीकरणादरम्यान जादुई बनवू शकते आणि नंतर वास्तविक जगात तुम्हाला निराश करू शकते.

सामान्य गळतीचे नमुने:

• पूर्ण-डेटासेट आकडेवारी वापरून स्केलिंग (फक्त प्रशिक्षणाऐवजी) [2]

• ट्रेन+टेस्ट एकत्र वापरून श्रेणी नकाशे तयार करणे [2]

• कोणतीही fit() किंवा fit_transform() पायरी जी चाचणी संच "पाहते" [2]

अंगठ्याचा नियम (सोपा, क्रूर, प्रभावी):

• फिट स्टेप असलेली कोणतीही गोष्ट फक्त प्रशिक्षणादरम्यान फिट असावी.

• मग तुम्ही त्या बसवलेल्या ट्रान्सफॉर्मरचा वापर करून व्हॅलिडेशन/टेस्ट ट्रान्सफॉर्म करा . [2]

आणि जर तुम्हाला "ते किती वाईट असू शकते?" याची खात्री करून घ्यायची असेल तर: scikit-learn च्या स्वतःच्या डॉक्युमेंटेशनमध्ये एक लीकेजचे उदाहरण दाखवले आहे जिथे चुकीच्या प्रीप्रोसेसिंग क्रमाने यादृच्छिक लक्ष्यांवर सुमारे 0.76 अचूकता मिळते - आणि नंतर लीकेज दुरुस्त केल्यावर ती पुन्हा ~ 0.5 पर्यंत घसरते. लीकेज किती खात्रीशीरपणे चुकीचे दिसू शकते हे यावरून दिसून येते. [2]

गोंधळाशिवाय उत्पादनात पूर्व-प्रक्रिया सुरू करणे 🏗️

बरेचसे मॉडेल्स प्रोडक्शनमध्ये अयशस्वी होतात, ते मॉडेल 'वाईट' असल्यामुळे नाही, तर इनपुटमधील वास्तविकता बदलल्यामुळे किंवा तुमची पाइपलाइन बदलल्यामुळे.

उत्पादन-मनाच्या पूर्व-प्रक्रियेत सहसा हे समाविष्ट असते:

• जतन केलेल्या कलाकृती (एनकोडर मॅपिंग्ज, स्केलर पॅरामीटर्स, टोकनायझर कॉन्फिगरेशन) त्यामुळे अनुमान अगदी त्याच शिकलेल्या रूपांतरांचा वापर करते [2]

• कठोर इनपुट करार (अपेक्षित स्तंभ/प्रकार/श्रेणी)

• स्क्यू आणि ड्रिफ्टसाठी देखरेख, कारण उत्पादन डेटा राहील [5]

जर तुम्हाला ठोस व्याख्या हव्या असतील तर: Google चे Vertex AI Model Monitoring हे ट्रेनिंग-सर्व्हिंग स्क्यू (प्रोडक्शन डिस्ट्रिब्युशन ट्रेनिंगपासून विचलित होते) आणि इन्फरन्स ड्रिफ्ट (प्रोडक्शन डिस्ट्रिब्युशन कालांतराने बदलते) यामध्ये फरक करते आणि कॅटेगोरिकल तसेच न्यूमेरिकल फीचर्स या दोन्हींच्या मॉनिटरिंगला सपोर्ट करते. [5]

कारण सरप्राईज महाग असतात. आणि मजेदार प्रकारचे नाही.

तुलना सारणी: सामान्य प्रीप्रोसेसिंग + मॉनिटरिंग टूल्स (आणि ते कोणासाठी आहेत) 🧰

(हो, टेबलवर अजूनही मते आहेत. पण किमान ती प्रामाणिक मते आहेत 😅)

तुम्ही प्रत्यक्षात वापरू शकता अशी एक व्यावहारिक प्रीप्रोसेसिंग चेकलिस्ट 📌

प्रशिक्षणापूर्वी

• इनपुट स्कीमा परिभाषित करा (प्रकार, युनिट्स, अनुमत श्रेणी)

• गहाळ मूल्ये आणि डुप्लिकेट ऑडिट करा

• डेटा योग्य पद्धतीने विभाजित करा (यादृच्छिक / वेळेवर आधारित / गटबद्ध)

• फक्त प्रशिक्षणादरम्यान फिट प्रीप्रोसेसिंग ( फिट / फिट_ट्रान्सफॉर्म ट्रेनमध्येच राहते) [2]

• प्रीप्रोसेसिंग आर्टिफॅक्ट्स सेव्ह करा जेणेकरून अनुमान त्यांचा पुन्हा वापर करू शकेल [2]

प्रशिक्षणादरम्यान

• योग्य असेल तिथेच यादृच्छिक वाढ लागू करा (सहसा फक्त प्रशिक्षण विभाजन) [4]

• मूल्यांकन पूर्व-प्रक्रिया निर्धारक ठेवा [4]

• मॉडेल बदलांसारखे प्रीप्रोसेसिंग बदल ट्रॅक करा (कारण ते आहेत)

तैनातीपूर्वी

• अनुमान समान प्रीप्रोसेसिंग मार्ग आणि कलाकृती वापरत असल्याची खात्री करा [2]

• ड्रिफ्ट/स्क्यू मॉनिटरिंग सेट करा (मूलभूत वैशिष्ट्य वितरण तपासणी देखील खूप पुढे जाते) [5]

खोलवर जा: सामान्य प्रीप्रोसेसिंग चुका (आणि त्या कशा टाळायच्या) 🧯

चूक १: “मी लवकरच सर्वकाही सामान्य करेन” 😵

जर तुम्ही संपूर्ण डेटासेटवर स्केलिंग पॅरामीटर्सची गणना केली तर तुम्ही मूल्यांकन माहिती लीक करत आहात. ट्रेनमध्ये बसा, बाकीचे रूपांतर करा. [2]

चूक २: अराजकतेत वाहून जाणाऱ्या श्रेणी 🧩

जर तुमचे कॅटेगरी मॅपिंग प्रशिक्षण आणि अनुमान यांच्यात बदलले तर तुमचे मॉडेल शांतपणे जगाचे चुकीचे वाचन करू शकते. जतन केलेल्या कलाकृतींद्वारे मॅपिंग निश्चित करा. [2]

चूक ३: मूल्यांकनात यादृच्छिक वाढ 🎲

प्रशिक्षणात रँडम ट्रान्सफॉर्म्स उत्तम असतात, परंतु जेव्हा तुम्ही कामगिरी मोजण्याचा प्रयत्न करत असता तेव्हा ते "गुप्तपणे चालू" नसावेत. (रँडम म्हणजे रँडम.) [4]

अंतिम टिप्पणी 🧠✨

एआय प्रीप्रोसेसिंग ही गोंधळलेल्या वास्तवाला सुसंगत मॉडेल इनपुटमध्ये रूपांतरित करण्याची शिस्तबद्ध कला आहे. यात क्लीनिंग, एन्कोडिंग, स्केलिंग, टोकनायझेशन, इमेज ट्रान्सफॉर्म्स आणि सर्वात महत्त्वाचे म्हणजे पुनरावृत्ती करता येणारे पाइपलाइन आणि आर्टिफॅक्ट्स समाविष्ट आहेत.

• प्रीप्रोसेसिंग जाणीवपूर्वक करा, अनौपचारिकपणे नाही. [2]

• प्रथम विभाजित करा, फक्त प्रशिक्षणादरम्यानच रूपांतरण फिट होईल, गळती टाळा. [2]

• मोडॅलिटी-योग्य प्रीप्रोसेसिंग वापरा (मजकूरासाठी टोकनायझर्स, प्रतिमांसाठी ट्रान्सफॉर्म्स). [3][4]

• उत्पादनातील स्क्यू/ड्रिफ्टचे निरीक्षण करा जेणेकरून तुमचे मॉडेल हळूहळू मूर्खपणाकडे वळणार नाही. [5]

आणि जर तुम्ही कधी अडकलात, तर स्वतःला विचारा:
“ही प्रीप्रोसेसिंगची पायरी मी उद्या अगदी नवीन डेटावर चालवली, तरीही ती योग्य ठरेल का?”
जर उत्तर “अं... कदाचित?” असं असेल, तर तोच तुमच्यासाठी संकेत आहे 😬

वास्तविक उदाहरण: ग्राहक गळतीचा अंदाज लावण्यासाठी गळती-सुरक्षित प्रीप्रोसेसिंग पाइपलाइन तयार करणे

परिस्थिती

कल्पना करा की एक छोटी SaaS टीम पुढील ३० दिवसांत कोणते ग्राहक सेवा रद्द करण्याची शक्यता आहे याचा अंदाज लावण्याचा प्रयत्न करत आहे. त्यांचा मूळ डेटा तीन ठिकाणी साठवलेला आहे: बिलिंग एक्सपोर्ट्स, उत्पादन वापराचे लॉग आणि सपोर्ट तिकिट्स.

मॉडेलची पहिली आवृत्ती व्हॅलिडेशनमध्ये उत्कृष्ट दिसते, परंतु नवीन महिन्याच्या ग्राहकांवर तपासल्यावर तिची कामगिरी खराब होते. समस्या मॉडेलच्या आर्किटेक्चरमध्ये नाही, तर ती प्रीप्रोसेसिंगमध्ये आहे.

टीमने चुकून संपूर्ण डेटासेट वापरून संख्यात्मक वैशिष्ट्ये स्केल केली, ट्रेन आणि टेस्ट डेटा एकत्र वापरून श्रेणी मॅपिंग तयार केले आणि रद्द केल्यानंतरच जोडलेले सपोर्ट-तिकिट टॅग समाविष्ट केले. क्लासिक लीकेज. त्रासदायक, पण दुरुस्त करण्यायोग्य. [2]

पाईपलाईनला काय आवश्यक आहे

एका व्यावहारिक मांडणीमध्ये खालील गोष्टींचा समावेश असेल:

• एक निश्चित इनपुट स्कीमा: customer_id, plan_type, account_age_days, logins_30d, tickets_30d, last_payment_status, region

• वेळेनुसार विभागणी, जसे की जानेवारी ते सप्टेंबरमध्ये प्रशिक्षण आणि ऑक्टोबरमध्ये चाचणी

• संख्यात्मक स्केलिंग फक्त प्रशिक्षण स्प्लिटवर बसवले आहे

• कॅटेगोरिकल एन्कोडर फक्त ट्रेनिंग स्प्लिटवर बसवले

• प्रीप्रोसेसिंग पाइपलाइन जतन केल्यामुळे प्रोडक्शनमध्ये तेच मॅपिंग आणि स्केलर व्हॅल्यूज वापरले जातात

• डिप्लॉयमेंटनंतर गहाळ झालेले कॉलम, न पाहिलेल्या कॅटेगरी आणि वितरणातील बदलांसाठी मूलभूत देखरेख

मुख्य नियम सोपा आहे: प्रथम विभाजन करा, नंतर प्रीप्रोसेसिंग फिट करा. डेटावरून शिकणारी कोणतीही गोष्ट फक्त प्रशिक्षण कालावधीतूनच शिकली पाहिजे. [2]

उदाहरण सूचना

पूर्व-प्रक्रिया पायरीसाठी याचा कार्यकारी संक्षिप्त आराखडा म्हणून वापर करा:

ग्राहक बिलिंग, वापर आणि सपोर्ट डेटा वापरून चर्न प्रेडिक्शन मॉडेलसाठी एक प्रीप्रोसेसिंग पाइपलाइन तयार करा. कोणतेही ट्रान्सफॉर्मर्स फिट करण्यापूर्वी डेटा वेळेनुसार विभाजित करा. केवळ ट्रेनिंग डेटावर न्यूमेरिक स्केलर्स आणि कॅटेगोरिकल एन्कोडर्स फिट करा, त्यानंतर ते फिट केलेले ट्रान्सफॉर्म्स व्हॅलिडेशन आणि टेस्ट डेटावर लागू करा. सर्व प्रीप्रोसेसिंग आर्टिफॅक्ट्स सेव्ह करा जेणेकरून प्रोडक्शन मॉडेल समान स्कीमा, कॅटेगरी मॅपिंग्ज आणि स्केलिंग पॅरामीटर्स वापरेल. प्रेडिक्शन करण्यापूर्वी मिसिंग कॉलम्स, अनपेक्षित डेटा प्रकार, न पाहिलेल्या कॅटेगरीज आणि मोठे डिस्ट्रिब्युशन शिफ्ट्स फ्लॅग करा.

त्याची चाचणी कशी करावी

मॉडेलवर विश्वास ठेवण्यापूर्वी, काही हेतुपुरस्सर अवघड रेकॉर्ड्स वापरून प्रीप्रोसेसिंग पाइपलाइनची चाचणी घ्या:

• प्रशिक्षणात समाविष्ट नसलेल्या योजनेच्या प्रकारावरील ग्राहक

• प्रदेश किंवा शेवटच्या पेमेंटची स्थिती नसलेली ओळ

• असामान्यपणे जास्त वापर करणारा ग्राहक, जसे की ३० दिवसांत १०,००० लॉगिन

• चुकीच्या क्रमाने स्तंभ असलेली उत्पादन-शैलीची फाईल

• फिटिंग दरम्यान कधीही न वापरलेला, पुढील महिन्याचा चाचणी संच

मग तीन गोष्टी तपासा:

• फिचरचा क्रम न बदलता पाइपलाइन चालते का?

• अज्ञात श्रेणी सुसंगतपणे हाताळल्या जातात का?

• गळती दूर केल्यावर पडताळणीची कार्यक्षमता अधिक विश्वासार्ह पातळीवर येते का?

तो शेवटचा मुद्दा महत्त्वाचा आहे. संशयास्पदरीत्या जास्त असलेला व्हॅलिडेशन स्कोअर हा अनेकदा प्रीप्रोसेसिंगमधील त्रुटी असतो, चमत्कार नव्हे.

निकाल

नोटबुकमधील स्टेप्सना सेव्ह केलेल्या पाइपलाइनमध्ये रूपांतरित करण्यापूर्वी आणि नंतर पाच नमुना प्रीप्रोसेसिंग रनच्या वेळेवर आधारित प्रातिनिधिक निकाल:

• मॅन्युअल प्रीप्रोसेसिंगचा वेळ प्रत्येक डेटासेट रिफ्रेशसाठी ५५ मिनिटांवरून ८ मिनिटांपर्यंत कमी झाला.

• फीचर-ऑर्डरमधील त्रुटी 5 टेस्ट रिफ्रेशमधील 3 त्रुटींवरून 5 रिफ्रेशमध्ये 0 त्रुटींपर्यंत कमी झाल्या.

• गळती दूर केल्यानंतर प्रमाणीकरण अचूकता ९१% वरून ७४% पर्यंत घसरली, परंतु ताज्या महिन्याच्या चाचणीची अचूकता ६२% वरून ७१% पर्यंत सुधारली.

• टीमने ६ स्वयंचलित तपासण्या जोडल्या: गहाळ स्तंभ, अवैध प्रकार, न पाहिलेल्या श्रेणी, नल-रेट बदल, संख्यात्मक श्रेणी बदल आणि ट्रेन-सर्व्हिंग स्कीमा विसंगती.

हे आकडे सार्वत्रिक मापदंड नाहीत. ही अशा प्रकारची साधी, आधी-आणि-नंतरची मोजमापे आहेत, जी एखादी टीम रिफ्रेशची वेळ मोजून, अयशस्वी झालेल्या रन्सची गणना करून आणि भविष्यातील एका महिन्यासाठी राखून ठेवलेल्या प्रमाणीकरण परिणामांशी तुलना करून पुन्हा मिळवू शकते.

काय बिघडू शकतं?

सर्वात मोठा धोका म्हणजे पाइपलाइन स्वच्छ दाखवताना नकळतपणे गळतीला वाव देणे. उदाहरणार्थ, “शेवटच्या रद्द करण्याच्या सूचनेच्या ईमेलला किती दिवस झाले” ही माहिती उपयुक्त वाटू शकते, परंतु जर तो ईमेल केवळ अंतर्गत ग्राहक गळतीच्या आढाव्यानंतरच पाठवला गेला, तर त्यातून भविष्यातील माहिती उघड होऊ शकते.

इतर सामान्य सापळे:

• सेव्ह केलेले मॅपिंग लोड करण्याऐवजी प्रोडक्शनमध्ये एन्कोडर पुन्हा बसवणे

• नवीन श्रेणींना वैशिष्ट्यांची जागा नकळतपणे बदलू देणे

• जेव्हा खरे कार्य वेळेवर आधारित असते तेव्हा यादृच्छिक विभाजनावर चाचणी करणे

• प्रशिक्षणामध्ये गहाळ मूल्ये असलेल्या पंक्ती वगळणे, परंतु अनुमानामध्ये त्यांना न हाताळणे

• इनपुट ड्रिफ्टकडे दुर्लक्ष करून मॉडेलच्या अचूकतेचे निरीक्षण करणे

व्यावहारिक निष्कर्ष

एक चांगली प्रीप्रोसेसिंग पाइपलाइन केवळ कच्चा डेटा सुव्यवस्थित करण्यापेक्षा अधिक काही करते. ती मॉडेलला चुकीच्या मूल्यांकनापासून, सदोष प्रोडक्शन इनपुट्सपासून आणि हळूवार, अदृश्य बदलांपासून वाचवते. चर्न मॉडेलसाठी, हुशार प्रीप्रोसेसिंग आणि विश्वसनीय प्रीप्रोसेसिंगमधील फरक अनेकदा यावर अवलंबून असतो की, तेच फिट केलेले ट्रान्सफॉर्म्स प्रत्येक वेळी पुन्हा वापरले जातात की नाही, विशेषतः जेव्हा डेटा अशा महिन्याचा असतो जो मॉडेलने यापूर्वी कधीही पाहिलेला नसतो.

वारंवार विचारले जाणारे प्रश्न

सोप्या भाषेत सांगायचे तर एआय प्रीप्रोसेसिंग म्हणजे काय?

एआय प्रीप्रोसेसिंग ही पुनरावृत्ती करता येणारी चरणांची एक संच आहे जी गोंगाट करणारा, उच्च-प्रचलनाचा कच्चा डेटा मॉडेल शिकू शकणाऱ्या सुसंगत इनपुटमध्ये बदलतो. त्यात साफसफाई, प्रमाणीकरण, एन्कोडिंग श्रेणी, संख्यात्मक मूल्ये स्केल करणे, मजकूर टोकन करणे आणि प्रतिमा रूपांतरे लागू करणे समाविष्ट असू शकते. प्रशिक्षण आणि उत्पादन अनुमान "समान प्रकारचे" इनपुट पाहणे सुनिश्चित करणे हे ध्येय आहे, जेणेकरून मॉडेल नंतर अप्रत्याशित वर्तनात जाणार नाही.

उत्पादनात एआय प्रीप्रोसेसिंग इतके महत्त्वाचे का आहे?

प्रीप्रोसेसिंग महत्त्वाचे आहे कारण मॉडेल्स इनपुट प्रतिनिधित्वासाठी संवेदनशील असतात. जर प्रशिक्षण डेटा स्केल केला असेल, एन्कोड केला असेल, टोकनाइज केला असेल किंवा उत्पादन डेटापेक्षा वेगळ्या पद्धतीने रूपांतरित केला असेल, तर तुम्हाला ट्रेन/सर्व्हिस मिसमेच अपयश येऊ शकतात जे ऑफलाइन चांगले दिसतात परंतु शांतपणे ऑनलाइन अयशस्वी होतात. मजबूत प्रीप्रोसेसिंग पाइपलाइन आवाज कमी करतात, शिकण्याची स्थिरता सुधारतात आणि पुनरावृत्तीला गती देतात कारण तुम्ही नोटबुक स्पॅगेटी उलगडत नाही आहात.

प्रीप्रोसेसिंग करताना डेटा लीक कसा टाळायचा?

एक साधा नियम लागू होतो: ' फिट ' स्टेप असलेली कोणतीही गोष्ट केवळ ट्रेनिंग डेटावरच फिट केली पाहिजे. यामध्ये स्केलर्स, एन्कोडर्स आणि टोकेनायझर्स यांचा समावेश आहे, जे मीन्स, कॅटेगरी मॅप्स किंवा व्होकॅब्युलरीजसारखे पॅरामीटर्स शिकतात. तुम्ही आधी स्प्लिट करता, ट्रेनिंग स्प्लिटवर फिट करता, आणि मग फिट केलेल्या ट्रान्सफॉर्मरचा वापर करून व्हॅलिडेशन/टेस्टला ट्रान्सफॉर्म करता. लीकेजमुळे व्हॅलिडेशन 'जादुई'रित्या चांगले दिसू शकते आणि नंतर प्रत्यक्ष वापरात ते अयशस्वी होऊ शकते.

टॅब्युलर डेटासाठी सर्वात सामान्य प्रीप्रोसेसिंग पायऱ्या कोणत्या आहेत?

टॅब्युलर डेटासाठी, नेहमीच्या पाइपलाइनमध्ये क्लीनिंग आणि व्हॅलिडेशन (प्रकार, श्रेणी, गहाळ मूल्ये), कॅटेगरिकल एन्कोडिंग (एक-गरम किंवा क्रमवाचक) आणि न्यूमेरिक स्केलिंग (मानकीकरण किंवा किमान-कमाल) यांचा समावेश असतो. अनेक पाइपलाइन डोमेन-चालित फीचर इंजिनिअरिंग जसे की रेशो, रोलिंग विंडो किंवा काउंट्स जोडतात. एक व्यावहारिक सवय म्हणजे कॉलम ग्रुप्स स्पष्टपणे परिभाषित करणे (न्यूमेरिक विरुद्ध कॅटेगरिकल विरुद्ध आयडेंटिफायर्स) जेणेकरून तुमचे ट्रान्सफॉर्म्स सुसंगत राहतील.

टेक्स्ट मॉडेल्ससाठी प्रीप्रोसेसिंग कसे काम करते?

मजकूर प्रीप्रोसेसिंग म्हणजे सामान्यतः टोकनला टोकन/सबवर्डमध्ये रूपांतरित करणे, त्यांना इनपुट आयडीमध्ये रूपांतरित करणे आणि बॅचिंगसाठी पॅडिंग/ट्रंकेशन हाताळणे. अनेक ट्रान्सफॉर्मर वर्कफ्लो आयडींसोबत लक्ष वेधण्यासाठी एक मास्क देखील तयार करतात. एक सामान्य दृष्टिकोन म्हणजे मॉडेलच्या अपेक्षित टोकनायझर कॉन्फिगरेशनचा वापर करणे, इम्प्रोव्हाइजिंग करण्याऐवजी, कारण टोकनायझर सेटिंग्जमधील लहान फरकांमुळे "ते प्रशिक्षित होते परंतु ते अप्रत्याशितपणे वागते" परिणाम होऊ शकतात.

मशीन लर्निंगसाठी प्रतिमा प्रीप्रोसेसिंगमध्ये काय फरक आहे?

प्रतिमा पूर्वप्रक्रिया सहसा सुसंगत आकार आणि पिक्सेल हाताळणी सुनिश्चित करते: आकार बदलणे/क्रॉपिंग, सामान्यीकरण आणि निर्धारक आणि यादृच्छिक रूपांतरांमधील स्पष्ट विभाजन. मूल्यांकनासाठी, रूपांतरणे निर्धारक असावीत जेणेकरून मेट्रिक्स तुलनात्मक असतील. प्रशिक्षणासाठी, यादृच्छिक वाढ (यादृच्छिक पिकांसारखे) मजबूती सुधारू शकते, परंतु यादृच्छिकता जाणूनबुजून प्रशिक्षण विभाजनापर्यंत मर्यादित केली पाहिजे, मूल्यांकनादरम्यान चुकून सोडली जाऊ नये.

प्रीप्रोसेसिंग पाइपलाइन नाजूक होण्याऐवजी "चांगली" का बनते?

एक चांगली एआय प्रीप्रोसेसिंग पाइपलाइन पुनरुत्पादनक्षम, गळती-सुरक्षित आणि निरीक्षणक्षम असते. पुनरुत्पादनक्षम म्हणजे समान इनपुट समान आउटपुट तयार करते जोपर्यंत यादृच्छिकता जाणूनबुजून वाढवली जात नाही. गळती-सुरक्षित म्हणजे फिट स्टेप्स कधीही प्रमाणीकरण/चाचणीला स्पर्श करत नाहीत. निरीक्षणक्षम म्हणजे तुम्ही गहाळपणा, श्रेणी संख्या आणि वैशिष्ट्य वितरण यासारख्या आकडेवारीची तपासणी करू शकता म्हणून डीबगिंग पुराव्यावर आधारित आहे, आतड्याच्या भावनांवर नाही. पाइपलाइन प्रत्येक वेळी अॅड-हॉक नोटबुक अनुक्रमांना मागे टाकतात.

प्रशिक्षण आणि अनुमान पूर्वप्रक्रिया सुसंगत कशी ठेवावी?

स्केलर पॅरामीटर्स, एन्कोडर मॅपिंग्ज आणि टोकनायझर कॉन्फिग्स: अनुमानाच्या वेळी त्याच शिकलेल्या कलाकृतींचा पुन्हा वापर करणे ही गुरुकिल्ली आहे. तुम्हाला इनपुट कॉन्ट्रॅक्ट (अपेक्षित स्तंभ, प्रकार आणि श्रेणी) देखील हवा आहे जेणेकरून उत्पादन डेटा शांतपणे अवैध आकारांमध्ये जाऊ नये. सुसंगतता म्हणजे फक्त "समान पायऱ्या करणे" नाही - ती "समान फिट केलेल्या पॅरामीटर्स आणि मॅपिंगसह समान पायऱ्या करणे" आहे

कालांतराने ड्रिफ्ट आणि स्क्यू सारख्या प्रीप्रोसेसिंग समस्यांचे मी कसे निरीक्षण करू शकतो?

एक मजबूत पाइपलाइन असतानाही, उत्पादन डेटा बदलतो. वैशिष्ट्य वितरणातील बदलांचे निरीक्षण करणे आणि प्रशिक्षण-सेवा देणारे स्क्यू (उत्पादन प्रशिक्षणापासून विचलित होते) आणि अनुमान ड्रिफ्ट (कालांतराने उत्पादन बदल) यावर सतर्क राहणे हा एक सामान्य दृष्टिकोन आहे. देखरेख हलके (मूलभूत वितरण तपासणी) किंवा व्यवस्थापित (व्हर्टेक्स एआय मॉडेल मॉनिटरिंग सारखे) असू शकते. इनपुट शिफ्ट्स लवकर पकडणे हे ध्येय आहे - ते मॉडेल कामगिरी हळूहळू खराब करण्यापूर्वी.

संदर्भ

[1] scikit-learn API: sklearn.preprocessing (एनकोडर्स, स्केलर्स, नॉर्मलायझेशन)
[2] scikit-learn: सामान्य चुका - डेटा लीकेज आणि ते कसे टाळावे
[3] Hugging Face Transformers docs: टोकेनायझर्स (इनपुट आयडी, अटेंशन मास्क)
[4] PyTorch Torchvision docs: ट्रान्सफॉर्म्स (रिसाईज/नॉर्मलाइझ + रँडम ट्रान्सफॉर्म्स)
[5] Google Cloud Vertex AI docs: मॉडेल मॉनिटरिंग विहंगावलोकन (फीचर स्क्यू आणि ड्रिफ्ट)

अधिकृत एआय असिस्टंट स्टोअरमध्ये नवीनतम एआय शोधा

आमच्याबद्दल