एआय विसंगती कशा शोधते?

डेटा ऑपरेशन्समध्ये विसंगती शोधणे हा शांत नायक आहे - आग लागण्यापूर्वी धुराचा अलार्म जो कुजबुजतो.

सोप्या भाषेत सांगायचे तर: AI शिकते की "साधारणपणे सामान्य" काय आहे, नवीन घटनांना एक विसंगती स्कोअरआणि नंतर एका मर्यादेच्या. जेव्हा तुमचा डेटा हंगामी, अव्यवस्थित, अस्थिर आणि कधीकधी तुम्हाला खोटे सांगणारा असतो, तेव्हा तुम्ही "साधारणपणे सामान्य" ची व्याख्या कशी करता यातच खरी अडचण आहे. [1]

या लेखानंतर तुम्हाला वाचायला आवडतील असे लेख:

🔗 एआय समाजासाठी हानिकारक का ठरू शकते:
एआयच्या व्यापक स्वीकृतीमधील नैतिक, आर्थिक आणि सामाजिक धोक्यांचे परीक्षण.

🔗 एआय सिस्टीम प्रत्यक्षात किती पाणी वापरतात:
डेटा सेंटर कूलिंग, ट्रेनिंगच्या गरजा आणि पर्यावरणावरील पाण्याचा परिणाम याबद्दल स्पष्टीकरण.

🔗 एआय डेटासेट म्हणजे काय आणि तो महत्त्वाचा का आहे:
डेटासेट, लेबलिंग, स्रोत आणि मॉडेलच्या कार्यक्षमतेमधील त्यांची भूमिका परिभाषित करते.

🔗 एआय जटिल डेटामधून ट्रेंड्सचा अंदाज कसा लावते:
यामध्ये पॅटर्न ओळख, मशीन लर्निंग मॉडेल्स आणि वास्तविक जगातील अंदाजाच्या उपयोगांचा समावेश आहे.

"एआय विसंगती कशा शोधते?"

एका चांगल्या उत्तराने अल्गोरिदमची यादी करणे पुरेसे नाही. त्यात यांत्रिकी आणि जेव्हा तुम्ही त्यांना वास्तविक, अपूर्ण डेटावर लागू करता तेव्हा ते कसे दिसतात हे स्पष्ट केले पाहिजे. सर्वोत्तम स्पष्टीकरणे:

मूलभूत घटक दाखवा: वैशिष्ट्ये, बेसलाइन, स्कोअरआणि थ्रेशोल्ड. [1]
व्यावहारिक कुटुंबांची तुलना करा: अंतर, घनता, एक-वर्ग, अलगाव, संभाव्यता, पुनर्बांधणी. [1]
वेळ-मालिकेच्या विचित्र गोष्टी हाताळा: "सामान्य" दिवसाची वेळ, आठवड्याचा दिवस, प्रकाशने आणि सुट्ट्यांवर अवलंबून असते. [1]
मूल्यांकनाला खऱ्या अडचणीसारखे समजा: खोटे अलार्म फक्त त्रासदायक नसतात - ते विश्वास जाळतात. [4]
"ते विचित्र आहे" हे मूळ कारण नाही म्हणून अर्थ लावणे + लूपमध्ये मानवीयता समाविष्ट करा. [5]

कोअर मेकॅनिक्स: बेसलाइन, स्कोअर, थ्रेशोल्ड 🧠

बहुतेक विसंगती प्रणाली - कल्पनारम्य असो वा नसो - तीन गतिमान भागांमध्ये उकळतात:

१) प्रतिनिधित्व (म्हणजे: मॉडेल काय पाहतो)

कच्चे सिग्नल क्वचितच पुरेसे असतात. तुम्ही एकतर वैशिष्ट्ये (रोलिंग स्टॅट्स, रेशो, लॅग्ज, हंगामी डेल्टा) तयार करता किंवा प्रतिनिधित्व (एम्बेडिंग, सबस्पेसेस, पुनर्रचना) शिकता . [1]

२) स्कोअरिंग (म्हणजे: हे किती "विचित्र" आहे?)

सामान्य स्कोअरिंग कल्पनांमध्ये हे समाविष्ट आहे:

अंतरावर आधारित: शेजाऱ्यांपासून दूर = संशयास्पद. [1]
घनतेवर आधारित: कमी स्थानिक घनता = संशयास्पद (LOF हे पोस्टर चाइल्ड आहे). [1]
एक-वर्गीय सीमा: “सामान्य” शिका, जे त्याच्या बाहेर येते ते चिन्हांकित करा. [1]
संभाव्यता: बसवलेल्या मॉडेल अंतर्गत कमी शक्यता = संशयास्पद. [1]
पुनर्रचना त्रुटी: जर नॉर्मलवर प्रशिक्षित केलेले मॉडेल त्याची पुनर्रचना करू शकत नसेल, तर ते बहुधा चुकीचे आहे. [1]

३) थ्रेशहोल्डिंग (म्हणजे: घंटा कधी वाजवायची)

थ्रेशोल्ड निश्चित, क्वांटाइल-आधारित, प्रति-सेगमेंट किंवा खर्च-संवेदनशील असू शकतात - परंतु ते व्हाइब्स नव्हे तर अलर्ट बजेट आणि डाउनस्ट्रीम खर्चाच्या विरूद्ध कॅलिब्रेट केले पाहिजेत. [4]

एक अतिशय व्यावहारिक तपशील: scikit-learn चे आउटलायर/नॉव्हेल्टी डिटेक्टर कच्चे स्कोअर आणि नंतर स्कोअरला इनलायर/आउटलायर निर्णयात रूपांतरित करण्यासाठी एक थ्रेशोल्ड (बहुतेकदा कॉन्टॅमिनेशन-स्टाईल गृहितकाद्वारे नियंत्रित) लागू करतात. [2]

नंतर वेदना टाळणाऱ्या जलद व्याख्या 🧯

दोन फरक जे तुम्हाला सूक्ष्म चुकांपासून वाचवतात:

आउटलायर डिटेक्शन: तुमच्या ट्रेनिंग डेटामध्ये आधीपासूनच आउटलायर्स असू शकतात; तरीही अल्गोरिदम “डेन्स नॉर्मल रीजन” मॉडेल करण्याचा प्रयत्न करतो.
नवीनता ओळखणे : प्रशिक्षण डेटा स्वच्छ आहे असे गृहीत धरले जाते; नवीन निरीक्षणे शिकलेल्या सामान्य पॅटर्नमध्ये बसतात की नाही हे तुम्ही तपासत आहात . [2]

तसेच: नवीनता शोधणे हे बहुतेकदा एक-वर्ग वर्गीकरण - सामान्य मॉडेलिंग कारण असामान्य उदाहरणे दुर्मिळ किंवा अपरिभाषित आहेत. [1]

तुम्ही प्रत्यक्षात वापरणार असलेले देखरेखीशिवाय काम करणारे घोडे 🧰

जेव्हा लेबल्स दुर्मिळ असतात (जे मुळात नेहमीच असते), तेव्हा ही साधने खऱ्या पाइपलाइनमध्ये दिसतात:

आयसोलेशन फॉरेस्ट: अनेक टॅब्युलर प्रकरणांमध्ये एक मजबूत डिफॉल्ट, व्यवहारात मोठ्या प्रमाणावर वापरले जाते आणि सायकिट-लर्नमध्ये अंमलात आणले जाते. [2]
एक-वर्ग SVM: प्रभावी असू शकते परंतु ट्यूनिंग आणि गृहीतकांबद्दल संवेदनशील आहे; सायकिट-लर्न स्पष्टपणे काळजीपूर्वक हायपरपॅरामीटर ट्यूनिंगची आवश्यकता दर्शविते. [2]
लोकल आउटलायर फॅक्टर (LOF): क्लासिक घनता-आधारित स्कोअरिंग; जेव्हा "सामान्य" एक सुबक ठिपका नसतो तेव्हा उत्तम. [1]

एक व्यावहारिक अडचण जी टीम्स दर आठवड्याला पुन्हा शोधून काढतात: तुम्ही ट्रेनिंग सेटवर आउटलायर डिटेक्शन करत आहात की नवीन डेटावर नॉव्हेल्टी डिटेक्शन करत आहात यावर अवलंबून LOF वेगळ्या प्रकारे कार्य करते - scikit-learn ला तर novelty=True . [2]

डेटा विचित्र असतानाही काम करणारी एक मजबूत आधाररेषा 🪓

जर तुम्ही "आम्हाला फक्त असे काहीतरी हवे आहे जे आम्हाला विस्मृतीत नेऊ नये" अशा स्थितीत असाल, तर मजबूत आकडेवारी कमी लेखली जाते.

सुधारित झेड-स्कोर टोकाच्या मूल्यांप्रति संवेदनशीलता कमी करण्यासाठी मध्यक आणि एमएडी (मध्यक निरपेक्ष विचलन) वापरतो . एनआयएसटीच्या ईडीए हँडबुकमध्ये सुधारित झेड-स्कोर स्वरूपाचे दस्तऐवजीकरण केले आहे आणि 3.5 पेक्षा जास्त निरपेक्ष मूल्यावर सामान्यतः वापरल्या जाणार्‍या "संभाव्य आउटलायर" नियमाची नोंद केली आहे . [3]

हे प्रत्येक विसंगती समस्येचे निराकरण करणार नाही - परंतु ते बहुतेकदा संरक्षणाची एक मजबूत पहिली ओळ असते, विशेषतः गोंगाटाच्या मेट्रिक्स आणि सुरुवातीच्या टप्प्यातील देखरेखीसाठी. [3]

टाइम सिरीज रिअ‍ॅलिटी: "सामान्य" हे कधी ⏱️📈 यावर अवलंबून असते.

वेळ मालिकेतील विसंगती गुंतागुंतीच्या आहेत कारण संदर्भ हा संपूर्ण मुद्दा आहे: दुपारी एक वाढ अपेक्षित असू शकते; पहाटे ३ वाजता तीच वाढ म्हणजे काहीतरी आग लागली आहे. म्हणून अनेक व्यावहारिक प्रणाली वेळेची जाणीव असलेल्या वैशिष्ट्यांचा (लॅग्ज, हंगामी डेल्टा, रोलिंग विंडो) वापर करून सामान्यतेचे मॉडेल तयार करतात आणि अपेक्षित पॅटर्नच्या सापेक्ष स्कोअर विचलन करतात. [1]

जर तुम्हाला फक्त एकच नियम लक्षात ठेवायचा असेल तर: तुमचा अर्धा ट्रॅफिक "असामान्य" घोषित करण्यापूर्वी तुमच्या बेसलाइनचे (तास/दिवस/प्रदेश/सेवा स्तर) विभाजन करा . [1]

मूल्यांकन: दुर्मिळ घटनांचा सापळा 🧪

विसंगती शोधणे बहुतेकदा "गवताच्या गंजीमध्ये सुई" असते, ज्यामुळे मूल्यांकन विचित्र होते:

जेव्हा पॉझिटिव्ह दुर्मिळ असतात तेव्हा ROC वक्र भ्रामकपणे चांगले दिसू शकतात.
असंतुलित सेटिंग्जसाठी प्रिसिजन-रिकॉल व्ह्यूज बहुतेकदा अधिक माहितीपूर्ण असतात कारण ते सकारात्मक वर्गावरील कामगिरीवर लक्ष केंद्रित करतात. [4]
ऑपरेशनलदृष्ट्या, तुम्हाला अलर्ट बजेटची: राग न सोडता लोक दर तासाला किती अलर्ट प्रत्यक्षात ट्राय करू शकतात? [4]

रोलिंग विंडोमध्ये बॅकटेस्टिंग केल्याने तुम्हाला क्लासिक फेल्युअर मोड पकडण्यास मदत होते: "गेल्या महिन्याच्या वितरणावर ते सुंदरपणे काम करते." [1]

अर्थ लावणे आणि मूळ कारण: तुमचे काम दाखवा 🪄

स्पष्टीकरण न देता इशारा देणे म्हणजे गूढ पोस्टकार्ड मिळवण्यासारखे आहे. उपयुक्त आहे, पण निराशाजनक आहे.

अन्योन्यता साधने (Interpretability tools) एखाद्या विसंगती गुणांकात (anomaly score) कोणत्या वैशिष्ट्यांनी सर्वाधिक योगदान दिले हे दर्शवून, किंवा "हे सामान्य दिसण्यासाठी काय बदलण्याची आवश्यकता असेल?" या शैलीतील स्पष्टीकरणे देऊन मदत करू शकतात . 'द इंटरप्रिटेबल मशीन लर्निंग ' हे पुस्तक सामान्य पद्धती (SHAP-शैलीतील गुणधर्मांसह) आणि त्यांच्या मर्यादांसाठी एक ठोस, चिकित्सक मार्गदर्शक आहे. [5]

ध्येय फक्त भागधारकांना दिलासा देणे नाही - ते जलद ट्रायज आणि कमी पुनरावृत्ती घटना घडवणे आहे.

तैनाती, प्रवाह आणि अभिप्राय लूप 🚀

मॉडेल्स स्लाईडमध्ये राहत नाहीत. ते पाइपलाइनमध्ये राहतात.

उत्पादनातील पहिल्या महिन्यातील एक सामान्य गोष्ट: डिटेक्टर मुख्यतः डिप्लॉय, बॅच जॉब आणि गहाळ डेटाला चिन्हांकित करतो… जे तरीही उपयुक्त कारण ते तुम्हाला “डेटा गुणवत्तेच्या घटना” आणि “व्यवसायातील विसंगती” वेगळे करण्यास भाग पाडते.

व्यवहारात:

ड्रिफ्टचे निरीक्षण करा आणि पुन्हा प्रशिक्षण द्या/पुनर्कॅलिब्रेट करा. [1]
लॉग स्कोअर इनपुट + मॉडेल आवृत्ती जेणेकरून तुम्ही काहीतरी का पेज केले ते पुन्हा तयार करू शकाल. [5]
कालांतराने थ्रेशोल्ड आणि सेगमेंट ट्यून करण्यासाठी मानवी अभिप्राय (उपयुक्त विरुद्ध गोंगाटयुक्त सूचना) कॅप्चर करा . [4]

सुरक्षा दृष्टिकोन: आयडीएस आणि वर्तणुकीय विश्लेषण 🛡️

सुरक्षा पथके अनेकदा नियम-आधारित शोधांसह विसंगती कल्पनांचे मिश्रण करतात: "सामान्य यजमान वर्तनासाठी आधाररेषा", तसेच ज्ञात वाईट नमुन्यांसाठी स्वाक्षऱ्या आणि धोरणे. NIST चे SP 800-94 (अंतिम) घुसखोरी शोध आणि प्रतिबंध प्रणाली विचारांसाठी व्यापकपणे उद्धृत केलेले फ्रेमवर्क राहिले आहे; ते असेही नमूद करते की 2012 चा मसुदा "रेव्ह. 1" कधीही अंतिम झाला नाही आणि नंतर तो निवृत्त करण्यात आला. [3]

भाषांतर: जिथे मदत होते तिथे ML वापरा, पण कंटाळवाणे नियम टाकून देऊ नका - ते काम करतात म्हणून ते कंटाळवाणे आहेत.

तुलना सारणी: एका दृष्टीक्षेपात लोकप्रिय पद्धती 📊

साधन / पद्धत	सर्वोत्तम साठी	ते का काम करते (सरावात)
मजबूत / सुधारित झेड-स्कोअर	साधे मेट्रिक्स, जलद बेसलाइन	जेव्हा तुम्हाला "पुरेसे चांगले" आणि कमी खोटे अलार्म हवे असतील तेव्हा मजबूत पहिला पास. [3]
आयसोलेशन फॉरेस्ट	सारणीबद्ध, मिश्र वैशिष्ट्ये	ठोस डीफॉल्ट अंमलबजावणी आणि व्यवहारात मोठ्या प्रमाणात वापरली जाते. [2]
एक-वर्ग SVM	संक्षिप्त "सामान्य" प्रदेश	सीमा-आधारित नवीनता शोधणे; ट्यूनिंग खूप महत्त्वाचे आहे. [2]
स्थानिक बाह्य घटक	मॅनिफोल्ड-इश नॉर्मल्स	शेजारच्या लोकांविरुद्ध घनतेचा फरक स्थानिक विचित्रता ओळखतो. [1]
पुनर्बांधणी त्रुटी (उदा., ऑटोएन्कोडर-शैली)	उच्च-आयामी नमुने	सामान्य मार्गावर चालवा; मोठ्या पुनर्बांधणी त्रुटी विचलन दर्शवू शकतात. [1]

चीट कोड: मजबूत बेसलाइनसह सुरुवात करा + एक कंटाळवाणा आणि देखरेखीशिवाय पद्धत, नंतर जिथे ते भाडे देते तिथेच जटिलता जोडा.

एक छोटीशी खेळपट्टी: शून्यापासून अलर्टपर्यंत 🧭

कार्यवाहीच्या दृष्टीने “विचित्र” याची व्याख्या करा (विलंब, फसवणुकीचा धोका, सीपीयू थ्रॅश, इन्व्हेंटरीचा धोका).
बेसलाइन (मजबूत आकडेवारी किंवा खंडित थ्रेशोल्ड) सह सुरुवात करा. [3]
पहिल्या पास म्हणून एक अनसप्रेव्हाइज्ड मॉडेल निवडा (आयसोलेशन फॉरेस्ट / एलओएफ / वन-क्लास एसव्हीएम). [2]
अलर्ट बजेटसह मर्यादा निश्चित कराआणि जर सकारात्मक गोष्टी दुर्मिळ असतील तर पीआर-शैलीच्या विचारसरणीने मूल्यांकन करा. [4]
स्पष्टीकरणे + लॉगिंग जोडा जेणेकरून प्रत्येक सूचना पुनरुत्पादित आणि डीबग करण्यायोग्य असेल. [5]
बॅकटेस्ट, शिप, लर्न, रिकॅलिब्रेट - ड्रिफ्ट सामान्य आहे. [1]

तुम्ही हे एका आठवड्यात नक्कीच करू शकता... जर तुमचे टाइमस्टॅम्प डक्ट टेप आणि होपने एकत्र ठेवलेले नसतील तर. 😅

शेवटचे टिप्पण्या - खूप लांब, मी ते वाचले नाही🧾

एआय "सामान्य" चे व्यावहारिक चित्र शिकून, विचलनांना गुण देऊन आणि मर्यादा ओलांडणाऱ्यांना चिन्हांकित करून विसंगती शोधते. सर्वोत्तम प्रणाली आकर्षक असल्यामुळे नव्हे, तर कॅलिब्रेटेड: विभागलेल्या बेसलाइन, अलर्ट बजेट, अर्थपूर्ण आउटपुट आणि एक फीडबॅक लूप जो गोंगाटयुक्त अलार्मला विश्वासार्ह सिग्नलमध्ये बदलतो. [1]

संदर्भ

पिमेंटेल आणि इतर (२०१४) - नवीनता शोधण्याचा आढावा (पीडीएफ, ऑक्सफर्ड विद्यापीठ) अधिक वाचा
scikit-learn डॉक्युमेंटेशन - नावीन्य आणि आउटलायर डिटेक्शन अधिक वाचा
NIST/SEMATECH ई-हँडबुक - आउटलायर्स शोधणे अधिक वाचा आणि NIST CSRC - SP 800-94 (फायनल): इंट्रूजन डिटेक्शन अँड प्रिव्हेन्शन सिस्टीम्स (IDPS) साठी मार्गदर्शक अधिक वाचा
साईटो आणि रेम्समेयर (२०१५) - असंतुलित डेटासेटवर बायनरी क्लासिफायरचे मूल्यांकन करताना ROC प्लॉटपेक्षा प्रिसिजन-रिकॉल प्लॉट अधिक माहितीपूर्ण असतो (PLOS ONE) अधिक वाचा
मोलनार - इंटरप्रिटेबल मशीन लर्निंग (वेब बुक) अधिक वाचा

अधिकृत एआय असिस्टंट स्टोअरमध्ये नवीनतम एआय शोधा

आमच्याबद्दल

ब्लॉगवर परत