एआय कामगिरी कशी मोजायची?

जर तुम्ही कधी असे मॉडेल पाठवले असेल जे नोटबुकमध्ये चमकदार दिसले पण उत्पादनात अडखळले, तर तुम्हाला त्याचे रहस्य आधीच माहित आहे: एआय कामगिरी कशी मोजायची हे एक जादूचे मापन नाही. ही वास्तविक जगातील ध्येयांशी जोडलेली तपासणीची एक प्रणाली आहे. अचूकता गोंडस आहे. विश्वसनीयता, सुरक्षितता आणि व्यवसायाचा प्रभाव चांगला आहे.

या लेखानंतर तुम्हाला वाचायला आवडतील असे लेख:

🔗 एआयशी कसे बोलावे
सातत्याने चांगले परिणाम मिळविण्यासाठी एआयशी प्रभावीपणे संवाद साधण्यासाठी मार्गदर्शक.

🔗 एआय काय प्रॉम्प्टिंग करत आहे?
प्रॉम्प्ट्स एआय प्रतिसाद आणि आउटपुट गुणवत्तेला कसे आकार देतात हे स्पष्ट करते.

🔗 एआय डेटा लेबलिंग म्हणजे काय?
प्रशिक्षण मॉडेल्ससाठी डेटाला अचूक लेबल्स नियुक्त करण्याचा आढावा.

🔗 एआय नीतिमत्ता म्हणजे काय?
जबाबदार एआय विकास आणि तैनाती मार्गदर्शन करणाऱ्या नैतिक तत्त्वांचा परिचय.

चांगले एआय परफॉर्मन्स कशामुळे होते? ✅

संक्षिप्त आवृत्ती: चांगली एआय कामगिरी म्हणजे तुमची प्रणाली उपयुक्त, विश्वासार्ह आणि गोंधळलेल्या, बदलत्या परिस्थितीत पुनरावृत्ती करण्यायोग्य आहे. ठोसपणे:

कामाची गुणवत्ता - योग्य कारणांसाठी योग्य उत्तरे मिळतात.
कॅलिब्रेशन - आत्मविश्वासाचे गुण वास्तवाशी जुळतात, त्यामुळे तुम्ही हुशारीने कृती करू शकता.
मजबूतपणा - ते ड्रिफ्ट, एज केसेस आणि अॅडव्हर्सरियल फझमध्ये टिकून राहते.
सुरक्षितता आणि निष्पक्षता - ते हानिकारक, पक्षपाती किंवा अनुपालन न करणारे वर्तन टाळते.
कार्यक्षमता - ते पुरेसे जलद, पुरेसे स्वस्त आणि मोठ्या प्रमाणात चालण्यासाठी पुरेसे स्थिर आहे.
व्यवसायावर परिणाम - ते तुम्हाला ज्या केपीआयची काळजी आहे त्याला प्रत्यक्षात हलवते.

जर तुम्हाला मेट्रिक्स आणि जोखीम संरेखित करण्यासाठी औपचारिक संदर्भ बिंदू हवा असेल, तर NIST AI जोखीम व्यवस्थापन फ्रेमवर्क विश्वसनीय सिस्टम मूल्यांकनासाठी एक मजबूत उत्तर तारा आहे. [1]

एआय कामगिरी कशी मोजायची यासाठी उच्च-स्तरीय कृती 🍳

तीन थरांमध्ये विचार करा :

कार्य मेट्रिक्स - कार्य प्रकारासाठी शुद्धता: वर्गीकरण, प्रतिगमन, रँकिंग, निर्मिती, नियंत्रण इ.
सिस्टम मेट्रिक्स - लेटन्सी, थ्रूपुट, प्रति कॉल खर्च, अपयश दर, ड्रिफ्ट अलार्म, अपटाइम SLA.
परिणाम मेट्रिक्स - तुम्हाला प्रत्यक्षात हवे असलेले व्यवसाय आणि वापरकर्ता परिणाम: रूपांतरण, धारणा, सुरक्षितता घटना, मॅन्युअल-पुनरावलोकन भार, तिकिटांची संख्या.

एक उत्तम मोजमाप योजना जाणूनबुजून तिन्ही गोष्टी एकत्र करते. अन्यथा तुम्हाला एक रॉकेट मिळेल जो कधीही लॉन्चपॅड सोडत नाही.

समस्येच्या प्रकारानुसार मुख्य मेट्रिक्स - आणि कोणते कधी वापरायचे 🎯

१) वर्गीकरण

प्रिसिजन, रिकॉल, F1 - पहिल्या दिवसाची त्रिकूट. F1 हा प्रिसिजन आणि रिकॉलचा हार्मोनिक मध्य आहे; जेव्हा वर्ग असंतुलित असतात किंवा खर्च असममित असतात तेव्हा उपयुक्त. [2]
ROC-AUC - वर्गीकरणकर्त्यांचे थ्रेशोल्ड-अज्ञेय रँकिंग; जेव्हा पॉझिटिव्ह दुर्मिळ असतात, तेव्हा PR-AUC . [2]
संतुलित अचूकता - वर्गांमध्ये रिकॉलची सरासरी; स्क्यू लेबल्ससाठी उपयुक्त. [2]

पिटफॉल वॉच: केवळ अचूकता असमतोलतेसह प्रचंड दिशाभूल करणारी असू शकते. जर ९९% वापरकर्ते वैध असतील, तर एक मूर्ख नेहमीच कायदेशीर मॉडेल ९९% गुण मिळवतो आणि दुपारच्या जेवणापूर्वी तुमच्या फसवणूक टीमला अपयशी ठरवतो.

२) प्रतिगमन

मानवी-सुवाच्य त्रुटीसाठी MAE मोठ्या चुकांना शिक्षा द्यायची असेल तेव्हा RMSE भिन्नतेसाठी
R² (डोमेन-फ्रेंडली युनिट्स वापरा जेणेकरून भागधारकांना प्रत्यक्षात त्रुटी जाणवेल.)

३) रँकिंग, पुनर्प्राप्ती, शिफारसी

nDCG - स्थान आणि श्रेणीबद्ध प्रासंगिकतेची काळजी घेते; शोध गुणवत्तेसाठी मानक.
एमआरआर - पहिला संबंधित आयटम किती लवकर दिसतो यावर लक्ष केंद्रित करते ("एक चांगले उत्तर शोधा" कार्यांसाठी उत्तम).
(अंमलबजावणी संदर्भ आणि काम केलेली उदाहरणे मुख्य प्रवाहातील मेट्रिक लायब्ररीमध्ये आहेत.) [2]

४) मजकूर निर्मिती आणि सारांशीकरण

BLEU आणि ROUGE - क्लासिक ओव्हरलॅप मेट्रिक्स; बेसलाइन म्हणून उपयुक्त.
एम्बेडिंग-आधारित मेट्रिक्स (उदा., BERTScore ) बहुतेकदा मानवी निर्णयाशी चांगले संबंध जोडतात; शैली, विश्वासूपणा आणि सुरक्षिततेसाठी नेहमीच मानवी रेटिंगसह जोडा. [4]

५) प्रश्नोत्तरे

एक्सट्रॅक्टिव्ह क्यूएसाठी अचूक जुळणी आणि टोकन-स्तरीय F1 ग्राउंडिंग (उत्तर-समर्थन तपासणी).

कॅलिब्रेशन, आत्मविश्वास आणि ब्रियर लेन्स 🎚️

आत्मविश्वास स्कोअर असे असतात जिथे अनेक प्रणाली शांतपणे बसतात. तुम्हाला वास्तविकता प्रतिबिंबित करणाऱ्या संभाव्यता हव्या असतात जेणेकरून ऑपरेशन्स थ्रेशोल्ड, मानवांकडे जाणारा मार्ग किंवा किंमत जोखीम सेट करू शकतील.

कॅलिब्रेशन वक्र - अंदाजित संभाव्यता विरुद्ध अनुभवजन्य वारंवारता कल्पना करा.
ब्रियर स्कोअर - संभाव्य अचूकतेसाठी योग्य स्कोअरिंग नियम; कमी म्हणजे चांगले. जेव्हा तुम्ही केवळ रँकिंगचीच नव्हे तर संभाव्यतेच्या गुणवत्तेची

फील्ड टीप: थोडेसे "वाईट" परंतु बरेच चांगले कॅलिब्रेशन मोठ्या प्रमाणात सुधारणा करू शकते - कारण लोक शेवटी स्कोअरवर विश्वास ठेवू शकतात.

सुरक्षितता, पक्षपात आणि निष्पक्षता - काय महत्त्वाचे आहे ते मोजा 🛡️⚖️

एक प्रणाली एकूणच अचूक असू शकते आणि तरीही विशिष्ट गटांना हानी पोहोचवू शकते. गटबद्ध मेट्रिक्स आणि निष्पक्षता निकषांचा मागोवा घ्या:

लोकसंख्याशास्त्रीय समता - गटांमध्ये समान सकारात्मक दर.
समान शक्यता / समान संधी - गटांमध्ये समान त्रुटी दर किंवा खरे-सकारात्मक दर; त्यांचा वापर ट्रेड-ऑफ शोधण्यासाठी आणि व्यवस्थापित करण्यासाठी करा, वन-शॉट पास-फेल स्टॅम्प म्हणून नाही. [5]

व्यावहारिक टीप: मुख्य गुणधर्मांनुसार मुख्य मेट्रिक्सचे विभाजन करणाऱ्या डॅशबोर्डपासून सुरुवात करा, नंतर तुमच्या धोरणांच्या आवश्यकतांनुसार विशिष्ट निष्पक्षता मेट्रिक्स जोडा. हे ऐकायला कठीण वाटते, परंतु ते एखाद्या घटनेपेक्षा स्वस्त आहे.

एलएलएम आणि आरएजी - एक मोजमाप प्लेबुक जे प्रत्यक्षात काम करते 📚🔍

जनरेटिव्ह सिस्टीम मोजणे... गोंधळलेले आहे. हे करा:

परिणामांची व्याख्या करा : शुद्धता, उपयुक्तता, निरुपद्रवीपणा, शैलीचे पालन, ब्रँडवर आधारित टोन, उद्धरण ग्राउंडिंग, नकार गुणवत्ता.
मजबूत फ्रेमवर्कसह बेसलाइन मूल्यांकन स्वयंचलित करा
विवेकासाठी सिमेंटिक मेट्रिक्स (एम्बेडिंग-आधारित) आणि ओव्हरलॅप मेट्रिक्स (BLEU/ROUGE) जोडा
इन्स्ट्रुमेंट ग्राउंडिंग : पुनर्प्राप्ती हिट रेट, संदर्भ अचूकता/रिकॉल, उत्तर-समर्थन ओव्हरलॅप.
सहमतीसह मानवी पुनरावलोकन - रेटर सुसंगतता मोजा (उदा. कोहेनचे κ किंवा फ्लीसचे κ) जेणेकरून तुमचे लेबल्स व्हायब्स नसतील.

बोनस: लॉग लेटन्सी पर्सेंटाइल्स आणि टोकन किंवा प्रत्येक कामासाठी खर्च मोजा. पुढच्या मंगळवारी येणारे काव्यात्मक उत्तर कोणालाही आवडत नाही.

तुलना सारणी - एआय कामगिरी मोजण्यास मदत करणारी साधने 🛠️📊

(हो, हे जाणूनबुजून थोडे गोंधळलेले आहे - खऱ्या नोट्स गोंधळलेल्या आहेत.)

साधन	सर्वोत्तम प्रेक्षक	किंमत	ते का काम करते - लवकर घ्या
सायकिट-लर्न मेट्रिक्स	एमएल प्रॅक्टिशनर्स	मोफत	वर्गीकरण, प्रतिगमन, रँकिंगसाठी कॅनोनिकल अंमलबजावणी; चाचण्यांमध्ये तयार करणे सोपे. [2]
एमएलफ्लो मूल्यांकन / जेनएआय	डेटा सायंटिस्ट, एमएलओपीएस	मोफत + सशुल्क	केंद्रीकृत धावा, स्वयंचलित मेट्रिक्स, एलएलएम न्यायाधीश, कस्टम स्कोअरर्स; कलाकृती स्वच्छपणे नोंदवतात.
स्पष्टपणे	जलद डॅशबोर्ड हवे असलेले संघ	ओएसएस + क्लाउड	१००+ मेट्रिक्स, ड्रिफ्ट आणि क्वालिटी रिपोर्ट्स, मॉनिटरिंग हुक्स - एका चुटकीत छान व्हिज्युअल्स.
वजन आणि पूर्वग्रह	प्रयोगशील संस्था	मोफत टियर	शेजारी शेजारी तुलना, मूल्यांकन डेटासेट, न्यायाधीश; सारण्या आणि ट्रेस व्यवस्थित आहेत.
लँगस्मिथ	एलएलएम अ‍ॅप बिल्डर्स	पैसे दिले	प्रत्येक पायरीचा मागोवा घ्या, मानवी पुनरावलोकन नियम किंवा एलएलएम मूल्यांकनकर्त्यांसह मिसळा; आरएजीसाठी उत्तम.
ट्रूलेन्स	ओपन-सोर्स एलएलएम इव्हल प्रेमी	ओएसएस	अभिप्राय कार्ये विषाक्तता, ग्राउंडनेस, प्रासंगिकता स्कोअर करण्यासाठी; कुठेही एकत्रित करण्यासाठी.
मोठ्या अपेक्षा	डेटा गुणवत्ता-प्रथम संस्था	ओएसएस	डेटावरील अपेक्षांना औपचारिक करा - कारण खराब डेटा प्रत्येक मेट्रिकचा नाश करतो.
डीपचेक्स	एमएलसाठी चाचणी आणि सीआय/सीडी	ओएसएस + क्लाउड	डेटा ड्रिफ्ट, मॉडेल समस्या आणि देखरेखीसाठी बॅटरीज-समावेशित चाचणी; चांगले रेलिंग.

किंमती बदलतात - कागदपत्रे तपासा. आणि हो, टूल पोलिस न येताही तुम्ही हे मिसळू शकता.

उंबरठा, खर्च आणि निर्णय वक्र - गुप्त सॉस 🧪

उंबरठ्यावर आणि खर्चाच्या गुणोत्तरांवर अवलंबून समान ROC-AUC असलेल्या दोन मॉडेल्सचे व्यवसाय मूल्य खूप वेगळे असू शकते .

तयार करण्यासाठी जलद पत्रक:

चुकीच्या पॉझिटिव्ह विरुद्ध चुकीच्या निगेटिव्हची किंमत पैसे किंवा वेळेत सेट करा.
प्रत्येक १ हजार निर्णयासाठी अपेक्षित मर्यादा मोजा आणि त्यांची गणना करा.
किमान अपेक्षित खर्चाची निवडा , नंतर ती देखरेखीसह लॉक करा.

जेव्हा सकारात्मक गुण दुर्मिळ असतात तेव्हा PR वक्र वापरा, सामान्य आकारासाठी ROC वक्र वापरा आणि जेव्हा निर्णय संभाव्यतेवर अवलंबून असतात तेव्हा कॅलिब्रेशन वक्र वापरा. [2][3]

मिनी-केस: एक सपोर्ट-तिकीट ट्रायएज मॉडेल ज्यामध्ये माफक F1 पण उत्कृष्ट कॅलिब्रेशन आहे, जे कॅलिब्रेटेड स्कोअर बँडशी जोडलेल्या हार्ड थ्रेशोल्डवरून टायर्ड राउटिंग (उदा., "ऑटो-रिझोल्यूशन," "ह्यूमन-रिव्ह्यू," "एस्केलेट") वर स्विच केल्यानंतर मॅन्युअल री-राउट्स कट करते.

ऑनलाइन देखरेख, प्रवाह आणि अलर्टिंग 🚨

ऑफलाइन मूल्यांकन ही सुरुवात आहे, शेवट नाही. निर्मितीमध्ये:

विभागानुसार इनपुट ड्रिफ्ट , आउटपुट ड्रिफ्ट आणि कामगिरी क्षय ट्रॅक करा
रेलिंग तपासणी सेट करा - कमाल भ्रम दर, विषारीपणाची मर्यादा, निष्पक्षता डेल्टा.
p95 लेटन्सी, टाइमआउट आणि प्रति विनंती खर्चासाठी कॅनरी डॅशबोर्ड जोडा
हे जलद करण्यासाठी उद्देशाने बनवलेल्या लायब्ररी वापरा; ते ड्रिफ्ट, गुणवत्ता आणि देखरेख प्राइमिटिव्ह्ज अगदी सुरुवातीपासून देतात.

एक छोटीशी सदोष रूपक: तुमच्या मॉडेलला आंबट पिठाच्या स्टार्टरसारखे समजा - तुम्ही फक्त एकदा बेक करून निघून जात नाही; तुम्ही खायला घालता, पाहता, वास घेता आणि कधीकधी पुन्हा सुरू करता.

मानवी मूल्यांकन जे कोसळत नाही 🍪

जेव्हा लोक आउटपुटला ग्रेड देतात तेव्हा ती प्रक्रिया तुमच्या विचारापेक्षा जास्त महत्त्वाची असते.

पास विरुद्ध बॉर्डरलाइन विरुद्ध फेल यांच्या उदाहरणांसह घट्ट रूब्रिक्स लिहा
शक्य असेल तेव्हा नमुने यादृच्छिक करा आणि अंध करा.
इंटर-रेटर करार मोजा (उदा., दोन रेटरसाठी कोहेनचा κ, अनेकांसाठी फ्लीसचा κ) आणि करार चुकल्यास रूब्रिक्स रिफ्रेश करा.

हे तुमच्या मानवी लेबल्सना मूड किंवा कॉफीच्या पुरवठ्यात बदलण्यापासून रोखते.

खोलवर अभ्यास: RAG मध्ये LLM साठी AI कामगिरी कशी मोजायची

पुनर्प्राप्ती गुणवत्ता - recall@k, precision@k, nDCG; सोन्याच्या तथ्यांचे कव्हरेज. [2]
उत्तरांची निष्ठा - उद्धृत करा आणि पडताळणी करा, ग्राउंडनेस स्कोअर, अॅडव्हर्सरियल प्रोब.
वापरकर्त्याचे समाधान - अंगठे, कार्य पूर्ण करणे, सुचवलेल्या मसुद्यांपासून अंतर संपादित करणे.
सुरक्षितता - विषारीपणा, PII गळती, धोरणांचे पालन.
किंमत आणि विलंब - टोकन, कॅशे हिट्स, p95 आणि p99 विलंब.

हे व्यवसाय कृतींशी जोडा: जर ग्राउंडनेस एका रेषेपेक्षा कमी झाला तर, स्ट्रिक्ट मोड किंवा मानवी पुनरावलोकनाकडे स्वयंचलितपणे जा.

आजपासून सुरुवात करण्यासाठी एक साधे प्लेबुक 🪄

नोकरीची व्याख्या करा - एक वाक्य लिहा: एआयने काय करावे आणि कोणासाठी करावे.
२-३ टास्क मेट्रिक्स निवडा - अधिक कॅलिब्रेशन आणि किमान एक फेअरनेस स्लाइस. [2][3][5]
खर्च वापरून मर्यादा ठरवा - अंदाज लावू नका.
उत्पादन मिश्रण प्रतिबिंबित करणारी १००-५०० लेबल असलेली उदाहरणे - एक लहान मूल्यांकन संच तयार करा
तुमचे मूल्यांकन स्वयंचलित करा - वायर मूल्यांकन/मॉनिटरिंग CI मध्ये करा जेणेकरून प्रत्येक बदल समान तपासण्या चालवेल.
उत्पादनात निरीक्षण करा - ड्रिफ्ट, लेटन्सी, खर्च, घटना ध्वज.
मासिक-इश - प्रून मेट्रिक्सचे पुनरावलोकन करा जे कोणीही वापरत नाही; खऱ्या प्रश्नांची उत्तरे देणारे मेट्रिक्स जोडा.
कागदपत्रांचे निर्णय - तुमचा संघ प्रत्यक्षात वाचतो तो एक जिवंत स्कोअरकार्ड.

हो, तेच खरे आहे. आणि ते काम करते.

सामान्य अडचणी आणि त्या कशा टाळायच्या 🕳️🐇

एकाच मेट्रिकवर ओव्हरफिटिंग निर्णयाच्या संदर्भाशी जुळणारी मेट्रिक बास्केट वापरा
कॅलिब्रेशनकडे दुर्लक्ष करणे - कॅलिब्रेशनशिवाय आत्मविश्वास हा केवळ अहंकार आहे. [3]
कोणतेही विभाजन नाही - नेहमी वापरकर्ता गट, भूगोल, डिव्हाइस, भाषा यानुसार विभागले जाते. [5]
अपरिभाषित खर्च - जर तुम्ही चुकांची किंमत निश्चित केली नाही, तर तुम्ही चुकीचा उंबरठा निवडाल.
मानवी मूल्यांकन प्रवाह - करार मोजा, रूब्रिक्स रिफ्रेश करा, पुनरावलोकनकर्त्यांना पुन्हा प्रशिक्षण द्या.
सुरक्षा उपकरणे नाहीत - निष्पक्षता, विषारीपणा आणि धोरण तपासणी आता जोडा, नंतर नाही. [1][5]

तुम्ही ज्या वाक्यांशासाठी आला आहात: एआय कामगिरी कशी मोजायची - खूप लांब, मी ते वाचले नाही 🧾

स्पष्ट निकालांसह सुरुवात करा , नंतर कार्य , प्रणाली आणि व्यवसाय मेट्रिक्स स्टॅक करा. [1]
कामासाठी योग्य मेट्रिक्स वापरा - वर्गीकरणासाठी F1 आणि ROC-AUC; रँकिंगसाठी nDCG/MRR; पिढीसाठी ओव्हरलॅप + सिमेंटिक मेट्रिक्स (मानवांसह जोडलेले). [2][4]
कॅलिब्रेट करा आणि तुमच्या चुकांची किंमत मोजून मर्यादा निवडा. [2][3]
ग्रुप स्लाइससह निष्पक्षता जोडा
मूल्यांकन आणि देखरेख स्वयंचलित करा जेणेकरून तुम्ही भीतीशिवाय पुनरावृत्ती करू शकाल.

तुम्हाला माहिती आहेच की ते कसे आहे - जे महत्त्वाचे आहे ते मोजा, नाहीतर जे महत्त्वाचे नाही ते तुम्ही सुधाराल.

संदर्भ

[1] NIST. AI जोखीम व्यवस्थापन फ्रेमवर्क (AI RMF). अधिक वाचा
[2] scikit-learn. मॉडेल मूल्यांकन: भाकितांची गुणवत्ता प्रमाणित करणे (वापरकर्ता मार्गदर्शक). अधिक वाचा
[3] scikit-learn. संभाव्यता कॅलिब्रेशन (कॅलिब्रेशन वक्र, ब्रियर स्कोअर). अधिक वाचा
[4] Papineni et al. (2002). BLEU: मशीन भाषांतराचे स्वयंचलित मूल्यांकन करण्यासाठी एक पद्धत. ACL. अधिक वाचा
[5] Hardt, Price, Srebro (2016). पर्यवेक्षित शिक्षणात संधीची समानता. NeurIPS. अधिक वाचा

अधिकृत एआय असिस्टंट स्टोअरमध्ये नवीनतम एआय शोधा.

आमच्याबद्दल

ब्लॉगवर परत

देश/प्रदेश