एआय विश्वसनीय आहे का?

एआय विश्वसनीय आहे का? [व्हिडिओ आणि प्रश्नमंजुषा]

थोडक्यात उत्तर: एआय हा एक गुणधर्म म्हणून विश्वसनीय नाही: ते कार्यावर, माहिती मिळवण्याच्या प्रक्रियेवर आणि अजूनही जबाबदार असलेल्या मानवावर. अपटाइम म्हणजे एंडपॉइंटने प्रतिसाद दिला की नाही; आणि सत्यता म्हणजे दिलेला प्रतिसाद खरा होता की नाही. जेव्हा एखादी चूक झाल्यास ती सुधारणे स्वस्त किंवा सहज शक्य असेल तेव्हा त्याचा वापर करा; जेव्हा एखादी चूक महागडी ठरू शकते तेव्हा वेग कमी करा.

महत्वाचे मुद्दे:

उत्तरदायित्व: पुनरावलोकन कोण करते, कोण ते थांबवू शकते आणि कोणाची जबाबदारी आहे, याची नावे सांगा.

पारदर्शकता: मिळवलेल्या भागाची तपासणी करा, नाहीतर तुम्ही अजूनही संभ्रमात आहात.

ऑडिटक्षमता: लॉग प्रॉम्प्ट्स, मिळवलेले चंक्स आणि पाठवलेले डेटा, जेणेकरून चुकलेल्या नोंदींचा मागोवा घेता येईल.

गैरवापराला प्रतिकार: पैशाच्या प्रश्नांवर तोडगा काढू नका; कधीही आकडे, चौकटी किंवा धोरण तयार करू नका.

उदाहरणात्मक निकाल: २० प्रश्नांच्या उदाहरणात्मक चाचणीला ९५% पुरावा न मानता, एक नकाशा समजा.

एआय विश्वसनीय आहे का? इन्फोग्राफिक

या लेखानंतर तुम्हाला वाचायला आवडतील असे लेख:

🔗 दैनंदिन जीवनात AI चा वापर कसा करावा?
AI दैनंदिन कामे आणि दिनचर्या कशा सोप्या करू शकते, याचे व्यावहारिक मार्ग जाणून घ्या.

🔗 कामाच्या ठिकाणी AI चा वापर कसा करावा?
AI च्या मदतीने उत्पादकता आणि कार्यक्षमता सुधारण्याचे व्यावहारिक मार्ग जाणून घ्या.

🔗 एआय स्वतः विचार करू शकते का?
कृत्रिम बुद्धिमत्ता खरोखरच स्वतंत्रपणे विचार करू शकते आणि तर्क लावू शकते का, हे जाणून घ्या.

🔗 एआयचे प्रकार कोणते आहेत?
एआयचे मुख्य प्रकार, क्षमता आणि महत्त्वाचे फरक समजून घ्या.

जेव्हा यंत्र हे केवळ आकडेवारीचा पोपट असते, तेव्हा 'विश्वसनीय' या शब्दाचा अर्थ तरी काय?

दैनंदिन बोलचालीत, विश्वसनीयता म्हणजे तुम्ही एखाद्या गोष्टीवर विसंबून राहू शकता.

संवाद साधणाऱ्या ऑटोमेशनमध्ये, अनेक वेगवेगळे गुणधर्म एकाच शब्दाखाली दडलेले असतात. वस्तुनिष्ठता. सुसंगतता. कॅलिब्रेशन - मॉडेलचा आत्मविश्वास त्याच्या बरोबर असण्याच्या शक्यतेशी जुळतो की तो फक्त... खात्रीशीर वाटतो. सुरक्षितता. अपटाइम. तत्पर संवेदनशीलता. अपवादात्मक परिस्थितींमधील वर्तन. वितरण बदलानंतरचे वर्तन, जेव्हा प्रत्यक्ष जग हे प्रशिक्षणाचे जग नसते. यापैकी काहीही एकाच वेळी अयशस्वी होत नाही. हाच तो भाग आहे जो लोक वगळतात.

एखादा चॅटबॉट आठवडाभर चालू असूनही मंगळवारी दुपारी चुकीचा ठरू शकतो. एखादा कोडिंग सहकारी बॉयलरप्लेट कोड लिहिण्यात पारंगत असूनही, त्याला मूळ API सारखाच दिसणारा एक API भासमान होऊ शकतो. यासाठी लोक 'कनिष्ठ सहकारी' हे रूपक वापरतात. हे एक अपूर्ण रूपक आहे - कनिष्ठांना लाज वाटते - पण ते 'भविष्यवाणी' या शब्दापेक्षा अधिक जवळचे आहे.

प्रत्यक्ष चाचणी कशासाठी, कोणासाठी, आणि तिच्याभोवती असलेल्या कोणत्या लूपच्या साहाय्याने विश्वसनीय आहे. नाहीतर तुम्ही एखादे ब्लेंडर कर भरू शकते की नाही यावर त्याचे मूल्यांकन करत आहात.

अपटाइम म्हणजे सत्यता नव्हे - 'विश्वसनीय' असण्याचे हे दोन भिन्न प्रकार आहेत

ऑपरेशन्स करणारे आणि सत्याचे पुरस्कर्ते एकच शब्द वापरतात आणि एकमेकांचे म्हणणे न ऐकता बोलतात.

अपटाइम म्हणजे "एंडपॉइंटने प्रतिसाद दिला का". सत्यता म्हणजे "उत्तर तसेच होते का". गव्हर्नन्सला या दोन्ही गोष्टींची काळजी असते, आणि मॉडेल रिस्क या दोन गोष्टींमधील एका गुंतागुंतीच्या पोकळीत दडलेली असते. तुमची सेवा कधीही चुकत नाही, तरीही तुम्ही कस्टमर तिकीटमध्ये एक सफाईदार खोटं पाठवू शकता. SRE च्या दृष्टीने विश्वसनीय. पण "कृपया परतावा धोरण तयार करू नका" या अर्थाने विश्वसनीय नाही.

मला वाटतं, हे लिहून काढल्यावर स्पष्टच आहे. पण दुपारी ४ वाजता, जेव्हा प्रतिसाद जलद मिळतो आणि रांग प्रचंड मोठी असते, तेव्हा ते स्पष्ट वाटत नाही. वेग म्हणजे कार्यक्षमता असं वाटतं. पूर्वी सावकाशपणाचा अर्थ होता की कोणीतरी विचार करत आहे. आता वेग हेच लक्षण आहे की कोणीही विचार करत नाहीये.

सुरक्षितता हा आणखी एक महत्त्वाचा पैलू आहे. एखादे मॉडेल जे धोकादायक जेलब्रेकला प्रतिसाद देत नाही, ते सुरक्षिततेच्या मूल्यांकनाच्या दृष्टीने 'विश्वसनीय' असते, पण तरीही ते तुमच्या स्वतःच्या नोंदींच्या सारांशात फेरफार करू शकते.

अस्खलित असूनही चुकीचे असणे, हे अस्ताव्यस्त असूनही स्पष्टवक्ते असण्यापेक्षा वाईट आहे

ही आत्मविश्वासाची समस्या आहे, आणि तीच शेवटी त्रासदायक ठरते.

अचूकता आणि ओघ यांचा घटस्फोट झाला आणि ओघानेच घर सांभाळले. एलएलएम (LLM) तुम्हाला लय देईल, योग्य ठिकाणी सावधगिरी बाळगायला शिकवेल, आणि कदाचित संदर्भ देण्याची एक बनावट पण आकर्षक पद्धतही देईल. तुमचा मेंदू वाचतो, "या व्यक्तीला सर्व काही माहित आहे". पण प्रत्यक्षात ती व्यक्ती नसते, आणि त्याचे मोजमाप अनेकदा अत्यंत चुकीचे असते - उच्च आत्मविश्वास, मध्यम सत्य, आणि हे सर्व एखाद्या मुख्य भाषणाप्रमाणे सादर केलेले असते.

अस्ताव्यस्तपणे दिलेले चुकीचे उत्तर तुमच्या मनात संशय निर्माण करते. पण ओघवत्या शैलीत दिलेले चुकीचे उत्तर तुम्हाला तपासणे थांबवायला लावते. हा काही छोटा फरक नाही; एका किंचित कटू वाटणाऱ्या वाक्यात हीच संपूर्ण कहाणी दडलेली आहे.

त्यात पूर्वग्रहदेखील असतो, तो नेहमीच निंदा म्हणून नसतो, तर खोलीत कोण आहे आणि इंग्रजीची कोणती शैली तटस्थ मानली जाते, याबद्दलच्या एका पूर्वनिर्धारित समजुतीच्या रूपात असतो. लोक फसतात कारण भाषा हा आपला सर्वात जुना विश्वासाचा दुवा आहे. जर ती एखाद्या संक्षिप्त अहवालासारखी बोलत असेल, तर आपण तिच्याशी तसाच व्यवहार करतो. मला त्याबद्दल अधिक संशयी व्हायचे असते. मग मी एक स्पष्ट सारांश वाचतो आणि माझे खांदे गळून पडतात. बैठकीत जाताना, तो सारांश पूर्ण झाल्यासारखा वाटतो. ते एक वाक्य खूप जास्त काम करत आहे, आणि तरीही: अशा प्रकारेच ती चूक सादरीकरणात येते.

विश्वसनीयता परिस्थितीनुसार, ब्रँडनुसार नव्हे

ब्रँड्स लक्ष विचलित करतात. ज्या तुलनेला महत्त्व आहे, तेच खरे काम आहे. लोक एकमेकांशी वाद घालतील. त्यात काही हरकत नाही.

वापर प्रकरण ते अयशस्वी कसे होते जेव्हा ते "पुरेसे चांगले" असते माणसाला अजून काय करायचे आहे लोक का फसतात?
मसुदा तयार करणे / सारांश तयार करणे अपवाद वगळते; 'कदाचित'ला 'आवश्यक' मध्ये रूपांतरित करते तुम्हाला आधीच माहीत असलेल्या मजकुरावर प्रथम वाचन करा नावे, क्रमांक तपासा, वेदना देणारी ओळ हे तुमच्यासारखंच वाटतंय. पाठवा.
शोध-सदृश प्रश्नोत्तरे धुक्यातून उत्तरे; थोडक्यात बचावलेल्या घटनेची वस्तुस्थिती म्हणून नोंद दिशादर्शन, अंतिम शब्द नव्हे स्रोत उघडा किंवा तुमचा फक्त एक अंदाज आहे 'retrieved' आणि 'invented' साठी समान स्वर
कोड सहाय्य निर्मित एपीआय; बगची पुष्टी करणाऱ्या चाचण्या बॉयलरप्लेट, गोंद, "या त्रुटीचे स्पष्टीकरण द्या" ते चालवा. फरक वाचा. (थोडक्यात उपदेशात्मक वाटले, क्षमस्व.) घराची शैली. हिरवट दिसणाऱ्या चाचण्या.
ग्राहक समर्थन काल्पनिक धोरण; नम्रपणे चुकीचा नाही कडक धोरणांतर्गत मसुदे पैसे पाठवण्यावर मालकी हक्क आणि विश्वास जलद + दयाळू. पाचव्या संदेशाची कोणीही तपासणी करत नाही.
वैद्यकीय / कायदेशीर संबंधित सल्ला प्रवाही, सुव्यवस्थित, अत्यंत खात्रीशीर उत्पादन म्हणून जवळजवळ कधीच नाही व्यावसायिक बना. मॉडेल एक खुंटा आहे. जर हे ऐकायला कठोर वाटत असेल, तर उत्तम. संक्षिप्त माहितीसारखे बोलणे.
गुणदान / क्रमवारी प्रॉक्सी वैशिष्ट्ये; ड्रिफ्ट; बुडलेल्या एज केसेस तुम्ही वर्गीकरण रद्द कराल शेपटीची तपासणी करा आकडे प्रौढ वाटतात. डॅशबोर्ड्स म्हणजे जणू काही प्रशासनच आहे असे वाटते. पण ते स्वतःहून तसे नसतात.
प्रतिमा निर्मिती हात, अतिरिक्त कोपर, रूढीवादी विचारांचे अवशेष मूडबोर्ड, सहज टाकून देण्याजोग्या तुलना - पुरावा नव्हे केवळ वस्तूंकडेच नव्हे, तर अर्थाकडेही दोनदा पाहा प्रीटी शंकाखोरपणा दूर करते
स्वायत्त एजंट आत्मविश्वासाने केलेला टूलचा वापर; वाढत जाणाऱ्या चुका किल स्विचसह अरुंद लूप लक्ष ठेवा. जे काही त्याच्या आवाक्याबाहेर आहे, त्यावर नियंत्रण ठेवा. क्रमांकित योजना कार्यक्षमतेचे प्रतीक दिसते. अनेकदा ती एक प्रकारची प्रेरक शक्ती असलेली कामांची यादीच असते.

असो. जर तुमचं आवडतं साधन मसुदे तयार करण्यात पटाईत असेल आणि मध्यरात्री तुम्ही त्याला कायदेशीर बाबींसाठी विचारत असाल, तर तो अपग्रेड नाही. याचा अर्थ असा की, तुम्ही त्याचा वापर सोडून दिला आहे.

भ्रम, भरकटणे आणि नकळतपणे होणारी चूक

भ्रम चर्चेत येतो कारण तो मसालेदार असतो: अस्तित्वात नसलेले पुस्तक, कधीही वितरित न केलेले वैशिष्ट्य, किंवा अधिकृत वाटणारा आकडा असलेले धोरणातील कलम.

प्रवाह कमी चित्रपटीय असतो. जग पुढे सरकते. मॉडेलचे अवशेष तसेच राहतात. तुम्ही असा प्रश्न विचारता ज्याला नव्या संदर्भाची गरज असते आणि तुम्हाला आधीच्या हवामानावरून एक सुव्यवस्थित उत्तर मिळते. मी तिथे 'दुसऱ्या युगातील' असे लिहिणारच होतो, जे या विषयाला साजेसे अतिशयोक्तीचे विधान आहे. हे दुसरे युग नाही. हे फक्त आताचे नाही.

शांतपणे होणारी चूकच मला जास्त महत्त्वाची वाटते. अपवाद वगळणारा सारांश. 'कदाचित'ला 'असलेच पाहिजे' असे मानणारे पुनर्कथन. वस्तुस्थिती 'तांत्रिकदृष्ट्या ठीक' असू शकते, पण तिचा अर्थ मात्र घसरलेला असतो.

तात्काळ संवेदनशीलता हे आणखी वाईट करते. वेष्टन बदला आणि 'तथ्ये' चमकू लागतील. संशयवादी म्हणून विचारा, तुम्हाला संदिग्ध उत्तरे मिळतील. घाईत असलेल्या बॉसच्या भूमिकेतून विचारा, तुम्हाला तडकाफडकी अतिशयोक्तीपूर्ण उत्तरे मिळतील. जर तुमच्या मूल्यांकनात फक्त एकच वेष वापरला असेल, तर तुमचे मूल्यांकन थोडे खोटेच आहे. माफ करा.

तुरुंगतोड ही एका टोकावरची गोष्ट असते, आणि मला एखाद्या दरोड्यावरचा चित्रपट नको आहे. जर एखाद्या व्यवस्थेला तिचे शिष्टाचार सोडायला राजी करता आले, तर विश्वसनीयता केवळ सत्यापुरती मर्यादित राहत नाही; तर ती यावरही अवलंबून असते की सुरक्षेचे कठडे एक फास आहेत की एक पोस्टर.

प्रशिक्षणातील शिल्लक राहिलेले ज्ञान, शिळे ज्ञान, आणि ग्राउंडिंग ही काही जादूची कांडी का नाही

जनरेटिव्ह मॉडेल्सना एका ढिगाऱ्यावर प्रशिक्षित केले जाते, आणि मग ते तुमच्या मंगळवारकडे वळवले जातात. रिट्रीव्हल म्हणजे वर्तमानाला त्या ढिगाऱ्यावर बसवण्याचा एक प्रौढ प्रयत्न. ग्राउंडिंग म्हणजे "धुक्यातून नव्हे, तर यातून उत्तर द्या". जेव्हा ते अयशस्वी होते, तेव्हा ते नम्रपणे अयशस्वी होते.

एक ठराविक अपयश: रिट्रीव्हर जवळजवळ चुकलेला दस्तऐवज मिळवतो. जनरेटर पूर्ण शांतपणे त्यावर काम करतो. तुम्हाला सोर्सच्या आकाराची एक वस्तू दिसते आणि तुमची तपासणी करण्याची सहजप्रवृत्ती बंद होते. मी हे करतो. तुम्हीही कदाचित हे करत असाल. संदर्भ देण्याची कल्पना बरोबर आहे; अंमलबजावणी तितकीच चांगली असते, जितका अचूक परिणाम मिळतो.

शिळे ज्ञान ही दुसरी गळती आहे. काही कामांसाठी थेट स्थितीची आवश्यकता असते - जसे की किमती, मालसाठा, धोरणाची सध्याची शब्दरचना. काहींना स्थिर रचनेची गरज असते, जसे की ज्ञापन कसे तयार करावे. या दोन्हींना एकत्र मिसळल्यास, तुम्हाला अशा जगाबद्दल एक निश्चित उत्तर मिळते जे आधीच बदललेले असते. 'डिस्ट्रिब्युशन शिफ्ट' हे त्याचे प्रौढ नाव आहे: थेट डिस्ट्रिब्युशन हे प्रशिक्षण डिस्ट्रिब्युशन नसते, आणि अपवादात्मक प्रकरणे (एज केसेस) या दरीतच दडलेली असतात.

आणखी एक गोष्ट, जी मी चुकीच्या ठिकाणी हायफन वापरून लिहिली आहे कारण माझ्या नोंदी तशाच दिसतात: ग्राउंडिंग म्हणजे एक मजला आहे - वलय नाही. जर तुम्ही परत मिळवलेल्या तुकड्याची तपासणी करू शकत नसाल, तर तुम्ही अजूनही धुक्यातच आहात, फक्त प्रकाश अधिक चांगला आहे.

मूल्यांकन थिएटर: डेमो ही एक भयंकर चाचणी का आहे

डेमो म्हणजे प्रकाशयोजना. बेंचमार्क थोडे अधिक नैसर्गिक असतात, आणि ते अजूनही तुमचे काम नाही.

एक सुस्पष्ट सूचना आणि मॉडेलने यापूर्वी पाहिलेले हजारो प्रकारचं कार्य - साहजिकच ते आकर्षक दिसतं. केवळ तेच मोजणारं मूल्यांकन म्हणजे एका नाटकाचं मोजमाप करण्यासारखं आहे. प्रत्यक्ष कार्यप्रवाहांमध्ये गुंतागुंतीची पेस्ट, गहाळ फाइल्स आणि आपली चिंता कमी करणारं पहिलं उत्तर स्वीकारणारा वापरकर्ता असतो.

बेंचमार्क महत्त्वाचे असतात. पण डेक दाखवतात तितके ते प्रभावी ठरत नाहीत. लीडरबोर्डवरील स्कोअर म्हणजे तुमच्या तिकिटांचे कॅलिब्रेशन नव्हे. कंपनीमधील मॉडेलची जोखीम म्हणजे "जेव्हा हे मोठ्या प्रमाणावर चुकीचे ठरते तेव्हा काय होते", हे होय; "ते सामान्य ज्ञानाच्या परीक्षेत उत्तीर्ण झाले का" हे नव्हे. तुम्हाला आवश्यक असलेल्या चाचण्या नीरस आहेत: मिळवलेल्या परिच्छेदाच्या मर्यादेत रहा; थाप मारण्याऐवजी अनिश्चितता दर्शवा; वाक्यरचना बदलताना सुसंगतता ठेवा; 'ओपन' (नवीन काहीतरी शोधून काढणे) अयशस्वी होण्याऐवजी 'क्लोज्ड' (नकार देणे, विचारणे, पुढे ढकलणे) अयशस्वी व्हा.

मी लोकांना एखादी प्रभावी कामगिरीच पुरावा मानताना पाहिले आहे. हे म्हणजे, केवळ स्टार्टर सुंदर होता म्हणून एखादे रेस्टॉरंट 'विश्वासार्ह' आहे असे ठरवण्यासारखे आहे. कदाचित ते असेलही. कदाचित किचनला फक्त दहा मिनिटांचा वेळ मिळाला असेल.

आता एक छोटासा विरोधाभास सांगतो: मी अजूनही अंदाज घेण्यासाठी डेमो वापरतो. पण मी केवळ अंदाजावर आधारित नोकरीवर ठेवत नाही.

एआय विश्वसनीय आहे का? फक्त तेव्हाच, जेव्हा कोणीतरी अजूनही अडकलेलं असेल

मानवी सहभाग असलेली रचना ही एकमेव रचना आहे जी अपयशाच्या प्रकारांशी जुळते.

जर कोणीही जबाबदार नसेल, तर प्रणालीचा वापर जणू काही ती जबाबदार आहे असेच केले जाईल. 'कोण पुनरावलोकन करते, कोण ते थांबवू शकते, काय नोंदवले जाते, एखादी चूक झाल्यास काय होते' या सर्वांचे प्रशासन हे एक अनाकर्षक नाव आहे. एजंट हे अधिक स्पष्ट करतात कारण ते केवळ परिच्छेद लिहित नाहीत, तर कृती करतात. तुम्ही न पाठवलेला मसुदा क्षुल्लक असतो. पण तुम्हाला अभिप्रेत नसलेला टूल कॉल क्षुल्लक नसतो.

जबाबदार कोण आहे ते सांगा. जर उत्तर 'मॉडेल' असेल, तर तुमच्याकडे उत्तर नाही. घटनेनंतर मॉडेल बैठकीला जात नाहीत. एक व्यक्ती जाते, किंवा एक व्हॅक्यूम क्लिनर जातो आणि मग एक वकील.

परिणामांच्या परिघाला जुळणाऱ्या तपासण्या निवडा. एखाद्या सोशल मीडिया पोस्टसाठी स्पेलचेकच्या पातळीवरील पुनरावलोकन. एखादे तथ्य असल्याचा दावा करणाऱ्या कोणत्याही गोष्टीसाठी स्रोत-तपासणी. वैद्यकशास्त्र, कायदा, पतपुरवठा, सुरक्षिततेच्या दृष्टीने अत्यंत महत्त्वाच्या कार्यांशी संबंधित कोणत्याही गोष्टीसाठी एक व्यावसायिक. या बाबतीत, माणूस प्रक्रियेत सामील नसतो. माणूसच प्रक्रिया असतो. मॉडेल एक अपूर्ण भाग असतो. हा व्यक्तिमत्त्व म्हणून असलेला संशयवाद नाही. ही अभिरुची आहे.

सध्या चेक एका चकचकीत सेंड बटणामागे लपवण्याची फॅशन आहे. आजकाल असं केल्यानेच नकळतपणे एखादी अफवा पसरते. अलीकडे मी या बाबतीत जरा कठोर झालो आहे, आणि त्यामुळे कामात सुधारणा झाली आहे.

चूक लक्षात येईल अशाप्रकारे कसे विचारावे

तुम्ही सूर्यप्रकाशाबद्दल व्यावसायिक शंकाखोर न बनताही या प्रणालींची चौकशी करू शकता.

  • मुद्दामहून अनिश्चितता मागा. "कोणत्या गोष्टीमुळे हे चुकीचे ठरेल?" हा प्रश्न "आत्मविश्वासाने सांगण्यापेक्षा" अधिक प्रभावी ठरतो.

  • शक्य असेल तेव्हा माहिती मिळवण्याची प्रक्रिया पिढीनुसार विभागून करा. आधी उतारे पाहा. त्यानंतर संपूर्ण लेख मागून घ्या.

  • वेष बदला. शब्दांची पुनर्रचना करा. त्याला विरुद्ध युक्तिवाद करायला सांगा. जर तुम्ही त्या पद्धतीने वापरले तर, तत्पर संवेदनशीलता ही टॉर्चसारखी आहे.

  • सक्तीचे निर्बंध: "फक्त मी पेस्ट केलेल्या मजकुरातूनच", "जर काही नसेल, तर 'नाही' असे सांगा". मॉडेल्स आश्चर्यकारकपणे याचे पालन करतात... जोपर्यंत ते तसे करत नाहीत. तरीही तपासा.

  • पडताळणी करणाऱ्या व्यक्तीसह केलेल्या कामांना प्राधान्य द्या. कंपायलर, लिंटर, स्कीमा तपासणी, दुसऱ्या व्यक्तीची नजर. विश्वसनीयतेला मूल्यमापन करणाऱ्या व्यक्तीची गरज असते.

  • त्याची खूण ओळखा: अतिरिक्त सुस्पष्टता. एक अचूक दिसणारा आकडा, नाव दिलेले प्रकरण, व्यवस्थित क्रमांकित केलेले उपवाक्य - याच ठिकाणी भ्रम स्वतःला सादर करतो.

  • मानवी कृती दृश्यमान ठेवा. जर UI ने तपासणी लपवली, तर लोक ती तपासणी वगळतात. ही एक अंतर्गत रचना आहे, नैतिक कमतरता नाही.

यापैकी कशानेही मॉडेल 'सत्य' ठरत नाही. उलट, त्यामुळे लूप कमी भोळा बनतो. आणि मला वाटतं, हेच तर यामागचं उद्दिष्ट आहे.

नकाशा तुम्हाला कुठे सोडतो

तर, हो/नाही हा प्रश्न केवळ एक प्रवेशद्वार म्हणून काम करतो.

एआय विश्वसनीय आहे का? एक गुणधर्म म्हणून नाही. तर, एखाद्या कार्याचा, डेटासेटचा, माहिती मिळवण्याच्या प्रक्रियेचा, प्रात्यक्षिक नसलेल्या मूल्यांकनाचा आणि ज्याला ते मनापासून म्हणावे लागते अशा माणसाचा एक गुणधर्म म्हणून. ओघ आपल्याला फसवत राहील, कारण आपण भाषिक प्राणी आहोत आणि या प्रणाली भाषिक यंत्रे आहेत. प्रणालीचा कार्यकाळ आणि सत्य यात गल्लत होत राहील, कारण दोन्ही बाबतीत 'काम झाले' असे वाटते. सह-वैमानिक या गुंतागुंतीच्या मधल्या भागात - मसुदे, वरवर वाचता येणारे सारांश, संकलित करता येणारा कोड - आपले काम करत राहतील आणि जेव्हा आपण निर्णय घेण्याचे काम अशा परिच्छेदावर सोपवतो ज्याला काहीही देणेघेणे नाही, तेव्हा ते असुरक्षित ठरते.

जिथे चूक स्वस्तात किंवा सहज सुधारता येते, तिथे त्यांचा वापर करा. जिथे चूक महागात पडू शकते, तिथे वेग कमी करा. हेच सरळ उत्तर आहे, आणि ते केवळ एका घोषणेपेक्षा अधिक मोलाचे आहे.

एक गोष्ट लक्षात ठेवा: मॉडेलला 'तुला खात्री आहे का?' असे विचारणे थांबवा. 'तुझी चूक कशी होऊ शकते?' असे विचारल्यावर काय होते ते पाहा. मग जाऊन तपासा.

वास्तविक उदाहरण: सदस्यत्व-धोरण एआय सहाय्यक तयार करणे

परिस्थिती

प्रिया 'हार्बर मेंबरशिप'साठी ज्ञान विभागाचे काम पाहते. ही स्वतंत्र व्यायामशाळांसाठी यूकेमधील ७० सदस्यांची एक व्यापारी संस्था आहे. तीन लोक सदस्यांच्या प्रश्नांची उत्तरे देतात. माहितीचा सर्वात विश्वसनीय स्रोत म्हणजे दर तिमाहीत अद्ययावत होणारी १८० पानांची एक पुस्तिका, आणि त्यासोबतच एका शेअर्ड ड्राईव्हमधील जुन्या पीडीएफ फाइल्स, ज्या डिलीट करण्याचे धाडस कोणालाच होत नाही.

नेतृत्वाने आधीच एक हेल्पडेस्क कोपायलट विकत घेतला आहे. डेमो खूप छान होता. अपटाइम ठीक होता. दुसऱ्या आठवड्यात, एका फ्लुएंट ड्राफ्टमध्ये एका सदस्याला सांगितले जाते की ते १४ दिवसांसाठी खाते गोठवू शकतात आणि "मानक म्हणून" पूर्ण परतावा मिळवू शकतात. हे धोरण नाही. एजंटच्या हे लक्षात आले कारण पैशांचा संबंध येतो तेव्हा ते अजूनही हँडबुक उघडतात. नेतृत्वाचा प्रश्न, जो हो किंवा नाही अशा प्रकारे पाठवला आहे, तो असा आहे: एआय (AI) विश्वसनीय आहे का?

प्रिया तो निकाल नाकारते. ती त्याला एक नकाशा मानते. काम 'सदस्यांना भविष्यवाण्या देणे' हे नाही. ते काम म्हणजे 'सध्याच्या नियमावलीतून उत्तराचा मसुदा तयार करणे, तो उतारा दाखवणे आणि उतारा नसल्यास प्रक्रिया बंद करणे' हे आहे. जर सहवैमानिक ते करू शकत नसेल, तर तो एक मसुदा तयार करण्याचे खेळणे आहे, धोरण-कक्ष नव्हे.

सहाय्यकाला काय हवे आहे

  • एप्रिल २०२६ ची पुस्तिका हाच एकमेव अनुमत मजकूरसंग्रह असून, त्यातील विभाग क्रमांक अबाधित आहेत

  • जुनी २०२३ ची पीडीएफ मुद्दाम ड्राइव्हमध्ये ठेवली आहे, जेणेकरून त्यांना पाहता येईल की ती मिळवताना थोडक्यात हुकलेली घटना मिळते की नाही

  • एक लिखित नियम: ग्राहक साधनांमध्ये ग्राहकांचा वैयक्तिक डेटा नसावा; मानवी परवानगीशिवाय पाठवू नये; आकडे, विंडो किंवा "मानक म्हणून" अशा कलमांची निर्मिती करू नये

  • प्रॉम्प्ट्स, मिळवलेले चंक्स आणि अंतिम पाठवणी लॉग करण्याची परवानगी

  • एक नामित मालक (प्रिया), जी टेस्ट सेटला गुण देईल आणि तो अयशस्वी झाल्यास कोपायलटला थांबवेल, पैशांच्या प्रश्नांवर नाणेफेकीपेक्षाही वाईट पद्धतीने बंद झाली

  • जर टूलमध्ये पुनर्प्राप्तीची सोय असेल, तर पुनर्प्राप्त केलेला भाग मसुद्याच्या शेजारी दिसला पाहिजे. तसे नसल्यास, ते तो भाग हाताने चिकटवतील. तपासण्यायोग्य मार्ग नसलेले ग्राउंडिंग हे अजूनही धुक्यासारखेच आहे.

उदाहरण सूचना

प्रिया हे एखाद्या नाटकाच्या सूचनेप्रमाणे न मांडता, साध्या भाषेत मांडते:

तुम्हाला दिलेल्या एप्रिल २०२६ च्या हँडबुकमधील उताऱ्यांमधूनच उत्तर द्या. विभाग क्रमांक नमूद करा. जर उत्तर त्या उताऱ्यांमध्ये नसेल, तर "सध्याच्या हँडबुकमध्ये नाही" असे म्हणा आणि थांबा. फ्रीझ विंडो, रिफंडचे नियम किंवा शुल्क यांसारखे नियम स्वतः तयार करू नका. "जिमच्या विवेकबुद्धीनुसार" याला "मानक म्हणून" असे अपग्रेड करू नका. जर दोन उतारे परस्परविरोधी असतील, तर दोन्ही दाखवा आणि कोणता सध्याचा आहे ते सांगा. तुम्ही एका व्यक्तीसाठी मसुदा तयार करत आहात, जी सदस्यापर्यंत काहीही पोहोचण्यापूर्वी मूळ स्रोत उघडेल.

मग ती स्वतःसाठी दुसरी सूचना ठेवते, कारण लेखाचा मुद्दा मॉडेल नसून लूप आहे:

पाठवण्यापूर्वी, उल्लेखित भाग उघडा. विचारा, "यामध्ये काय चूक असू शकते?" जर मसुद्यात असा एखादा आकडा असेल जो मूळ उताऱ्यात नाही, तर तो नाकारा. जर मी घाईघाईत एखाद्या बॉसप्रमाणे विचारले असेल, तर एका संशयवादी व्यक्तीप्रमाणे पुन्हा विचारा आणि तुलना करा.

एक चांगला मसुदा असा दिसतो: "सध्याच्या हँडबुकमध्ये (एप्रिल २०२६, कलम ४.२) नाही. सदस्यत्व गोठवणे हे जिमच्या निर्णयावर अवलंबून आहे. परतावा आपोआप मिळत नाही. कृपया वरिष्ठांकडे तक्रार करा." एक वाईट मसुदा असा दिसतो: "सदस्य १४ दिवसांसाठी सदस्यत्व गोठवू शकतात आणि नेहमीप्रमाणे पूर्ण परतावा मिळवू शकतात. हँडबुकमध्ये याची पुष्टी केली आहे." सूर तोच. यापैकी फक्त एकच धोरण आहे.

त्याची चाचणी कशी करावी

प्रिया कोपायलटचा कोणताही आउटपुट पाहण्यापूर्वी २० प्रश्न लिहिते. तो क्रम महत्त्वाचा आहे. डेमो म्हणजे प्रकाशयोजना. ही ड्राय टेस्ट आहे.

हा काही सामान्य ज्ञानाचा विषय नाही. हे आहे थेट संवाद-मंच:

  • आठ प्रश्न ज्यांची उत्तरे एकाच चालू विभागात आहेत (सोपे प्रश्न)

  • चार ठिकाणी थोडक्यात हुकले, जिथे २०२३ ची पीडीएफ एप्रिलच्या मजकुरापेक्षा शब्दरचनेच्या बाबतीत अधिक जवळची आहे

  • पुस्तिकेत नसलेले तीन प्रश्न (बिलिंग संबंधी वाद, वैद्यकीय क्षेत्राशी संबंधित 'हे प्रशिक्षण सुरक्षित आहे का?', कायदेशीर क्षेत्राशी संबंधित करारातील एक किरकोळ बदल)

  • पैशासंबंधी तीन प्रश्न (गोठवणे, परतावा, सामील होण्याचे शुल्क)

  • सदस्यांचे दोन सामान्य प्रश्न (उघडण्याची वेळ, प्रशिक्षकाचा विमा)

त्या वीसपैकी दोघांना, वेळेची संवेदनशीलता तपासण्यासाठी, दुसऱ्या वेशात पुन्हा विचारण्यात आले; एकदा घाईत असलेल्या बॉसच्या भूमिकेत आणि एकदा संशयवादी व्यक्तीच्या भूमिकेत. हे पुन्हा विचारलेले प्रश्न नोंदवले गेले, २०-मुद्द्यांच्या गुणांमध्ये समाविष्ट केले गेले नाहीत.

प्रियाने हँडबुक उघडून तपासलेले मूल्यांकन निकष: पास होण्यासाठी योग्य चालू नियम, खरा विभाग क्रमांक आणि कोणतेही अतिरिक्त काल्पनिक उपवाक्य नसणे आवश्यक आहे. 'क्वाइट फेल' म्हणजे तांत्रिकदृष्ट्या योग्य असलेले वाक्य, ज्यामधून अपवाद वगळण्यात आला आहे किंवा 'कदाचित'ला 'असणेच आवश्यक' असे बदलण्यात आले आहे. 'ओपन फेल' म्हणजे एक काल्पनिक क्रमांक किंवा जवळजवळ चुकलेली PDF, जिला चालू म्हणून गणले जाते. अपटाइमची गणना स्वतंत्रपणे केली जाते, कारण "त्याने उत्तर दिले" याचा अर्थ "तसे घडले" असा होत नाही.

पुढे जाण्यासाठी स्वीकृती: पैशाच्या प्रश्नांवर, 'फेल ओपन' ऐवजी 'फेल क्लोज्ड' करा. जर कोपायलटने रिफंड विंडो तयार केली, तर ते लाइव्ह तिकीट्स तयार करत नाही. जर कोणीही सोर्स उघडणार नसेल, तर ते लाइव्ह तिकीट्स तयार करत नाही.

निकाल

हा एका काल्पनिक २०-प्रश्नांच्या चाचणीतून मिळालेला प्रातिनिधिक निकाल आहे, हार्बर सदस्यत्वाचा अधिकृत आकडा नाही.

गृहितके: एक हेल्पडेस्क कोपायलट; एप्रिल २०२६ चे हँडबुक आणि २०२३ ची शिल्लक पीडीएफ; प्रियाला वरील रुब्रिकनुसार गुण देण्यात आले; प्रश्न पेस्ट केल्यापासून "मी हे पाठवेन" पर्यंतचा वेळ फोनच्या स्टॉपवॉचने मोजला गेला; पुनरावलोकनाचा वेळ लूप्ड कंडिशनमध्ये समाविष्ट केला आहे आणि अनचेक्ड कंडिशनमध्ये हेतुपुरस्सर वगळला आहे, जेणेकरून तुलना संतुलित राहील.

अनचेक्ड कोपायलट, डेमो-शैलीतील प्रॉम्प्ट: २० पैकी २० प्रश्नांना अस्खलित प्रतिसाद मिळाला (अपटाइम उत्तम दिसत होता). २० पैकी ११ प्रश्न रूब्रिकनुसार होते. पाच प्रश्न गुप्तपणे अयशस्वी ठरले. १४-दिवसांच्या फ्रीझसह चार प्रश्न उघडपणे अयशस्वी ठरले. चारपैकी दोन उघडपणे अयशस्वी ठरलेल्या प्रश्नांमध्ये २०२३ च्या पीडीएफमधील एका स्रोत-आकाराच्या भागाचा संदर्भ दिला होता. पाठवण्यायोग्य दिसणाऱ्या मसुद्यासाठी लागणारा सरासरी वेळ १ मिनिट होता.

तेच २० प्रश्न, मर्यादित सूचना, मिळवलेला भाग दृश्यमान: एप्रिलच्या पाठ्यपुस्तकातील २० पैकी १५ उत्तरे पूर्णपणे बरोबर होती. तिघांनी "सध्याच्या हँडबुकमध्ये नाही" असे बरोबर सांगितले (वैद्यकीय-संबंधित आणि कायदेशीर-संबंधित बाबी, तसेच एक बिलिंग विवाद), त्यामुळे २० पैकी १८ उत्तरे स्वीकारार्ह होती. तरीही दोन उत्तरे चुकली: एकाने २०२३ च्या पीडीएफमधील अपूर्ण उत्तराप्रमाणे लिहिले, आणि एकाने प्रवेश शुल्काचा एक आकडा तयार केला जो परिच्छेदात नव्हता. मसुदा तयार करण्यासाठी लागणारा सरासरी वेळ अजूनही सुमारे १ मिनिट होता.

तेच २०, आणि प्रियाने सिम्युलेटेड सेंड करण्यापूर्वी उद्धृत केलेला विभाग उघडल्यामुळे: २० पैकी १९ स्वीकारार्ह ठरले असते. तिने थोडक्यात चुकलेली पीडीएफ ओळखली. राहिलेली चूक म्हणजे समीक्षकाने ओघवत्या परिच्छेदावर वरवर नजर फिरवली आणि त्यातल्या काल्पनिक जॉइनिंग-फीच्या आकड्याकडे त्याचे लक्ष गेले नाही. समीक्षेसह, सरासरी वेळ ३ मिनिटे होती.

जुनी प्रक्रिया, केवळ हँडबुक शोध, कोपायलट नाही: २० पैकी २० स्वीकारार्ह. सरासरी ९ मिनिटे.

या नमुन्यामध्ये, लूप केलेला कोपायलट हँडबुक हंटपेक्षा ६ मिनिटे जलद होता (९ वजा ३), म्हणजेच २० प्रश्नांसाठी १२० मिनिटे, ज्यात २० पैकी २० ऐवजी १९ प्रश्न स्वीकारार्ह होते. न तपासलेला कोपायलट ८ मिनिटे जलद होता (९ वजा १) आणि २० पैकी ९ प्रश्नांवर तो, नकळतपणे किंवा उघडपणे, चुकला. ही काही स्टिअरिंग पॅकमध्ये टाकलेली ६७% वेळेची बचत नाही. ही तर ९ चुकांची गळती आहे, जी तुम्ही स्वयंचलित केली असती.

घाईघाईने बॉसने विचारलेल्या त्या दोन पुनरावृत्त प्रश्नांच्या आवृत्त्यांनी अतिशयोक्ती केली होती. संशयवादी आवृत्त्यांनी मात्र संदिग्ध भूमिका घेतली होती. मॉडेल तेच, हँडबुक तेच, पण वेशभूषा वेगळी. प्रियाने त्याची नोंद एक निष्कर्ष म्हणून केली, व्यक्तिमत्त्व म्हणून नाही.

हे आकडे नमूद केलेल्या चाचणीवर, एका लहान गटावर, एका संतप्त सदस्यापेक्षा सोप्या असलेल्या तिकिटांवर आणि पुस्तक आधीच माहीत असलेल्या एका समीक्षकावर आधारित एक उदाहरणात्मक अंदाज आहेत. ते हे दाखवत नाहीत की सहवैमानिक "९५% विश्वसनीय" आहे, किंवा हार्बरने एका डेस्क कर्मचाऱ्याला कमी करावे. ते हे दाखवतात की अपटाइम हा प्रश्न नव्हता, तर तपासणी हा होता.

काय बिघडू शकतं?

  • नेतृत्व १-मिनिटाच्या ड्राफ्ट वेळेचा उल्लेख करते आणि ९ चुकलेल्या संधींकडे दुर्लक्ष करते. दुपारी ४ वाजतासुद्धा वेग म्हणजे एक प्रकारची कुशलताच वाटते.

  • २०२३ ची पीडीएफ अनुक्रमणिकेत राहते. पुनर्प्राप्ती ती सतत मिळवत राहते. पायाभूत सुविधा अधिक प्रगल्भ वाटते आणि तरीही ती थोडक्यात हुकते.

  • UI मिळवलेला चंक एका चकचकीत सेंड बटणामागे लपवते. लोक हँडबुक उघडणे थांबवतात, आणि याच मार्गाने फ्रीझचे उत्तर सदस्यापर्यंत पोहोचते.

  • प्रिया फक्त आठ सोप्या प्रश्नांनाच गुण देते, कारण ते स्लाईडमध्ये अधिक चांगले दिसतात. हे म्हणजे स्प्रेडशीटच्या साहाय्याने केलेलं मूल्यमापनाचं नाटकच!.

  • वैद्यकीय क्षेत्राशी संबंधित 'हे प्रशिक्षण सुरक्षित आहे का?' या प्रश्नाचे उत्तर संक्षिप्त माहितीसारखे दिसू शकते. नकाशाने मात्र 'जवळजवळ कधीच नाही' असे म्हटले. पण आवाजाच्या सुराने मात्र 'पुढे जा' असे सांगितले.

  • लॉग बंद आहेत कारण "ते गरजेपेक्षा जास्त वाटले". एखादी चूक झाल्यावर, कोणता मार्ग परत मिळवला गेला हे कोणीही पाहू शकत नाही.

  • ते मॉडेलला विचारतात की त्याला खात्री आहे का. त्याला खात्री असते. ती कधीच चाचणी नव्हती.

व्यावहारिक निष्कर्ष

विश्वसनीयता हे हार्बरने विकत घेतलेल्या कोपायलटचे वैशिष्ट्य नाही. ते २० प्रश्न, एक अद्ययावत हँडबुक, एक दृश्यमान उतारा आणि पैशांचा संबंध असतानाही स्रोत उघडणाऱ्या व्यक्तीचे वैशिष्ट्य आहे. ओघवतीपणा अपटाइम चाचणी उत्तीर्ण करत राहील. केवळ लूपच धोरण चाचणी उत्तीर्ण करतो.

वारंवार विचारले जाणारे प्रश्न

जनरेटिव्ह एआयच्या बाबतीत 'विश्वसनीय' असण्याचा अर्थ तरी काय आहे?

दैनंदिन विश्वसनीयता म्हणजे तुम्ही कशावर तरी विसंबून राहू शकता. संवाद साधणाऱ्या ऑटोमेशनमध्ये, अनेक गुणधर्म एकाच शब्दाखाली दडलेले असतात: सत्यता, सुसंगतता, कॅलिब्रेशन, सुरक्षितता, अपटाइम, तत्पर संवेदनशीलता, अपवादात्मक परिस्थिती आणि वितरण बदलानंतरचे वर्तन. यापैकी एकही गुणधर्म एकाच वेळी अयशस्वी होत नाही. प्रत्यक्ष चाचणी कशासाठी, कोणासाठी आणि तिच्याभोवतीच्या कोणत्या लूपसह विश्वसनीय आहे. नाहीतर तुम्ही एखाद्या ब्लेंडरला ते कर भरू शकते की नाही यावर गुण देत आहात.

एआय विश्वसनीय आहे का?

एक गुणधर्म म्हणून नाही. एक एलएलएम (LLM) एका कामात अत्यंत स्थिर असू शकतो आणि पुढच्याच कामात शांतपणे बिघडू शकतो; कधीकधी एकाच बैठकीत, तर कधीकधी तुम्ही फक्त एक स्वल्पविराम हलवल्यामुळे. विश्वसनीयता हा एखाद्या कार्याचा, डेटासेटचा, पुनर्प्राप्ती लूपचा, डेमो नसलेल्या मूल्यांकनाचा आणि ते काम मनापासून करणाऱ्या माणसाचा गुणधर्म आहे. जिथे एखादी चूक कमी खर्चाची किंवा सुधारण्याजोगी असेल तिथे तिचा वापर करा. जिथे एखादी चूक महागडी ठरू शकते तिथे वेग कमी करा.

एआयचा अपटाइम म्हणजे सत्यता आहे का?

नाही. अपटाइम म्हणजे एंडपॉइंटने प्रतिसाद दिला की नाही. सत्यता म्हणजे दिलेले उत्तर खरे होते की नाही. तुमची सेवा कधीही न डगमगताही कस्टमर तिकिटात एक सफाईदार खोटेपणा पाठवू शकते. जेव्हा रांग प्रचंड मोठी असते, तेव्हा वेग म्हणजे कार्यक्षमता वाटते. सुरक्षितता हा आणखी एक पैलू आहे: जेलब्रेकला नकार देणारे मॉडेलसुद्धा तुमच्या स्वतःच्या नोंदींच्या सारांशाची मोडतोड करू शकते.

फ्लुएंट एआय चुकीचे असतानाही विश्वासार्ह का वाटते?

अचूकता आणि ओघ यांचा घटस्फोट झाला, आणि ओघानेच बाजी मारली. एलएलएम (LLM) तुम्हाला लय, सावधगिरी, कदाचित एक बनावट पण आकर्षक संदर्भ रचना देईल, आणि तुमचा मेंदू वाचतो की 'या व्यक्तीला सर्व काही माहित आहे'. ताळमेळ अनेकदा भयंकर असतो: उच्च आत्मविश्वास, मध्यम सत्य, आणि तेही एखाद्या मुख्य भाषणासारखे सादर केलेले. एक अस्ताव्यस्त चुकीचे उत्तर तुम्हाला संशयी बनवते. एक ओघवती चुकीची उत्तरे तुम्हाला तपासणे थांबवायला लावतात. जर ते एखाद्या संक्षिप्त अहवालासारखे (brief) असेल, तर आपण त्याला तसाच प्रतिसाद देतो, आणि अशा प्रकारे चुकलेली चूक अंतिम सादरीकरणात (deck) येते.

वैद्यकीय, कायदेशीर किंवा ग्राहक-सहाय्य कार्यासाठी एआय विश्वसनीय आहे का?

हे कामावर अवलंबून आहे, ब्रँडवर नाही. वैद्यकीय आणि कायदेशीर बाबींशी संबंधित सल्ला एक उत्पादन म्हणून जवळजवळ कधीच पुरेसा नसतो: मॉडेल हे एक कच्चा आराखडा असते आणि व्यक्ती ही व्यावसायिक असते. ग्राहक सेवा एका कडक धोरणाच्या चौकटीत राहून मसुदा तयार करू शकते, परंतु पैसे पाठवण्याची आणि विश्वासाची जबाबदारी त्या व्यक्तीचीच असली पाहिजे, कारण बनावट धोरण आणि एक नम्रपणे दिलेला चुकीचा नकार हेच सहसा अपयशाचे कारण ठरते. मसुदे आणि सारांश हे तुम्हाला आधीच माहीत असलेल्या मजकुराचा पहिला आढावा असतो. नावे, क्रमांक आणि त्रासदायक ठरू शकणारी ओळ तपासा.

एआयला भास का होतात, ते भरकटते का, किंवा नकळतपणे चुकते का?

भ्रम म्हणजे एक मसालेदार चूक: अस्तित्वात नसलेले पुस्तक, कधीही कार्यान्वित न झालेले कार्य, किंवा अधिकृत वाटणारा क्रमांक असलेले धोरणातील कलम. प्रवाह कमी चित्रपटीय असतो: जग पुढे सरकते, मॉडेलचे अवशेष तसेच राहतात, आणि तुम्हाला मागील हवामानावरून एक सुव्यवस्थित उत्तर मिळते. शांत चूक म्हणजे असा सारांश जो अपवाद वगळतो. किंवा असा पुनर्कथन जो 'कदाचित'ला 'असलेच पाहिजे' असे बनवतो. वस्तुस्थिती तांत्रिकदृष्ट्या ठीक दिसू शकते, पण तिचा अर्थ मात्र घसरलेला असतो. जेव्हा तुम्ही आवरण बदलता, तेव्हा तत्पर संवेदनशीलता तथ्यांना चमकवते.

ग्राउंडिंग किंवा रिट्रिव्हलमुळे एआय विश्वसनीय बनते का?

ग्राउंडिंग म्हणजे धुक्यातून नव्हे, तर या परिस्थितीतून मिळणारे उत्तर. पुनर्प्राप्ती वर्तमानाला एका प्रशिक्षित ढिगाऱ्यावर घट्ट बसवते. जेव्हा ती अयशस्वी होते, तेव्हा ती नम्रपणे अयशस्वी होते: थोडक्यात टळलेल्या अपघाताचा एक दस्तऐवज, एक विचारपूर्वक लिहिलेला लेख, आणि तुमची तपासणी करण्याची सहजप्रवृत्ती बंद होते. ग्राउंडिंग ही एक जमीन आहे, वलय नव्हे. जर तुम्ही परत मिळवलेल्या तुकड्याची तपासणी करू शकत नसाल, तर तुम्ही अजूनही धुक्यातच आहात, फक्त प्रकाश अधिक चांगला आहे. किमती किंवा धोरणांची शब्दरचना यांसारखी प्रत्यक्ष स्थितीतील कामे स्थिर यानासोबत मिसळा, आणि तुम्हाला आधीच बदललेल्या जगाबद्दल एक अत्यंत खात्रीशीर उत्तर मिळेल.

एआयच्या विश्वासार्हतेची चाचणी घेण्यासाठी डेमो हा एक अयोग्य मार्ग का आहे?

एक सुस्पष्ट सूचना आणि मॉडेलने हजारो वेळा पाहिलेले एखादे कार्य आकर्षक दिसेल. प्रत्यक्ष कार्यप्रवाहांमध्ये गुंतागुंतीची पेस्ट, गहाळ फाइल्स आणि चिंता कमी करणारे पहिलेच उत्तर स्वीकारणारा वापरकर्ता असतो. लीडरबोर्डवरील गुण हे तुमच्या तिकिटांचे कॅलिब्रेशन नाही. मॉडेलचा धोका हा त्याने सामान्य ज्ञानाच्या परीक्षेत यश मिळवले की नाही यात नसून, जेव्हा हे मोठ्या प्रमाणावर चुकते तेव्हा काय होते यात आहे. तुम्हाला आवश्यक असलेल्या चाचण्या नीरस आहेत: मिळवलेल्या परिच्छेदाच्या आत रहा, थाप मारण्याऐवजी अनिश्चितता दर्शवा, वाक्यरचना बदलताना सुसंगतता ठेवा आणि काहीतरी नवीन शोधण्याऐवजी त्रुटी दूर करून अपयशी व्हा.

जर कोणीच जबाबदार नसेल तर एआय विश्वसनीय आहे का?

नाही. जर कोणीही जबाबदार नसेल, तर प्रणालीचा वापर जणू काही ती जबाबदार आहे असेच केले जाईल. मानवी हस्तक्षेप असलेली रचना ही एकमेव रचना आहे जी अपयशाच्या पद्धतींशी जुळते: कोण पुनरावलोकन करते, कोण ते थांबवू शकते, काय नोंदवले जाते, एखादी चूक झाल्यावर काय होते. जर उत्तर "मॉडेल" असेल, तर तुमच्याकडे उत्तर नाही. घटना घडल्यानंतर मॉडेल बैठकीला जात नाहीत. वैद्यकीय, कायदा, पतपुरवठा किंवा सुरक्षिततेच्या दृष्टीने महत्त्वाच्या कार्यांसाठी, माणूस हाच मुख्य दुवा असतो आणि मॉडेल हा एक अपूर्ण भाग असतो.

मी AI ला चुका शोधायला कशा सांगू?

मुद्दामहून अनिश्चितता मागा: "हे चुकीचे कशामुळे ठरेल?" हा प्रश्न "आत्मविश्वासाने सांगण्यापेक्षा" अधिक प्रभावी ठरतो. शक्य असेल तेव्हा माहिती मिळवणे आणि तयार करणे या क्रिया वेगळ्या करा. आधी उतारे पाहा, मग मूळ लिखाण मागा. वेष बदला: वाक्यरचना बदला, किंवा त्याला विरुद्ध युक्तिवाद करायला सांगा. "मी पेस्ट केलेल्या मजकुरातूनच" किंवा "जर काही नसेल, तर 'नाही' म्हणा," अशा मर्यादा घाला आणि तरीही तपासा. पडताळणी करणाऱ्या व्यक्तीसह असलेल्या कामांना प्राधान्य द्या आणि अतिरिक्त तपशिलावर लक्ष ठेवा, कारण भ्रम तिथेच वेष धारण करतो.

संदर्भ

  1. NIST - nvlpubs.nist.gov

  2. NIST - airc.nist.gov

  3. NIST - airc.nist.gov

  4. ICO - ico.org.uk

  5. एनसीएससी - www.ncsc.gov.uk

  6. एनसीएससी - www.ncsc.gov.uk

  7. OWASP - genai.owasp.org

अधिकृत एआय असिस्टंट स्टोअरमध्ये नवीनतम एआय शोधा

आमच्याबद्दल

प्रश्नमंजुषा
१. लेखानुसार, एक गुणधर्म म्हणून एआय विश्वसनीय आहे का?

२. अपटाइम आणि ट्रुथफुलनेसमध्ये काय फरक आहे?

३. अस्खलितपणे दिलेले चुकीचे उत्तर हे अस्ताव्यस्तपणे दिलेल्या उत्तरापेक्षा जास्त धोकादायक का असते?

४. हार्बर मेंबरशिपच्या २०-प्रश्नांच्या प्रातिनिधिक चाचणीमध्ये, अनियंत्रित सहवैमानिकासोबत काय घडले?

५. लेखानुसार, तपासण्यायोग्य प्राप्त चंकशिवाय ग्राउंडिंग म्हणजे काय?


ब्लॉगवर परत