एज एआय म्हणजे काय?

एज एआय डेटा जिथे जन्माला येतो तिथे बुद्धिमत्ता पसरवते. हे ऐकायला छान वाटते, पण मूळ कल्पना सोपी आहे: सेन्सरच्या शेजारीच विचार करा जेणेकरून निकाल आत्ताच दिसतील, नंतर नाही. प्रत्येक निर्णयाची काळजी क्लाउड न घेता तुम्हाला वेग, विश्वासार्हता आणि चांगली गोपनीयता कथा मिळेल. चला ते अनपॅक करूया - शॉर्टकट आणि साइड क्वेस्ट समाविष्ट आहेत. 😅

या लेखानंतर तुम्हाला वाचायला आवडतील असे लेख:

🔗 जनरेटिव्ह एआय म्हणजे काय?
जनरेटिव्ह एआय, ते कसे कार्य करते आणि व्यावहारिक उपयोगांचे स्पष्ट स्पष्टीकरण.

🔗 एजंटिक एआय म्हणजे काय?
एजंटिक एआय, स्वायत्त वर्तन आणि वास्तविक जगातील अनुप्रयोग पद्धतींचा आढावा.

🔗 एआय स्केलेबिलिटी म्हणजे काय?
एआय सिस्टीम विश्वसनीय, कार्यक्षम आणि किफायतशीरपणे कसे मोजायचे ते शिका.

🔗 एआय साठी सॉफ्टवेअर फ्रेमवर्क म्हणजे काय?
एआय सॉफ्टवेअर फ्रेमवर्क, आर्किटेक्चर फायदे आणि अंमलबजावणीच्या मूलभूत गोष्टींचे विश्लेषण.

एज एआय म्हणजे काय? त्याची जलद व्याख्या 🧭

एज एआय म्हणजे प्रशिक्षित मशीन लर्निंग मॉडेल्स थेट डेटा गोळा करणाऱ्या उपकरणांवर किंवा त्यांच्या जवळ चालवण्याची पद्धत आहे - फोन, कॅमेरे, रोबोट, कार, वेअरेबल्स, औद्योगिक नियंत्रक, तुम्ही म्हणता. विश्लेषणासाठी कच्चा डेटा दूरच्या सर्व्हरवर पाठवण्याऐवजी, डिव्हाइस स्थानिक पातळीवर इनपुटवर प्रक्रिया करते आणि फक्त सारांश पाठवते किंवा काहीही पाठवत नाही. कमी राउंड ट्रिप, कमी लॅग, अधिक नियंत्रण. जर तुम्हाला स्वच्छ, विक्रेता-तटस्थ स्पष्टीकरण हवे असेल तर येथून सुरुवात करा. [1]

एज एआय प्रत्यक्षात उपयुक्त का आहे? 🌟

• कमी विलंब - निर्णय डिव्हाइसवर होतात, त्यामुळे ऑब्जेक्ट डिटेक्शन, वेक-वर्ड स्पॉटिंग किंवा विसंगती अलर्ट्स सारख्या आकलन कार्यांसाठी प्रतिसाद त्वरित वाटतात. [1]

• परिसरानुसार गोपनीयता - संवेदनशील डेटा डिव्हाइसवर राहू शकतो, ज्यामुळे एक्सपोजर कमी होतो आणि डेटा-मिनिमायझेशन चर्चांमध्ये मदत होते. [1]

• बँडविड्थ बचत - रॉ स्ट्रीमऐवजी वैशिष्ट्ये किंवा कार्यक्रम पाठवा. [1]

• लवचिकता - स्केची कनेक्टिव्हिटी दरम्यान कार्य करते.

• खर्च नियंत्रण - कमी क्लाउड कॉम्प्युट सायकल आणि कमी बाहेर पडणे.

• संदर्भ जागरूकता - उपकरण वातावरण "जाणवते" आणि जुळवून घेते.

एक छोटीशी गोष्ट: एका रिटेल पायलटने डिव्हाइसवरील व्यक्ती विरुद्ध ऑब्जेक्ट वर्गीकरणासाठी सतत कॅमेरा अपलोडची अदलाबदल केली आणि फक्त तासाभराची संख्या आणि अपवाद क्लिप पुढे ढकलल्या. परिणाम: शेल्फ एजवर २०० मिलिसेर्सपेक्षा कमी अलर्ट आणि अपलिंक ट्रॅफिकमध्ये ~९०% घट - स्टोअर WAN कॉन्ट्रॅक्ट्स न बदलता. (पद्धत: स्थानिक अनुमान, इव्हेंट बॅचिंग, फक्त विसंगती.)

एज एआय विरुद्ध क्लाउड एआय - जलद कॉन्ट्रास्ट 🥊

• जिथे गणना होते : एज = डिव्हाइसवर/डिव्हाइसजवळ; क्लाउड = रिमोट डेटा सेंटर.

• लेटन्सी : एज ≈ रिअल-टाइम; क्लाउडमध्ये राउंड ट्रिप असतात.

• डेटा हालचाल : एज फिल्टर्स/कंप्रेसेस प्रथम; क्लाउडला फुल-फिडेलिटी अपलोड आवडतात.

• विश्वसनीयता : एज ऑफलाइन चालू राहते; क्लाउडला कनेक्टिव्हिटीची आवश्यकता आहे.

• प्रशासन : एज डेटा कमीत कमी करण्यास समर्थन देते; क्लाउड देखरेखीचे केंद्रीकरण करते. [1]

ते दोन्हीपैकी एक नाही-किंवा नाही. स्मार्ट सिस्टीम दोन्ही एकत्र करतात: स्थानिक पातळीवर जलद निर्णय, सखोल विश्लेषण आणि मध्यवर्तीपणे फ्लीट लर्निंग. संकरित उत्तर कंटाळवाणे आहे-आणि बरोबर आहे.

एज एआय प्रत्यक्षात कसे काम करते 🧩

1. सेन्सर्स कच्चे सिग्नल कॅप्चर करतात - ऑडिओ फ्रेम्स, कॅमेरा पिक्सेल, आयएमयू टॅप्स, कंपन ट्रेस.

2. प्रीप्रोसेसिंग त्या सिग्नलना मॉडेल-फ्रेंडली वैशिष्ट्यांमध्ये पुन्हा आकार देते.

3. इन्फरन्स रनटाइम डिव्हाइसवर कॉम्पॅक्ट मॉडेल कार्यान्वित करतो.

4. पोस्टप्रोसेसिंग आउटपुटला इव्हेंट्स, लेबल्स किंवा कंट्रोल अॅक्शनमध्ये बदलते.

5. टेलीमेट्री फक्त उपयुक्त गोष्टी अपलोड करते: सारांश, विसंगती किंवा नियतकालिक अभिप्राय.

तुम्हाला दिसणारे ऑन-डिव्हाइस रनटाइममध्ये गुगलचे लाइटआरटी (पूर्वीचे टेन्सरफ्लो लाइट), ओएनएक्स रनटाइम आणि इंटेलचे ओपनव्हिनो . हे टूलचेन क्वांटायझेशन आणि ऑपरेटर फ्यूजन सारख्या युक्त्यांसह घट्ट पॉवर/मेमरी बजेटमधून थ्रूपुट पिळून काढतात. जर तुम्हाला नट अँड बोल्ट आवडत असतील, तर त्यांचे डॉक्स सॉलिड आहेत. [3][4]

ते कुठे दिसते - तुम्ही दाखवू शकता अशा वास्तविक वापराच्या घटना 🧯🚗🏭

• काठावरची दृष्टी : डोअरबेल कॅम्स (लोक विरुद्ध पाळीव प्राणी), किरकोळ विक्रीमध्ये शेल्फ-स्कॅनिंग, दोष शोधणारे ड्रोन.

• डिव्हाइसवरील ऑडिओ : वनस्पतींमध्ये जागृत शब्द, श्रुतलेखन, गळती शोधणे.

• औद्योगिक आयओटी : बिघाड होण्यापूर्वी कंपन विसंगतींसाठी मोटर्स आणि पंपांचे निरीक्षण केले जाते.

• ऑटोमोटिव्ह : ड्रायव्हर मॉनिटरिंग, लेन डिटेक्शन, पार्किंग असिस्ट-सब-सेकंद किंवा ब्रेक.

• आरोग्यसेवा : घालण्यायोग्य उपकरणे स्थानिक पातळीवर अतालता दर्शवतात; नंतर सारांश समक्रमित करतात.

• स्मार्टफोन : फोटो एन्हांसमेंट, स्पॅम-कॉल डिटेक्शन, "माझ्या फोनने ते ऑफलाइन कसे केले" असे क्षण.

औपचारिक व्याख्यांसाठी (आणि "धुके विरुद्ध काठ" चुलत भाऊ अथवा बहीण यांच्यातील चर्चा) NIST संकल्पनात्मक मॉडेल पहा. [2]

ते जलद बनवणारे हार्डवेअर 🔌

काही प्लॅटफॉर्मवर नावांची खूप तपासणी केली जाते:

• एनव्हीआयडीए जेटसन - रोबोट्स/कॅमेऱ्यांसाठी जीपीयू-चालित मॉड्यूल्स-एम्बेडेड एआयसाठी स्विस-आर्मी-चाकू व्हायब्स.

• गुगल एज टीपीयू + लाइटआरटी - अल्ट्रा-लो-पॉवर प्रकल्पांसाठी कार्यक्षम पूर्णांक अनुमान आणि एक सुव्यवस्थित रनटाइम. [3]

• अ‍ॅपल न्यूरल इंजिन (एएनई) - आयफोन, आयपॅड आणि मॅकसाठी डिव्हाइसवरील ML मध्ये घट्ट वापर; अ‍ॅपलने एएनईवर ट्रान्सफॉर्मर्स कार्यक्षमतेने तैनात करण्यावर व्यावहारिक काम प्रकाशित केले आहे. [5]

• ओपनव्हिनोसह इंटेल सीपीयू/आयजीपीयू/एनपीयू - इंटेल हार्डवेअरवर "एकदा लिहा, कुठेही तैनात करा"; उपयुक्त ऑप्टिमायझेशन पास.

• ONNX रनटाइम सर्वत्र - फोन, पीसी आणि गेटवेवर प्लग करण्यायोग्य एक्झिक्युशन प्रोव्हायडर्ससह एक तटस्थ रनटाइम. [4]

तुम्हाला त्या सर्वांची गरज आहे का? खरंच नाही. तुमच्या ताफ्याला बसणारा एक मजबूत मार्ग निवडा आणि त्यावर टिकून राहा - मंथन हा एम्बेडेड टीमचा शत्रू आहे.

सॉफ्टवेअर स्टॅक - एक छोटासा दौरा 🧰

• मॉडेल कॉम्प्रेशन : क्वांटायझेशन (बहुतेकदा int8 पर्यंत), छाटणी, ऊर्धपातन.

• ऑपरेटर-स्तरीय प्रवेग : तुमच्या सिलिकॉनशी जुळलेले कर्नल.

• रनटाइम्स : LiteRT, ONNX रनटाइम, OpenVINO. [३][४]

• डिप्लॉयमेंट रॅपर्स : कंटेनर/अ‍ॅप बंडल; कधीकधी गेटवेवर मायक्रोसर्व्हिसेस.

• एजसाठी एमएलओपीएस : ओटीए मॉडेल अपडेट्स, ए/बी रोलआउट, टेलीमेट्री लूप.

• गोपनीयता आणि सुरक्षा नियंत्रणे : डिव्हाइसवरील एन्क्रिप्शन, सुरक्षित बूट, प्रमाणन, एन्क्लेव्ह.

मिनी-केस: एका तपासणी ड्रोन टीमने LiterRT साठी क्वांटाइज्ड स्टुडंट मॉडेलमध्ये हेवीवेट डिटेक्टर डिस्टिल्ड केला, नंतर डिव्हाइसवर NMS फ्यूज केले. कमी कॉम्प्युट ड्रॉमुळे फ्लाइट टाइम ~15% वाढला; अपलोड व्हॉल्यूम अपवाद फ्रेममध्ये कमी झाला. (पद्धत: साइटवर डेटासेट कॅप्चर, पोस्ट-क्वांट कॅलिब्रेशन, पूर्ण रोलआउट करण्यापूर्वी शॅडो-मोड A/B.)

तुलना सारणी - लोकप्रिय एज एआय पर्याय 🧪

खरी चर्चा: हे टेबल मतप्रणालीचे आहे आणि थोडेसे गोंधळलेले आहे - अगदी वास्तविक जगासारखे.

एज एआय मार्ग कसा निवडायचा - एक लहान निर्णय वृक्ष 🌳

• तुमचे आयुष्य रिअल-टाइममध्ये कठीण आहे का? अॅक्सिलरेटर + क्वांटाइज्ड मॉडेल्सपासून सुरुवात करा.

• अनेक प्रकारचे उपकरण? पोर्टेबिलिटीसाठी ONNX रनटाइम किंवा OpenVINO ला प्राधान्य द्या. [4]

• मोबाईल अॅप पाठवायचे का? LiterRT हा कमीत कमी प्रतिकाराचा मार्ग आहे. [3]

• रोबोटिक्स की कॅमेरा अॅनालिटिक्स? जेटसनचे GPU-फ्रेंडली ऑप्स वेळ वाचवतात.

• गोपनीयतेची कडक भूमिका? डेटा स्थानिक ठेवा, स्थिर एन्क्रिप्ट करा, लॉग अ‍ॅग्रीगेट्स कच्च्या फ्रेम्सऐवजी ठेवा.

• छोटी टीम? विदेशी टूलचेन टाळा - कंटाळवाणे सुंदर आहे.

• मॉडेल्स वारंवार बदलतील का? पहिल्या दिवसापासूनच OTA आणि टेलिमेट्रीची योजना करा.

जोखीम, मर्यादा आणि कंटाळवाणे पण महत्त्वाचे मुद्दे 🧯

• मॉडेल ड्रिफ्ट - वातावरण बदलते; वितरणांचे निरीक्षण करा, शॅडो मोड चालवा, वेळोवेळी पुन्हा प्रशिक्षण द्या.

• कॉम्प्युट सीलिंग्ज - कमी मेमरी/पॉवर फोर्स असलेले छोटे मॉडेल किंवा आरामशीर अचूकता.

• सुरक्षा - भौतिक प्रवेश गृहीत धरा; सुरक्षित बूट, स्वाक्षरीकृत कलाकृती, प्रमाणन, किमान-विशेषाधिकार सेवा वापरा.

• डेटा प्रशासन - स्थानिक प्रक्रिया मदत करते, परंतु तरीही तुम्हाला संमती, धारणा आणि व्याप्ती टेलीमेट्रीची आवश्यकता असते.

• फ्लीट ऑप्स - सर्वात वाईट वेळी डिव्हाइस ऑफलाइन होतात; पुढे ढकललेले अपडेट आणि पुन्हा सुरू करता येणारे अपलोड डिझाइन करा.

• टॅलेंट मिक्स - एम्बेडेड + एमएल + डेव्हऑप्स हा एक वैविध्यपूर्ण क्रू आहे; लवकर क्रॉस-ट्रेन करा.

उपयुक्त वस्तू पाठवण्यासाठी एक व्यावहारिक रोडमॅप 🗺️

1. ओळ ३ वर मोजता येण्याजोगे मूल्य-दोष शोध, स्मार्ट स्पीकरवर वेक वर्ड इत्यादीसह एक वापर केस निवडा.

2. एक व्यवस्थित डेटासेट गोळा करा ; वास्तविकतेशी जुळणारा आवाज इंजेक्ट करा.

3. उत्पादन हार्डवेअरच्या जवळ असलेल्या डेव्हलपमेंट किटवरील प्रोटोटाइप

4. मॉडेल कॉम्प्रेस करा ; अचूकतेचे नुकसान प्रामाणिकपणे मोजा. [3]

5. बॅकप्रेशर आणि वॉचडॉगसह स्वच्छ API मध्ये अनुमान गुंडाळा

6. टेलीमेट्री डिझाइन करा : पाठवा संख्या, हिस्टोग्राम, एज-एक्सट्रॅक्टेड वैशिष्ट्ये.

7. सुरक्षितता मजबूत करा : स्वाक्षरीकृत बायनरी, सुरक्षित बूट, किमान सेवा उघड्या.

8. प्लॅन ओटीए : स्टॅगर्ड रोलआउट्स, कॅनरीज, इन्स्टंट रोलबॅक.

9. एका कोपऱ्यात पायलट - जर ते तिथे टिकले तर ते कुठेही टिकेल.

10. प्लेबुक वापरून स्केल करा : तुम्ही मॉडेल कसे जोडाल, की कसे फिरवाल, डेटा संग्रहित कराल - म्हणजे प्रकल्प #२ गोंधळात टाकणारा नाही.

एज एआय कुतूहल याची छोटी उत्तरे

एज एआय फक्त एका छोट्या संगणकावर एक लहान मॉडेल चालवत आहे का?
बहुतेकदा, हो - पण आकार हा संपूर्ण विषय नाही. हे लेटन्सी बजेट, गोपनीयतेचे आश्वासन आणि स्थानिक पातळीवर काम करणाऱ्या परंतु जागतिक स्तरावर शिकणाऱ्या अनेक उपकरणांचे आयोजन करण्याबद्दल देखील आहे. [1]

मीही अगदी जवळून प्रशिक्षण घेऊ शकतो का?
डिव्हाइसवर हलके प्रशिक्षण/वैयक्तिकरण अस्तित्वात आहे; जड प्रशिक्षण अजूनही मध्यवर्ती पद्धतीने चालते. जर तुम्ही साहसी असाल तर ONNX रनटाइम डिव्हाइसवर प्रशिक्षण पर्यायांचे दस्तऐवजीकरण करते. [4]

एज एआय विरुद्ध फॉग कॉम्प्युटिंग म्हणजे काय?
फॉग आणि एज हे चुलत भाऊ आहेत. दोघेही कॉम्प्युटला डेटा स्रोतांच्या जवळ आणतात, कधीकधी जवळच्या गेटवेद्वारे. औपचारिक व्याख्या आणि संदर्भासाठी, NIST पहा. [2]

एज एआय नेहमीच गोपनीयता सुधारते का?
ते मदत करते - पण ते जादू नाही. तुम्हाला अजूनही कमी करणे, सुरक्षित अपडेट मार्ग आणि काळजीपूर्वक लॉगिंग आवश्यक आहे. गोपनीयतेला सवय म्हणून घ्या, चेकबॉक्स म्हणून नाही.

तुम्ही खरोखर वाचू शकता असे खोलवरचे अनुभव 📚

१) अचूकता बिघडवत नसलेले मॉडेल ऑप्टिमायझेशन

क्वांटायझेशन मेमरी कमी करू शकते आणि ऑपरेशन्सची गती वाढवू शकते, परंतु प्रातिनिधिक डेटासह कॅलिब्रेट करू शकते अन्यथा मॉडेल जिथे ट्रॅफिक कोन असतात तिथे गिलहरींना भ्रमित करू शकते. डिस्टिलेशन - शिक्षक लहान विद्यार्थ्याला मार्गदर्शन करतात - बहुतेकदा शब्दार्थ जपतात. [3]

२) सराव मध्ये एज इन्फरन्स रनटाइम्स

LiterRT चा इंटरप्रिटर रनटाइमवर जाणूनबुजून स्टॅटिक-लेस मेमरी चर्न करतो. ONNX रनटाइम एक्झिक्युशन प्रोव्हायडर्सद्वारे वेगवेगळ्या अ‍ॅक्सिलरेटर्समध्ये प्लग इन करतो. दोन्हीपैकी एकही सिल्व्हर बुलेट नाही; दोन्हीही सॉलिड हॅमर आहेत. [3][4]

३) जंगलात मजबूतपणा

उष्णता, धूळ, फ्लॅकी पॉवर, स्लॅपडॅश वाय-फाय: पाइपलाइन पुन्हा सुरू करणारे, निर्णय कॅशे करणारे आणि नेटवर्क परत आल्यावर रिकॉन्सिल करणारे वॉचडॉग तयार करा. लक्ष देण्यापेक्षा कमी ग्लॅमरस - तरीही अधिक महत्त्वाचे.

तुम्ही मीटिंगमध्ये पुन्हा पुन्हा म्हणाल तो वाक्यांश - एज एआय म्हणजे काय 🗣️

एज एआय लेटन्सी, प्रायव्हसी, बँडविड्थ आणि विश्वासार्हतेच्या व्यावहारिक मर्यादा पूर्ण करण्यासाठी बुद्धिमत्ता डेटाच्या जवळ आणते. जादू फक्त एका चिप किंवा फ्रेमवर्कमध्ये नाही - ती कुठे काय मोजायचे हे सुज्ञपणे निवडण्यात आहे.

शेवटचे टिप्पण्या - खूप लांब, मी ते वाचले नाही 🧵

एज एआय डेटाच्या जवळ मॉडेल्स चालवते जेणेकरून उत्पादने जलद, खाजगी आणि मजबूत वाटतील. दोन्ही जगाच्या सर्वोत्तमतेसाठी तुम्ही स्थानिक अनुमान आणि क्लाउड निरीक्षण यांचे मिश्रण कराल. तुमच्या डिव्हाइसेसशी जुळणारा रनटाइम निवडा, शक्य असेल तेव्हा अ‍ॅक्सिलरेटरवर अवलंबून रहा, कॉम्प्रेशनसह मॉडेल्स व्यवस्थित ठेवा आणि तुमचे काम त्यावर अवलंबून असेल तसे फ्लीट ऑपरेशन्स डिझाइन करा - कारण, ते कदाचित असू शकते. जर कोणी एज एआय म्हणजे काय असे म्हणा: स्मार्ट निर्णय, स्थानिक पातळीवर, वेळेवर घेतले जातात. नंतर हसून विषय बदला बॅटरी. 🔋🙂

संदर्भ

1. आयबीएम - एज एआय म्हणजे काय? (व्याख्या, फायदे).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: फॉग कम्प्युटिंग संकल्पनात्मक मॉडेल (फॉग/एजसाठी औपचारिक संदर्भ).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. गुगल एआय एज - लाइटआरटी (पूर्वी टेन्सरफ्लो लाइट) (रनटाइम, क्वांटायझेशन, मायग्रेशन).
   https://ai.google.dev/edge/litert

4. ONNX रनटाइम - ऑन-डिव्हाइस ट्रेनिंग (पोर्टेबल रनटाइम + एज डिव्हाइसेसवर ट्रेनिंग).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. अ‍ॅपल मशीन लर्निंग रिसर्च - अ‍ॅपल न्यूरल इंजिनवर ट्रान्सफॉर्मर्स तैनात करणे (एएनई कार्यक्षमता नोट्स).
   https://machinelearning.apple.com/research/neural-engine-transformers

अधिकृत एआय असिस्टंट स्टोअरमध्ये नवीनतम एआय शोधा.

आमच्याबद्दल