डेटा इंजिनिअर्सची जागा एआय घेईल का?

डेटा इंजिनिअर्सची जागा एआय घेईल का?

थोडक्यात उत्तर: एआय डेटा इंजिनिअर्सची जागा घेणार नाही; ते एसक्यूएल ड्राफ्टिंग, पाइपलाइन स्कॅफोल्डिंग, चाचण्या आणि दस्तऐवजीकरण यासारख्या पुनरावृत्ती होणाऱ्या कामांना स्वयंचलित करेल. जर तुमची भूमिका बहुतेक कमी मालकीची, तिकीट-चालित कामाची असेल तर ते अधिक उघड आहे; जर तुमच्याकडे विश्वासार्हता, व्याख्या, प्रशासन आणि घटना प्रतिसाद असेल तर एआय प्रामुख्याने तुम्हाला जलद बनवते.

महत्वाचे मुद्दे:

मालकी : केवळ जलद कोड तयार करण्याऐवजी निकालांसाठी जबाबदारीला प्राधान्य द्या.

गुणवत्ता : पाइपलाइन विश्वासार्ह राहण्यासाठी चाचण्या, निरीक्षणक्षमता आणि करार तयार करा.

प्रशासन : गोपनीयता, प्रवेश नियंत्रण, धारणा आणि ऑडिट ट्रेल्स मानवी मालकीचे ठेवा.

गैरवापर प्रतिकार : एआय आउटपुटला ड्राफ्ट म्हणून हाताळा; आत्मविश्वासपूर्ण चूक टाळण्यासाठी त्यांचा आढावा घ्या.

भूमिका बदल : बॉयलरप्लेट टाइप करण्यात कमी वेळ आणि टिकाऊ प्रणाली डिझाइन करण्यात जास्त वेळ घालवा.

डेटा इंजिनिअर्सची जागा एआय घेईल का? इन्फोग्राफिक

जर तुम्ही डेटा टीम्सभोवती पाच मिनिटांपेक्षा जास्त वेळ घालवला असेल, तर तुम्हाला हा शब्द ऐकू आला असेल - कधीकधी कुजबुजलेला, कधीकधी मीटिंगमध्ये कथानकाच्या वळणासारखा सुरू होणारा: एआय डेटा इंजिनिअर्सची जागा घेईल का?

आणि... मला समजले. एआय एसक्यूएल जनरेट करू शकते, पाइपलाइन तयार करू शकते, स्टॅक ट्रेस स्पष्ट करू शकते, डीबीटी मॉडेल्स ड्राफ्ट करू शकते, अगदी वेअरहाऊस स्कीमा देखील अस्वस्थ आत्मविश्वासाने सुचवू शकते. एसक्यूएलसाठी गिटहब कोपायलट डीबीटी मॉडेल्सबद्दल गिटहब कोपायलट
फोर्कलिफ्टला जुगलबंदी करायला शिकताना पाहण्यासारखे वाटते. प्रभावी, थोडेसे चिंताजनक, आणि तुमच्या कामासाठी त्याचा काय अर्थ आहे हे तुम्हाला पूर्णपणे माहित नाही 😅

पण सत्य हेडलाईनपेक्षा कमी नीटनेटके आहे. एआय डेटा इंजिनिअरिंग पूर्णपणे बदलत आहे. ते कंटाळवाणे, पुनरावृत्ती करता येणारे भाग स्वयंचलित करत आहे. ते "मला काय हवे आहे ते माहित आहे पण वाक्यरचना आठवत नाही" या क्षणांना गती देत ​​आहे. ते अगदी नवीन प्रकारच्या अराजकतेला देखील जन्म देत आहे.

तर मग, हात हलवणाऱ्या आशावाद किंवा विनाशकारी भीतीशिवाय, ते योग्यरित्या मांडूया.

या लेखानंतर तुम्हाला वाचायला आवडतील असे लेख:

🔗 रेडिओलॉजिस्टची जागा एआय घेईल का?
इमेजिंग एआय वर्कफ्लो, अचूकता आणि भविष्यातील भूमिका कशा बदलते.

🔗 अकाउंटंट्सची जागा एआय घेईल का?
एआय कोणती अकाउंटिंग कामे स्वयंचलित करते आणि कोणती मानवी राहते ते पहा.

🔗 गुंतवणूक बँकर्सची जागा एआय घेईल का?
डील, संशोधन आणि क्लायंट संबंधांवर एआयचा प्रभाव समजून घ्या.

🔗 विमा एजंट्सची जागा एआय घेईल का?
एआय अंडररायटिंग, विक्री आणि ग्राहक समर्थन कसे बदलते ते जाणून घ्या.

"एआय डेटा इंजिनिअर्सची जागा घेते" हा प्रश्न वारंवार का उपस्थित होत राहतो 😬

भीती एका विशिष्ट ठिकाणाहून येते: डेटा अभियांत्रिकीमध्ये पुनरावृत्ती करण्यायोग्य बरेच काम असते .

  • SQL लिहिणे आणि रिफॅक्टर करणे

  • अंतर्ग्रहण स्क्रिप्ट तयार करणे

  • एका स्कीमामधून दुसऱ्या स्कीमामध्ये फील्ड मॅप करणे

  • चाचण्या आणि मूलभूत कागदपत्रे तयार करणे

  • पाइपलाइनमधील बिघाडांचे डीबगिंग जे... अंदाजे असू शकतात

पुनरावृत्ती करता येण्याजोग्या नमुन्यांमध्ये एआय असामान्यपणे चांगले आहे. आणि डेटा अभियांत्रिकीमध्ये अगदी तसेच आहे - नमुन्यांवर रचलेले नमुने. गिटहब कोपायलट कोड सूचना

तसेच, टूल्स इकोसिस्टम आधीच गुंतागुंत "लपवत" आहे:

म्हणून जेव्हा एआय दिसते तेव्हा ते शेवटच्या तुकड्यासारखे वाटू शकते. जर स्टॅक आधीच अ‍ॅबस्ट्रॅक्ट केलेला असेल आणि एआय ग्लू कोड लिहू शकेल... तर काय उरले? 🤷

पण लोक येथे एक गोष्ट वगळतात: डेटा अभियांत्रिकी ही मुख्यतः टायपिंग नाही . टायपिंग हा सोपा भाग आहे. कठीण भाग म्हणजे अस्पष्ट, राजकीय, बदलणारे व्यावसायिक वास्तव एका विश्वासार्ह प्रणालीसारखे वागणे.

आणि एआय अजूनही त्या गोंधळाशी झुंजत आहे. लोकही झुंजतात - ते फक्त चांगले काम करतात.

डेटा इंजिनिअर्स दिवसभर काय करतात (अनाकलनीय सत्य) 🧱

चला स्पष्टपणे सांगूया - "डेटा इंजिनिअर" हे पद तुम्ही शुद्ध गणिताच्या आधारे रॉकेट इंजिन बनवत आहात असे वाटते. प्रत्यक्षात, तुम्ही विश्वास .

एक सामान्य दिवस म्हणजे "नवीन अल्गोरिदम शोधणे" कमी आणि जास्त:

  • डेटा व्याख्यांबद्दल अपस्ट्रीम टीमशी वाटाघाटी करणे (वेदनादायक परंतु आवश्यक)

  • मेट्रिक का बदलला (आणि ते खरे आहे का) याचा तपास करणे

  • स्कीमा ड्रिफ्ट आणि "मध्यरात्री कोणीतरी कॉलम जोडला" आश्चर्ये हाताळणे

  • पाईपलाईन अक्षम, पुनर्प्राप्त करण्यायोग्य, निरीक्षण करण्यायोग्य आहेत याची खात्री करणे

  • डाउनस्ट्रीम विश्लेषक चुकूनही निरर्थक डॅशबोर्ड तयार करू नयेत म्हणून रेलिंग तयार करणे

  • तुमचे गोदाम पैशाच्या जाळ्यात बदलू नये म्हणून खर्चाचे व्यवस्थापन करणे 🔥

  • प्रवेश सुरक्षित करणे, ऑडिटिंग, अनुपालन, धारणा धोरणे GDPR तत्त्वे (युरोपियन कमिशन) स्टोरेज मर्यादा (ICO)

  • तुम्हाला DM न करता लोक प्रत्यक्षात वापरू शकतील अशी डेटा उत्पादने तयार करणे २० प्रश्न

कामाचा मोठा भाग सामाजिक आणि कार्यात्मक आहे:

  • "हे टेबल कोणाचे आहे?"

  • "ही व्याख्या अजूनही वैध आहे का?"

  • "सीआरएम डुप्लिकेट का निर्यात करत आहे?"

  • "आपण हे मेट्रिक अधिकाऱ्यांना लाजिरवाणेपणाशिवाय पाठवू शकतो का?" 😭

नक्कीच, यातील काही भागांमध्ये एआय मदत करू शकते. पण ते पूर्णपणे बदलणे हे... एक ताण आहे.

डेटा अभियांत्रिकी भूमिकेचे एक मजबूत रूप काय बनवते? ✅

हा विभाग महत्त्वाचा आहे कारण रिप्लेसमेंट टॉकमध्ये सहसा डेटा इंजिनिअर्स प्रामुख्याने "पाइपलाइन बिल्डर्स" असतात असे गृहीत धरले जाते. ते असे गृहीत धरण्यासारखे आहे की शेफ प्रामुख्याने "भाज्या चिरतात". ते कामाचा एक भाग आहे, पण ते काम नाही.

डेटा इंजिनिअरची एक म्हणजे ते यापैकी बहुतेक गोष्टी करू शकतात:

  • बदलासाठी डिझाइन
    डेटा बदलतो. संघ बदलतात. साधने बदलतात. एक चांगला अभियंता अशा प्रणाली तयार करतो ज्या प्रत्येक वेळी वास्तव शिंकल्यावर कोसळत नाहीत 🤧

  • करार आणि अपेक्षा परिभाषित करा
    "ग्राहक" म्हणजे काय? "सक्रिय" म्हणजे काय? जेव्हा वाद उशिरा येतो तेव्हा काय होते? फॅन्सी कोडपेक्षा करार गोंधळ टाळतात. ओपन डेटा कॉन्ट्रॅक्ट स्टँडर्ड (ODCS) ODCS (GitHub)

  • प्रत्येक गोष्टीत निरीक्षणक्षमता निर्माण करा
    फक्त "ते चालले का" असे नाही तर "ते योग्यरित्या चालले का." ताजेपणा, आकारमानातील विसंगती, शून्य स्फोट, वितरण शिफ्ट. डेटा निरीक्षणक्षमता (डायनाट्रेस) डेटा निरीक्षणक्षमता म्हणजे काय?

  • प्रौढांसाठी
    वेग विरुद्ध अचूकता, खर्च विरुद्ध विलंब, लवचिकता विरुद्ध साधेपणा असे तडजोड करा. कोणतीही परिपूर्ण पाइपलाइन नसते, फक्त अशा पाइपलाइन असतात ज्या तुम्ही जगू शकता.

  • व्यवसायाच्या गरजा टिकाऊ प्रणालींमध्ये रूपांतरित करा
    लोक मेट्रिक्स मागतात, परंतु त्यांना डेटा उत्पादनाची आवश्यकता असते. एआय कोड मसुदा तयार करू शकते, परंतु ते व्यवसायातील भूसुरुंगांना जादूने ओळखू शकत नाही.

  • डेटा शांत ठेवा
    डेटा प्लॅटफॉर्मची सर्वात मोठी प्रशंसा म्हणजे कोणीही त्याबद्दल बोलत नाही. अप्रिय डेटा हा चांगला डेटा असतो. प्लंबिंगसारखा. जेव्हा ते बिघडते तेव्हाच तुम्हाला ते लक्षात येते 🚽

जर तुम्ही या गोष्टी करत असाल, तर "एआय डेटा इंजिनिअर्सची जागा घेईल का?" थोडासा अस्पष्ट वाटू लागतो... एआय मालकी नव्हे तर कामे .

जिथे एआय आधीच डेटा अभियंत्यांना मदत करत आहे (आणि ते खरोखरच उत्तम आहे) 🤖✨

एआय म्हणजे फक्त मार्केटिंग नाही. चांगल्या प्रकारे वापरल्यास, ते एक वैध फोर्स गुणक आहे.

१) जलद SQL आणि परिवर्तन कार्य

  • कॉम्प्लेक्स जॉइन्सचा मसुदा तयार करणे

  • विंडो फंक्शन्स लिहिणे ज्यांचा तुम्ही विचार करू इच्छित नाही

  • साध्या भाषेतील तर्कशास्त्राचे क्वेरी स्केलेटनमध्ये रूपांतर करणे

  • SQL साठी वाचनीय CTEs मध्ये कुरूप क्वेरीजचे पुनर्नियोजन

हे खूप मोठे आहे कारण ते "रिक्त पृष्ठ" प्रभाव कमी करते. तुम्हाला अजूनही प्रमाणित करावे लागेल, परंतु तुम्ही ०% ऐवजी ७०% पासून सुरुवात कराल.

२) डीबगिंग आणि रूट कॉज ब्रेडक्रंब्स

एआय यामध्ये चांगले आहे:

  • त्रुटी संदेशांचे स्पष्टीकरण

  • कुठे पाहायचे ते सुचवत आहे

  • "चेक स्कीमा मिसमॅच" प्रकारच्या पायऱ्यांची शिफारस करणे GitHub Copilot
    हे एका अथक कनिष्ठ अभियंत्यासारखे आहे जो कधीही झोपत नाही आणि कधीकधी आत्मविश्वासाने खोटे बोलतो 😅

३) दस्तऐवजीकरण आणि डेटा कॅटलॉग समृद्धीकरण

स्वयंचलितपणे तयार केलेले:

  • स्तंभ वर्णने

  • मॉडेल सारांश

  • वंशावळीचे स्पष्टीकरण

  • "हे टेबल कशासाठी वापरले जाते?" मसुदे dbt दस्तऐवजीकरण

ते परिपूर्ण नाही, पण ते कागदपत्रे नसलेल्या पाइपलाइनच्या शापाला तोडते.

४) चाचणी मचान आणि तपासणी

एआय प्रस्तावित करू शकते:

पुन्हा - काय महत्त्वाचे आहे ते तुम्हीच ठरवा, पण ते नियमित कामांना गती देते.

५) पाइपलाइन "गोंद" कोड

कॉन्फिग टेम्पलेट्स, YAML स्कॅफोल्ड्स, ऑर्केस्ट्रेशन DAG ड्राफ्ट्स. ते सर्व पुनरावृत्ती होते आणि AI नाश्त्यात वारंवार खातो 🥣 Apache Airflow DAGs

जिथे एआय अजूनही संघर्ष करत आहे (आणि हा त्याचा गाभा आहे) 🧠🧩

हा भाग सर्वात महत्त्वाचा आहे, कारण तो रिप्लेसमेंट प्रश्नाचे उत्तर खऱ्या पोताने देतो.

१) अस्पष्टता आणि बदलत्या व्याख्या

व्यवसायातील तर्कशास्त्र क्वचितच स्पष्ट असते. लोक वाक्याच्या मध्यभागीच त्यांचे मत बदलतात. “सक्रिय वापरकर्ता” “सक्रिय देयक वापरकर्ता” बनतो “कधीकधी परतावा वगळता सक्रिय देयक वापरकर्ता” बनतो… ते कसे आहे ते तुम्हाला माहिती आहेच.

एआय ही अस्पष्टता स्वीकारू शकत नाही. ती फक्त अंदाज लावू शकते.

२) जबाबदारी आणि जोखीम

जेव्हा पाइपलाइन तुटते आणि एक्झिक्युटिव्ह डॅशबोर्ड बकवास दाखवतो, तेव्हा एखाद्याने हे करावे लागते:

  • त्रिकोण

  • प्रभाव व्यक्त करा

  • ते दुरुस्त करा

  • पुनरावृत्ती रोखणे

  • पोस्टमॉर्टेम लिहा

  • व्यवसाय गेल्या आठवड्याच्या आकडेवारीवर अजूनही विश्वास ठेवू शकतो का ते ठरवा

एआय मदत करू शकते, परंतु ते अर्थपूर्ण पद्धतीने जबाबदार असू शकत नाही. संस्था उत्साहावर चालत नाहीत - त्या जबाबदारीवर चालतात.

३) सिस्टम थिंकिंग

डेटा प्लॅटफॉर्म ही परिसंस्था आहेत: अंतर्ग्रहण, साठवणूक, परिवर्तन, ऑर्केस्ट्रेशन, प्रशासन, खर्च नियंत्रणे, एसएलए. एका थराच्या लहरींमध्ये बदल. अपाचे एअरफ्लो संकल्पना

एआय स्थानिक ऑप्टिमायझेशन सुचवू शकते जे जागतिक वेदना निर्माण करतात. हे दरवाजा काढून किंचाळणारा दरवाजा दुरुस्त करण्यासारखे आहे 😬

४) सुरक्षा, गोपनीयता, अनुपालन

इथेच बदलीच्या कल्पना मरतात.

एआय धोरणे तयार करू शकते, परंतु त्यांची सुरक्षितपणे अंमलबजावणी करणे ही खरी अभियांत्रिकी आहे.

५) "अज्ञात अज्ञात"

डेटा घटना अनेकदा अप्रत्याशित असतात:

  • विक्रेता API शांतपणे शब्दार्थ बदलतो

  • टाइमझोन गृहीतक उलटते

  • बॅकफिल विभाजनाची डुप्लिकेट बनवते

  • पुन्हा प्रयत्न करण्याच्या यंत्रणेमुळे दुहेरी लेखन होते

  • एका नवीन उत्पादन वैशिष्ट्यामुळे नवीन कार्यक्रम नमुने सादर होतात

जेव्हा परिस्थिती ज्ञात नसते तेव्हा एआय कमकुवत असते.

तुलना सारणी: प्रत्यक्षात काय कमी करत आहे 🧾🤔

खाली एक व्यावहारिक दृष्टिकोन आहे. "लोकांची जागा घेणारी साधने" नाही, तर काही विशिष्ट कार्ये कमी करणारी साधने आणि दृष्टिकोन.

साधन / दृष्टिकोन प्रेक्षक किंमत वातावरण ते का काम करते
एआय कोड कोपायलट (एसक्यूएल + पायथॉन हेल्पर्स) गिटहब कोपायलट भरपूर कोड लिहिणारे अभियंते पैसे देऊन मोफत स्कॅफोल्डिंग, रिफॅक्टर, सिंटॅक्समध्ये उत्तम... कधीकधी अगदी विशिष्ट पद्धतीने वापरता येते
व्यवस्थापित ईएलटी कनेक्टर फाइव्हट्रान संघांना अंतर्ग्रहण बांधून कंटाळा आला आहे सबस्क्रिप्शन-y कस्टम इंजेशन वेदना कमी करते, परंतु नवीन मजेदार मार्गांनी तोडते
डेटा निरीक्षणक्षमता प्लॅटफॉर्म डेटा निरीक्षणक्षमता (डायनाट्रेस) SLA चे मालक असलेले कोणीही मध्यम ते उद्योग पाइपलाइनसाठी धुराचे अलार्म जसे की, विसंगती लवकर पकडते 🔔
ट्रान्सफॉर्मेशन फ्रेमवर्क (घोषणात्मक मॉडेलिंग) डीबीटी विश्लेषण + डीई हायब्रिड्स सहसा टूल + कंप्यूट लॉजिक मॉड्यूलर आणि चाचणीयोग्य बनवते, कमी स्पॅगेटी
डेटा कॅटलॉग + सिमेंटिक लेयर्स dbt सिमेंटिक लेयर मेट्रिक गोंधळ असलेल्या संस्था व्यवहारात अवलंबून आहे "सत्य" एकदाच परिभाषित करते - अंतहीन मेट्रिक वादविवाद कमी करते
अपाचे एअरफ्लो टेम्पलेट्ससह ऑर्केस्ट्रेशन प्लॅटफॉर्म-मनाचे संघ ओपन + ऑपरेशन्सचा खर्च वर्कफ्लोचे मानकीकरण करते; कमी स्नोफ्लेक DAGs
एआय-सहाय्यित दस्तऐवजीकरण डीबीटी डॉक्स जनरेशन कागदपत्रे लिहिण्यास आवडत नसलेले संघ स्वस्त ते मध्यम ज्ञान नष्ट होत नाही म्हणून "पुरेसे चांगले" दस्तऐवज बनवते
स्वयंचलित प्रशासन धोरणे NIST गोपनीयता फ्रेमवर्क नियंत्रित वातावरण एंटरप्राइझ-वाय नियमांची अंमलबजावणी करण्यास मदत करते - परंतु तरीही नियम तयार करण्यासाठी मानवांची आवश्यकता असते

काय गहाळ आहे ते पहा: "डेटा इंजिनिअर्स काढून टाकण्यासाठी बटण दाबा" असे म्हणणारी एक ओळ. हो... ती ओळ अस्तित्वात नाही 🙃

तर... एआय डेटा इंजिनिअर्सची जागा घेईल की फक्त भूमिका बदलेल? 🛠️

येथे नाट्यमय नसलेले उत्तर आहे: एआय वर्कफ्लोच्या काही भागांची जागा घेईल, व्यवसायाची नाही.

पण ते करेल . आणि जर तुम्ही त्याकडे दुर्लक्ष केले तर तुम्हाला दाब जाणवेल.

काय बदल होतात:

  • बॉयलरप्लेट लिहिण्यासाठी कमी वेळ

  • कागदपत्रे शोधण्यात कमी वेळ

  • पुनरावलोकन, पडताळणी, डिझाइनिंगसाठी अधिक वेळ

  • करार आणि गुणवत्ता अपेक्षा परिभाषित करण्यासाठी अधिक वेळ ओपन डेटा कॉन्ट्रॅक्ट स्टँडर्ड (ODCS)

  • उत्पादन, सुरक्षा, वित्त यांच्याशी अधिक वेळ भागीदारी करा

हा एक सूक्ष्म बदल आहे: डेटा अभियांत्रिकी "पाइपलाइन तयार करण्याबद्दल कमी आणि "विश्वसनीय डेटा उत्पादन प्रणाली तयार करण्याबद्दल" अधिक बनते

आणि एका शांत वळणावर, ते अधिक मौल्यवान आहे, कमी नाही.

तसेच - आणि मी हे सांगणार आहे की जरी ते नाट्यमय वाटत असले तरी - एआय डेटा आर्टिफॅक्ट तयार करू शकणाऱ्या लोकांची संख्या वाढवते , ज्यामुळे संपूर्ण गोष्ट सुव्यवस्थित ठेवण्यासाठी एखाद्याची आवश्यकता वाढते. अधिक आउटपुट म्हणजे अधिक संभाव्य गोंधळ. गिटहब कोपायलट

हे सर्वांना पॉवर ड्रिल देण्यासारखे आहे. छान! आता कोणीतरी "कृपया पाण्याच्या पाईपमध्ये ड्रिल करू नका" हा नियम लागू करण्याची गरज आहे 🪠

नवीन कौशल्य स्टॅक जो मौल्यवान राहतो (सर्वत्र AI असतानाही) 🧠⚙️

जर तुम्हाला व्यावहारिक "भविष्यातील सुरक्षित" चेकलिस्ट हवी असेल तर ती अशी दिसेल:

सिस्टम डिझाइन मानसिकता

  • बदल टिकून राहणारे डेटा मॉडेलिंग

  • बॅच विरुद्ध स्ट्रीमिंग ट्रेडऑफ

  • विलंब, खर्च, विश्वासार्हता विचारसरणी

डेटा गुणवत्ता अभियांत्रिकी

प्रशासन आणि विश्वासाची रचना

प्लॅटफॉर्म विचारसरणी

संवाद (हो, खरंच)

  • स्पष्ट कागदपत्रे लिहिणे

  • व्याख्या संरेखित करणे

  • नम्रपणे पण ठामपणे "नाही" म्हणणे

  • रोबोटसारखे न वाटता तडजोड स्पष्ट करणे 🤖

जर तुम्ही हे करू शकलात, तर "एआय डेटा इंजिनिअर्सची जागा घेईल का?" हा प्रश्न कमी धोकादायक होईल. एआय तुमचा एक्सोस्केलेटन बनेल, तुमचा पर्याय नाही.

वास्तववादी परिस्थिती जिथे काही डेटा अभियांत्रिकी भूमिका कमी होतात 📉

ठीक आहे, झटपट वास्तव तपासा, कारण हे सर्व सूर्यप्रकाश आणि इमोजी कॉन्फेटी नाहीये 🎉

काही भूमिका अधिक उघड आहेत:

  • शुद्ध अंतर्ग्रहण-केवळ भूमिका जिथे सर्वकाही मानक कनेक्टर आहे फाइव्हट्रान कनेक्टर

  • कमीत कमी डोमेन सूक्ष्मतेसह बहुतेक पुनरावृत्ती होणारे रिपोर्टिंग पाइपलाइन करणारे संघ

  • ज्या संस्थांमध्ये डेटा अभियांत्रिकी "SQL माकड" म्हणून मानली जाते (कठोर, पण खरे)

  • कमी मालकीच्या भूमिका जिथे नोकरी फक्त तिकिटे आणि कॉपी-पेस्ट असते

एआय प्लस मॅनेज्ड टूलिंगमुळे त्या गरजा कमी होऊ शकतात.

पण तिथेही, बदली सहसा असे दिसते:

  • पुनरावृत्ती होणारे तेच काम करणारे कमी लोक

  • प्लॅटफॉर्म मालकी आणि विश्वासार्हतेवर अधिक भर

  • "एक व्यक्ती अधिक पाइपलाइनला आधार देऊ शकते" याकडे होणारा बदल

तर हो - कर्मचाऱ्यांची संख्या बदलू शकते. भूमिका बदलतात. पदव्या बदलतात. तो भाग खरा आहे.

तरीही, भूमिकेचे उच्च-मालकीचे, उच्च-विश्वासाचे रूप टिकून आहे.

शेवटचा सारांश 🧾✅

डेटा इंजिनिअर्सची जागा एआय घेईल का? लोकांच्या कल्पनेप्रमाणे स्वच्छ आणि संपूर्ण पद्धतीने नाही.

एआय करेल:

  • पुनरावृत्ती होणारी कामे स्वयंचलित करा

  • कोडिंग, डीबगिंग आणि दस्तऐवजीकरणाला गती द्या SQL dbt दस्तऐवजीकरणासाठी

  • पाइपलाइन उत्पादन खर्च कमी करणे

परंतु डेटा अभियांत्रिकी मुळात याबद्दल आहे:

एआय त्यात मदत करू शकते... पण ते "मालकीचे" नाही.

जर तुम्ही डेटा इंजिनिअर असाल, तर हा मार्ग सोपा आहे (सोपा नाही, पण सोपा आहे):
मालकी, गुणवत्ता, प्लॅटफॉर्म विचार आणि संवाद यावर लक्ष केंद्रित करा. महत्त्वाचे भाग हाताळताना एआयला बॉयलरप्लेट हाताळू द्या.

आणि हो - कधीकधी याचा अर्थ खोलीत प्रौढ असणे. आकर्षक नाही. शांतपणे शक्तिशाली असले तरी 😄

डेटा इंजिनिअर्सची जागा एआय घेईल का?
ते काही कामे बदलेल, शिडी बदलेल आणि सर्वोत्तम डेटा इंजिनिअर्सना आणखी मौल्यवान बनवेल. हीच खरी कहाणी आहे.

वारंवार विचारले जाणारे प्रश्न

एआय डेटा इंजिनिअर्सची पूर्णपणे जागा घेईल का?

बहुतेक संस्थांमध्ये, एआय ही भूमिका पूर्णपणे पुसून टाकण्यापेक्षा विशिष्ट कामे हाती घेण्याची शक्यता जास्त असते. ते एसक्यूएल ड्राफ्टिंग, पाइपलाइन स्कॅफोल्डिंग, डॉक्युमेंटेशन फर्स्ट पास आणि बेसिक टेस्ट क्रिएशनला गती देऊ शकते. परंतु डेटा अभियांत्रिकीमध्ये मालकी आणि जबाबदारी देखील असते, तसेच गोंधळलेल्या व्यवसाय वास्तवाला विश्वासार्ह प्रणालीसारखे वागवण्याचे अनग्लामर काम देखील असते. त्या भागांना अजूनही "योग्य" कसे दिसते हे ठरवण्यासाठी आणि गोष्टी बिघडल्यावर जबाबदारी घेण्याची आवश्यकता असते.

डेटा अभियांत्रिकीचे कोणते भाग एआय आधीच स्वयंचलित करत आहे?

पुनरावृत्ती करण्यायोग्य कामांमध्ये एआय सर्वोत्तम कामगिरी करते: एसक्यूएल ड्राफ्टिंग आणि रिफॅक्टरिंग, डीबीटी मॉडेल स्केलेटन जनरेट करणे, सामान्य त्रुटी स्पष्ट करणे आणि दस्तऐवजीकरण बाह्यरेखा तयार करणे. ते शून्य किंवा विशिष्टता तपासणी सारख्या चाचण्या देखील स्कॅफोल्ड करू शकते आणि ऑर्केस्ट्रेशन टूल्ससाठी टेम्पलेट "ग्लू" कोड जनरेट करू शकते. विजय हा गती आहे - तुम्ही कार्यरत समाधानाच्या जवळ सुरुवात करता - परंतु तरीही तुम्हाला शुद्धता सत्यापित करणे आणि ते तुमच्या वातावरणात बसते याची खात्री करणे आवश्यक आहे.

जर एआय एसक्यूएल आणि पाइपलाइन लिहू शकते, तर डेटा इंजिनिअर्ससाठी काय उरले आहे?

बरेच काही: डेटा कॉन्ट्रॅक्ट्स परिभाषित करणे, स्कीमा ड्रिफ्ट हाताळणे आणि पाइपलाइन्स अक्षम, निरीक्षण करण्यायोग्य आणि पुनर्प्राप्त करण्यायोग्य आहेत याची खात्री करणे. डेटा अभियंते मेट्रिक बदलांची तपासणी करण्यात, डाउनस्ट्रीम वापरकर्त्यांसाठी रेलिंग बांधण्यात आणि खर्च आणि विश्वासार्हता ट्रेडऑफ व्यवस्थापित करण्यात वेळ घालवतात. बहुतेकदा विश्वास निर्माण करणे आणि डेटा प्लॅटफॉर्म "शांत" ठेवणे, म्हणजे इतके स्थिर ठेवणे की कोणालाही दररोज त्याबद्दल विचार करावा लागत नाही.

डेटा इंजिनिअरच्या दैनंदिन कामात एआय कसा बदल घडवून आणतो?

हे सामान्यतः बॉयलरप्लेट आणि "लुकअप टाइम" कमी करते, त्यामुळे तुम्ही टाइपिंगमध्ये कमी वेळ घालवता आणि पुनरावलोकन, पडताळणी आणि डिझाइनिंगमध्ये जास्त वेळ घालवता. हे बदल सर्वकाही हाताने कोडिंग करण्याऐवजी अपेक्षा, गुणवत्ता मानके आणि पुन्हा वापरता येण्याजोगे नमुने परिभाषित करण्याकडे भूमिका बजावते. प्रत्यक्षात, तुम्ही उत्पादन, सुरक्षा आणि वित्त यासह अधिक भागीदारी कार्य कराल - कारण तांत्रिक आउटपुट तयार करणे सोपे होते, परंतु नियंत्रित करणे कठीण होते.

"सक्रिय वापरकर्ता" सारख्या अस्पष्ट व्यवसाय व्याख्यांसह एआयला का संघर्ष करावा लागतो?

कारण व्यवसायाचे तर्कशास्त्र स्थिर किंवा अचूक नसते - ते प्रकल्पाच्या मध्यभागी बदलते आणि भागधारकांनुसार बदलते. एआय अर्थ लावू शकते, परंतु जेव्हा व्याख्या विकसित होतात किंवा विरोधाभास होतात तेव्हा ते निर्णय घेऊ शकत नाही. डेटा अभियांत्रिकीमध्ये अनेकदा वाटाघाटी, गृहीतके दस्तऐवजीकरण आणि अस्पष्ट आवश्यकतांना टिकाऊ करारांमध्ये रूपांतरित करणे आवश्यक असते. टूलिंग सुधारले तरीही ही भूमिका अदृश्य होत नाही याचे मुख्य कारण म्हणजे "मानवी संरेखन" कार्य.

एआय डेटा प्रशासन, गोपनीयता आणि अनुपालनाचे काम सुरक्षितपणे हाताळू शकते का?

एआय धोरणे तयार करण्यास किंवा दृष्टिकोन सुचवण्यास मदत करू शकते, परंतु सुरक्षित अंमलबजावणीसाठी अजूनही वास्तविक अभियांत्रिकी आणि काळजीपूर्वक देखरेखीची आवश्यकता असते. प्रशासनात प्रवेश नियंत्रणे, पीआयआय हाताळणी, धारणा नियम, ऑडिट ट्रेल्स आणि कधीकधी निवासी मर्यादा यांचा समावेश असतो. ही उच्च-जोखीम क्षेत्रे आहेत जिथे "जवळजवळ योग्य" स्वीकार्य नाही. मानवांनी नियम डिझाइन केले पाहिजेत, अंमलबजावणीची पडताळणी केली पाहिजे आणि अनुपालन परिणामांसाठी जबाबदार राहिले पाहिजे.

एआय सुधारत असताना डेटा अभियंत्यांसाठी कोणती कौशल्ये मौल्यवान राहतात?

सिस्टमला लवचिक बनवणारी कौशल्ये: सिस्टम डिझाइन विचारसरणी, डेटा गुणवत्ता अभियांत्रिकी आणि प्लॅटफॉर्म-माइंडेड मानकीकरण. जेव्हा अधिक लोक डेटा आर्टिफॅक्ट्स जलद तयार करू शकतात तेव्हा करार, निरीक्षणक्षमता, घटना प्रतिसाद सवयी आणि शिस्तबद्ध मूळ कारण विश्लेषण आणखी महत्वाचे बनते. संवाद देखील एक फरक करणारा घटक बनतो - व्याख्या संरेखित करणे, स्पष्ट दस्तऐवज लिहिणे आणि नाटकाशिवाय ट्रेडऑफ स्पष्ट करणे हे डेटा विश्वासार्ह ठेवण्याचा एक मोठा भाग आहे.

एआय आणि मॅनेज्ड टूलिंगमुळे कोणत्या डेटा इंजिनिअरिंग भूमिकांना सर्वाधिक धोका आहे?

पुनरावृत्ती होणारे अंतर्ग्रहण किंवा मानक अहवाल पाइपलाइनवर केंद्रित भूमिका अधिक उघड होतात, विशेषतः जेव्हा व्यवस्थापित ELT कनेक्टर बहुतेक स्त्रोतांना व्यापतात. कमी-मालकीचे, तिकीट-चालित काम कमी होऊ शकते कारण AI आणि अ‍ॅबस्ट्रॅक्शन प्रत्येक पाइपलाइनवर प्रयत्न कमी करतात. परंतु हे सहसा कमी लोक पुनरावृत्ती होणारी कामे करत असल्याचे दिसते, "कोणताही डेटा अभियंता नाही" असे नाही. विश्वासार्हता, गुणवत्ता आणि विश्वास यावर केंद्रित उच्च-मालकीच्या भूमिका टिकाऊ राहतात.

गोंधळ निर्माण न करता मी एआयसह गिटहब कोपायलट किंवा डीबीटी सारखी साधने कशी वापरू शकतो?

एआय आउटपुटला निर्णय म्हणून नव्हे तर मसुदा म्हणून समजा. क्वेरी स्केलेटन तयार करण्यासाठी, वाचनीयता सुधारण्यासाठी किंवा स्कॅफोल्ड डीबीटी चाचण्या आणि दस्तऐवज तयार करण्यासाठी त्याचा वापर करा, नंतर वास्तविक डेटा आणि एज केसेसच्या विरूद्ध प्रमाणित करा. मजबूत परंपरांसह ते जोडा: करार, नामकरण मानके, निरीक्षणक्षमता तपासणी आणि पुनरावलोकन पद्धती. विश्वासार्हता, खर्च नियंत्रण किंवा प्रशासनाचा त्याग न करता जलद वितरण हे ध्येय आहे.

संदर्भ

  1. युरोपियन कमिशन - डेटा संरक्षण स्पष्ट केले: GDPR तत्त्वे - commission.europa.eu

  2. माहिती आयुक्त कार्यालय (ICO) - साठवणुकीची मर्यादा - ico.org.uk

  3. युरोपियन कमिशन - डेटा किती काळ ठेवता येतो आणि तो अपडेट करणे आवश्यक आहे का? - commission.europa.eu

  4. राष्ट्रीय मानके आणि तंत्रज्ञान संस्था (NIST) - गोपनीयता चौकट - nist.gov

  5. एनआयएसटी संगणक सुरक्षा संसाधन केंद्र (सीएसआरसी) - एसपी ८००-९२: संगणक सुरक्षा लॉग व्यवस्थापनासाठी मार्गदर्शक - csrc.nist.gov

  6. इंटरनेट सुरक्षा केंद्र (CIS) - ऑडिट लॉग व्यवस्थापन (CIS नियंत्रणे) - cisecurity.org

  7. स्नोफ्लेक डॉक्युमेंटेशन - रो अ‍ॅक्सेस पॉलिसीज - docs.snowflake.com

  8. गुगल क्लाउड डॉक्युमेंटेशन - बिगक्वेरी रो-लेव्हल सुरक्षा - docs.cloud.google.com

  9. बिटोल - ओपन डेटा कॉन्ट्रॅक्ट स्टँडर्ड (ओडीसीएस) v3.1.0 - बिटोल-आयओ.गीथब.आयओ

  10. बिटोल (गिटहब) - ओपन डेटा कॉन्ट्रॅक्ट स्टँडर्ड - github.com

  11. अपाचे एअरफ्लो - दस्तऐवजीकरण (स्थिर) - airflow.apache.org

  12. अपाचे एअरफ्लो - डीएजी (कोअर संकल्पना) - airflow.apache.org

  13. dbt लॅब्स डॉक्युमेंटेशन - dbt म्हणजे काय? - docs.getdbt.com

  14. dbt लॅब्स डॉक्युमेंटेशन - dbt मॉडेल्स बद्दल - docs.getdbt.com

  15. dbt लॅब्स डॉक्युमेंटेशन - डॉक्युमेंटेशन - docs.getdbt.com

  16. dbt लॅब्स दस्तऐवजीकरण - डेटा चाचण्या - docs.getdbt.com

  17. dbt लॅब्स डॉक्युमेंटेशन - dbt सिमेंटिक लेयर - docs.getdbt.com

  18. फाइव्हट्रान डॉक्युमेंटेशन - सुरुवात करणे - fivetran.com

  19. फाइव्हट्रान - कनेक्टर्स - fivetran.com

  20. AWS दस्तऐवजीकरण - AWS लॅम्बडा डेव्हलपर मार्गदर्शक - docs.aws.amazon.com

  21. गिटहब - गिटहब कोपायलट - github.com

  22. GitHub डॉक्स - GitHub Copilot सह तुमच्या IDE मध्ये कोड सूचना मिळवणे - docs.github.com

  23. मायक्रोसॉफ्ट लर्न - SQL साठी GitHub कोपायलट (VS कोड एक्सटेंशन) - learn.microsoft.com

  24. डायनाट्रेस डॉक्युमेंटेशन - डेटा निरीक्षणक्षमता - docs.dynatrace.com

  25. डेटा गॅलेक्सी - डेटा निरीक्षणक्षमता म्हणजे काय? - datagalaxy.com

  26. उत्तम अपेक्षांचे दस्तऐवजीकरण - अपेक्षांचा आढावा - docs.greatexpectations.io

अधिकृत एआय असिस्टंट स्टोअरमध्ये नवीनतम एआय शोधा

आमच्याबद्दल

ब्लॉगवर परत