एआय डेटा सेंटर म्हणजे काय? [व्हिडिओ आणि प्रश्नमंजुषा]

थोडक्यात उत्तर: एआय डेटा सेंटर ही एक उच्च-घनतेची जागा आहे, जिथे वीज, शीतकरण, पायाभूत सुविधा आणि स्टोरेज हे मॉडेल्सना प्रशिक्षित करण्यासाठी आणि सेवा देण्यासाठी तयार केलेले असतात; ती केवळ अतिरिक्त जीपीयू असलेली सर्व्हर रूम नसते. प्रसिद्धी चिप्सना मिळते; इमारत ठरवते. जर इमेजेस बाहेर पाठवता येत नसतील, तर एका लहान सेलमध्ये बदल करा; बहुतेक टीम्सनी भाड्याने जागा घ्यावी.

महत्वाचे मुद्दे:

चिप्स विरुद्ध रचना: पॉवर, कूलिंग, फॅब्रिक आणि स्टोरेज यांवरून ॲक्सिलरेटर काम करतील की नाही हे ठरते.

जागा महत्त्वाच्या, राजवाडे नव्हे: जेव्हा डेटा बाहेर जाऊ शकत नाही, तेव्हा दोन रॅक बसवा; संपूर्ण कॅम्पस विकत घेऊ नका.

मध्यमान विरुद्ध मध्यक: आठ फेऱ्यांनंतर, मध्यक पुन्हा सुरू होतो; १८-तासांचे मध्यमान वापरा.

गैरवापर प्रतिबंध: मिश्र हॉलमधील दोन रॅकसाठी PUE उद्धृत करू नका.

उदाहरणादाखल परिणाम: आठ फेऱ्यांमध्ये एक छोटा नकाशा तयार होतो, त्यामुळे उत्पादनात ५०% बचत होत नाही.

या लेखानंतर तुम्हाला वाचायला आवडतील असे लेख:

🔗 एआय विश्वसनीय आहे का? व्हिडिओ आणि क्विझ.
एका आकर्षक व्हिडिओ आणि संवादात्मक क्विझद्वारे एआयच्या विश्वासार्हतेबद्दल जाणून घ्या.

🔗 दैनंदिन जीवनात AI चा वापर कसा करावा?
AI दैनंदिन कामे आणि दिनचर्या कशा सोप्या करू शकते, याचे व्यावहारिक मार्ग जाणून घ्या.

🔗 कामाच्या ठिकाणी AI चा वापर कसा करावा?
कामाच्या ठिकाणी अधिक स्मार्ट उत्पादकतेसाठी AI वापरण्याचे व्यावहारिक मार्ग जाणून घ्या.

🔗 एआय स्वतः विचार करू शकते का?
कृत्रिम बुद्धिमत्ता खरोखरच स्वतंत्रपणे विचार करू शकते किंवा तर्क करू शकते का, हे समजून घ्या.

ते 'सामान्य' डेटा सेंटरपेक्षा कसे वेगळे आहे

पारंपारिक हॉल्स अनेक लहान सेवांमधील मिश्र वर्कलोड आणि अपटाइमसाठी अनुकूलित केलेले असतात. तुम्हाला रिडंडन्सीची काळजी असते, हे नक्की, आणि PUE या संकल्पनेचीही - म्हणजेच एक वॅट कम्प्युट पुरवण्यासाठी इमारतीला लागणारी अतिरिक्त ऊर्जा. तुम्ही सहसा प्रत्येक कॉरिडॉरची रचना अशा रॅकभोवती करत नाही, जो एखाद्या पोर्टेबल हीटर फार्मप्रमाणे काम करतो.

एआय साइट्स गुणोत्तरं उलटी करतात. घनता वाढते. नेटवर्क एक असे जाळे बनते, ज्याशिवाय प्रशिक्षणाचे काम अडखळत पुढे जाऊ शकत नाही. स्टोरेजला चेकपॉइंट्सना गतिमान ठेवावे लागते, नाहीतर ट्रॅफिक जॅममध्ये अडकलेल्या शर्यतीच्या घोड्यांप्रमाणे ॲक्सिलरेटर्स निष्क्रिय बसून राहतात.

सांस्कृतिक फरकही आहे. एंटरप्राइझ ऑप्स 'तिकिट्स' आणि 'चेंज विंडो'च्या स्वरूपात विचार करते. तर एआय ऑप्स 'जॉब क्यू'च्या स्वरूपात आणि दीर्घकाळात एखादा नोड बंद पडल्यावर होणाऱ्या त्रासाच्या भावनेच्या रूपात विचार करते. मला वाटतं, तुम्ही दोघांनाही 'डेटा सेंटर्स' म्हणू शकता, कारण ते तसे आहेतच. फक्त हे नाव त्यामागील अंतर्गत रचनेला लपवते.

ही नैतिक क्रमवारी नाही. वेगवेगळी यंत्रे, पण आडनाव एकच.

जीपीयू, अ‍ॅक्सिलरेटर आणि जास्त वीज वापरणारा रॅक

पारंपारिक उंच मजल्यावरून चालताना, रॅक अगदी सभ्य वाटतात. पण एआय (AI) रांगेतून चालताना मात्र, जणू काही त्यांना ही इमारतच गिळून टाकायची आहे, असे वाटते.

सर्वात लक्षवेधी हार्डवेअर म्हणजे एखादा हुशार सीपीयू नव्हे. तर ती आहे ॲक्सिलरेटर ट्रे: जीपीयू किंवा इतर एआय चिप्स, ज्या सर्व्हर्समध्ये, मग रॅक्समध्ये आणि त्यानंतर एका उच्च-बँडविड्थ फॅब्रिकचा वापर करणाऱ्या रांगांमध्ये बसवलेल्या असतात. जीपीयू इंटरकनेक्ट्स चिप्सना अशा प्रकारे जोडतात की ते एका विशाल ॲक्सिलरेटरचा आभास निर्माण करू शकते; क्लस्टर फॅब्रिक रांगांच्या स्तरावर हेच काम करते. समांतर प्रशिक्षण तेव्हाच यशस्वी होते, जेव्हा हे दुवे मजबूत आणि अंदाज करण्यायोग्य राहतात. जर ते गमावले, तर तुमचा "क्लस्टर" म्हणजे एकाच पोस्टकोडचा वापर करणाऱ्या महागड्या वर्कस्टेशन्सचा एक ढिगारा ठरतो.

वीज चिप्सच्या मागे येते. एखाद्या अवजड ऑफिस PDU च्या मागे नाही. एकदा हॉल भरला की आयटी लोड किती मेगावॅट्सचा असतो - मी कोणताही आकडा सांगणार नाही. प्रत्येक रॅकची घनता हेच खरे वळण आहे. रॅकची संख्या कमी. प्रत्येक रॅक म्हणजे एक छोटी भट्टीच. मर्यादा घालणारा घटक अनेकदा सबस्टेशन असतो, GPU ची इच्छासूची नव्हे. तुम्हाला माहीतच आहे: खरेदी विभागाला अधिक ॲक्सिलरेटर्स हवे असतात; तर वीज कंपनीला एक लांबलचक चर्चा आणि एक मोठा चेक हवा असतो.

एक किंचित वेडगळ रूपक माझ्या डोक्यातून जात नाही: रॅक हा एक भुकेला प्राणी आहे. तुम्ही त्याहून अधिक वेगवान प्राणी तयार करू शकता. पण तरीही तुम्हाला त्याला खायला घालावेच लागते आणि त्याची उष्णता साफ करावीच लागते. यापैकी एकही गोष्ट टाळल्यास, तो एक अत्यंत महागडा पेपरवेट बनतो.

शक्ती, उष्णता आणि शीतकरणाची समस्या

वीज आत. उष्णता बाहेर. हाच तर खरा धर्म आहे.

उच्च-घनतेचे रॅक अशा प्रकारे उष्णता बाहेर टाकतात, जे हाताळण्याची क्षमता हवेमध्ये कधीच नव्हती. तुम्ही हवेला अधिक जोराने ढकलू शकता - जसे की मागील दरवाजाचे उष्णता विनिमयक, अधिक उष्ण मार्गिका, कल्पक प्रतिबंध - आणि हे एका मर्यादेपर्यंतच काम करते. त्यानंतर द्रवाची भूमिका समोर येते:

• थेट चिप कूलिंग

• कूलंट लूप्स जे प्लांट रूमला एखाद्या केमिकल फॅक्टरीसारखे दिसवतात

• काही डिझाइन्समध्ये रमून जाणे, जे पाणी आणि सर्व्हर यांचा संबंध येऊ नये असे मानणाऱ्या लोकांना अजूनही चकित करते

यातलं काहीही आकर्षक नाही. हे सर्व उत्पादनच आहे, कारण थ्रॉटल देणारा ॲक्सिलरेटर हा असा असतो ज्यासाठी तुम्ही आधीच पैसे दिलेले असतात आणि त्याचा तुम्ही पूर्णपणे वापर करू शकत नाही.

PUE अजूनही महत्त्वाचा आहे. ते एक गुणोत्तर आहे, व्यक्तिमत्व नाही. ऑपरेटर त्याचा पाठलाग करतात कारण पंखे आणि पंपांवर खर्च केलेला प्रत्येक वॅट हा GPU कडे न गेलेला वॅट असतो. मी कोणताही "ठराविक" आकडा सांगणार नाही; हवामान आणि तुम्ही सीमा कशी आखता यावर ते अवलंबून असते, आणि बनावट अचूकता ही काहीच नसण्यापेक्षाही वाईट असते. या कथेत पाण्याचाही संबंध आहे. काही वनस्पती पाणी घोट घोट पितात, तर काही घोट घोट पितात. जोपर्यंत नदी किंवा दुष्काळामुळे त्याला राजकीय स्वरूप येत नाही, तोपर्यंत बाष्पीभवन शीतलीकरण कार्यक्षम असते

नेटवर्किंग: चिप्सइतकेच फॅब्रिक का महत्त्वाचे आहे

लोक जीपीयूचे फोटो काढतात. त्यांनी स्विचेसचेही फोटो काढायला हवेत.

प्रशिक्षण म्हणजे एक संवाद आहे. हजारो ॲक्सिलरेटर्स अत्यंत ताळमेळात ग्रेडियंट्स, पॅरामीटर्स आणि मॉडेलचे तुकडे यांची देवाणघेवाण करतात. जर नेटवर्कमध्ये अडथळा आला, तर संपूर्ण प्रक्रिया सर्वात धीम्या टप्प्यावर थांबते. म्हणूनच एआय क्षेत्रात उच्च-बँडविड्थ नेटवर्किंग, कमी विलंब आणि एखादी लिंक निकामी झाल्यास अर्धवट न तुटणाऱ्या रचनांवर विशेष लक्ष दिले जाते. इन्फिनिबँडसारख्या रचना, त्याच भूमिकेत इथरनेट, बॉक्सच्या आतच जीपीयू इंटरकनेक्ट्स आणि पहिल्याच प्रयत्नात अचूक असणारी केबलिंग.

अनुमान हा एक वेगळा विषय आहे. मॉडेल सर्व्हिंगला टेल लेटन्सीची (म्हणजेच धीम्या उत्तराची) काळजी असते, सरासरी उत्तराची नाही. बॅच विरुद्ध रिअल-टाइम हे दोन भिन्न स्वभाव दर्शवतात. ट्रेनिंग क्लस्टरला मोठी, एकत्रित आणि जवळपास सर्वांकडून सर्वांकडे होणारी हालचाल. तर सर्व्हिंग फ्लीटला लोड बॅलेंसरवर ट्रॅफिक जॅम न होता, अनेक लहान विनंत्या आणि आयसोलेशन हवे असते.

मी इथे बोलत असतानाच एक गोष्ट लक्षात घ्या: लोक नेटवर्कला नळजोडणी आणि चिप्सना रेस्टॉरंट समजतात. या इमारतीत नळजोडणी हेच रेस्टॉरंट आहे. ही गोष्ट लक्षात न आल्यास, तुम्ही असे स्वयंपाकघर विकत घेता जे डिलिव्हरी घेऊ शकत नाही.

प्रशिक्षण विरुद्ध अनुमान: दोन इमारती, कधीकधी अक्षरशः

प्रशिक्षण म्हणजे एक मोहीमच असते. तुम्ही एक क्लस्टर तयार करता, त्याला डेटा पुरवता, न चुकता चेकपॉईंट लावता, तासनतास किंवा आठवडे चालवता आणि प्रार्थना करता की संपूर्ण यंत्रणा कोणत्याही अडथळ्याविना कार्यरत राहील. हे सर्व बॅच-हेवी, जास्त बँडविड्थ वापरणारे आणि शांतपणे संयमी असते - जोपर्यंत एखादा अयशस्वी नोड या प्रक्रियेत अडथळा आणत नाही. एका घट्ट जोडलेल्या जॉबमधील एक बंद पडलेला ॲक्सिलरेटर संपूर्ण प्रक्रियेला थांबवू शकतो.

अनुमान म्हणजे एक दुकानच आहे. आधीच प्रशिक्षित केलेले मॉडेल्स आता प्रश्नांची उत्तरे देत आहेत, प्रतिमांचे वर्गीकरण करत आहेत आणि मजकूर तयार करत आहेत. विलंब महत्त्वाचा असतो. ग्राहकाजवळ असलेला थोडा जुना ॲक्सिलरेटरसुद्धा, खंडभर दूर असलेल्या एखाद्या आलिशान ॲक्सिलरेटरला हरवू शकतो.

त्यामुळे एक विभागणी होते. प्रशिक्षण केंद्रे वीज, जमीन आणि घनतेच्या मागे लागतात. तर अनुमान केंद्रे विलंब आणि उपस्थितीच्या मागे लागतात. संकरित सभागृहेसुद्धा अस्तित्वात आहेत, कारण भांडवल अमर्याद नसते. अर्थात, नेहमीच दोन इमारती नसतात. कधीकधी एकच सभागृह असते, ज्यात एक मखमली दोरी आणि दोन शीतकरण लूप असतात.

इथेच कोलोकेशन, हायपरस्केल कॅम्पस आणि ऑन-प्रेम यांचे विभाजन होते. हायपरस्केलर्स इतक्या मोठ्या प्रमाणावर बांधकाम करतात की त्यांच्यापुढे आपण फर्निचरची मांडणी करत आहोत असे वाटेल. कोलो रॅकनुसार घनता विकतात. जेव्हा डेटा बाहेर जाऊ शकत नाही, तेव्हा ऑन-प्रेमचा वापर होतो.

स्टोरेज थ्रुपुट, चेकपॉइंट्स आणि जास्त चिप्स

कोणीही पॅरलल फाइल सिस्टीम ब्रोशरच्या मुखपृष्ठावर ठेवत नाही.

प्रशिक्षण डेटा इतक्या वेगाने आला पाहिजे की जीपीयू (GPUs) धीमे चालणार नाहीत. चेकपॉइंट्स वेळेवर पोहोचले पाहिजेत, जेणेकरून क्रॅशमुळे एक आठवडा वाया जाणार नाही. सर्व्हिंग रेप्लिका लाइव्ह होण्यापूर्वी मॉडेलचे वेट्स लोड झाले पाहिजेत. केवळ क्षमताच नव्हे, तर स्टोरेज थ्रुपुट हा एक छुपा अडथळा आहे. तुम्ही ॲक्सिलरेटर्सवर अमाप पैसा खर्च करू शकता, पण व्हर्च्युअल मशिन्ससाठी डिझाइन केलेल्या एका सामान्य ॲरेने त्यांना अपुऱ्या संसाधनात ठेवू शकता.

हा प्रकार ओळखीचा आहे: एक चकचकीत क्लस्टर, एक जॉब क्यू, आणि एखाद्या उद्धट बिलाप्रमाणे समोर दिसणारी I/O वेटची रांग. डेटा पाथचे क्लस्टरिंग न करता कम्प्युटचे क्लस्टरिंग केल्यानेच एक अत्यंत महागडा आयडल (idle) मिळतो. चिप्सना सतत कार्यरत ठेवा किंवा तुम्ही एक शिल्प विकत घेतले आहे हे मान्य करा.

सॉफ्टवेअर, ऑर्केस्ट्रेशन आणि बिनआकर्षक ऑप्स लेयर

हार्डवेअर सेलिब्रिटी आहे. शेड्युलर काम करतात.

जर जॉब्सना जीपीयू (GPUs) मिळत नसतील, जर दोन टीम्स हाणामारीशिवाय एक क्लस्टर शेअर करू शकत नसतील, जर निकामी झालेली रँक बदलता येत नसेल, जर फर्मवेअरमध्ये हळूहळू बदल होत राहून फॅब्रिक हळूहळू निकामी होत असेल, तर एआय डेटा सेंटर निरुपयोगी ठरते. ऑर्केस्ट्रेशन, ऑब्झर्वेबिलिटी, पॉवर कॅपिंग - हा ऑप्स लेयरचा बिनमहत्वाचा भाग आहे, आणि याचमुळे त्याचे महत्त्व कळते.

या स्तराबद्दल माझ्या मनात एक विशेष आपुलकी आहे. तसेच, जेव्हा चुकीच्या पद्धतीने कॉन्फिगर केलेले NIC पूर्ण दुपारभर कूलिंगच्या समस्येचे सोंग करते... तेव्हा ही गोष्ट तुम्हाला कठीण अनुभवातूनच कळते.

जेव्हा एखादा नोड चालू असताना मध्येच बंद पडतो

एक नोड निकामी होतो. बदलाच्या वेळा अजूनही अशा प्रशिक्षण प्रक्रियांशी जुळतात, ज्यांना तुमच्या कॅलेंडरची पर्वा नसते. तुम्ही मोठी कामे एकाच वेळी शेड्यूल करता, इन्फरन्स पूल्सना कुंपण घालता, आणि सुरुवातीला 'काम हळू चालले आहे' असे वाटणाऱ्या अपयशांसाठी रनबुक्स लिहिता, जोपर्यंत ते 'काम पूर्णपणे थांबले आहे' असे दिसू लागत नाही. अतिरिक्त व्यवस्था (रिडंडन्सी) अजूनही महत्त्वाची आहे - वीजपुरवठा, शीतकरण, मार्ग, स्टोरेज - पण अपयशाची पद्धत ही जुन्या 'नऊ टक्के अपटाइम'च्या स्लाईडपेक्षा कमी सुव्यवस्थित आहे. इन्फरन्स: प्रतिकृती तयार करा, निकामी नोडमधील डेटा काढून टाका, आणि प्रतिसाद देत रहा. प्रशिक्षणाला चेकपॉईंट्सची गरज असते, आशावादाची नाही.

स्थान, पाणी, वीजपुरवठा आणि शेजारी

केवळ देखाव्यासाठी तुम्ही यापैकी एखादी वस्तू कुटीच्या शेजारी टाकत नाही.

ग्रिड कनेक्शन हीच अनेकदा खरी जागा निवडण्याची प्रक्रिया असते. सबस्टेशन आणि इतर ग्राहक असलेल्या युटिलिटीच्या तुलनेत जमीन मिळवणे सोपे असते. थंड करण्यासाठीचे पाणी, जर तुम्ही ते वापरत असाल, तर पाऊस अचानक सुरू होताच तो शेजाऱ्यांसाठी एक समस्या बनतो. गोंगाट. दृश्यात्मक अवजडपणा. कुंपणाजवळची उष्णता. नियोजन समित्यांना जेव्हा एखादे शेत आणि नदीची गरज भासते, तेव्हाच त्यांना 'क्लाउड'बद्दलची मते कळू लागतात.

लेटन्सी मात्र उलट परिणाम करते. इन्फरन्सला वापरकर्ते आणि इंटरकनेक्ट्सच्या जवळ असणे आवडते. ट्रेनिंग स्वस्त वीज बाजारपेठा आणि थंड हवामानात लपून राहू शकते. इंडस्ट्रीमध्ये असे बोलले जाते की जणू काही एकच परिपूर्ण साईट आहे. पण तसे नाही. प्रेस रिलीजच्या माध्यमातून एक तडजोड केली जाते.

उरलेली उष्णता आणि नको असलेला भट्टी

माहितीपत्रकांना हा भाग खूप आवडतो. वाया जाणारी उष्णता नळाद्वारे घरांमध्ये, जलतरण तलावांमध्ये, हरितगृहांमध्ये सोडावी; हे एक सुंदर वाक्य आहे. कधीकधी डिस्ट्रिक्ट लूप खरोखरच अस्तित्वात असतो. कधीकधी कॅम्पस चुकीच्या ठिकाणी असतो आणि उष्णता तरीही हवेतच जाते. मला माहितीपत्रकातील आवृत्तीबद्दल शंका आहे; पण भौतिकशास्त्राबद्दल नाही.

कोणाला याची गरज आहे (आणि कोणी त्याऐवजी भाड्याने घ्यावे)

बहुतेक लोकांना यापैकी एका हॉलची मालकी असण्याची गरज नसते.

स्पष्ट यादी:

• हायपरस्केलर्स, कारण उत्पादन म्हणजे फ्लीट आहे

• प्रयोगशाळा, जेव्हा रांगेत लागण्याचा वेळ ही अडचण ठरते, किंवा डेटा बाहेर जाऊ शकत नाही

• एखाद्या बँकेसाठी, रुग्णालयांच्या समूहासाठी, सरकारसाठी किंवा उत्पादकासाठी, गोपनीय डेटासेट - मग तो ऑन-प्रेम असो किंवा खाजगी कोलो केजमध्ये - ठेवणे तर्कसंगत ठरू शकते, जरी ते त्रासदायक असले तरी

बाकी सर्वांनी भाड्याने घ्यावे. एआय-सज्ज घनतेसह कोलोकेशन. क्लाउड रिझर्व्हेशन. एक व्यवस्थापित क्लस्टर. वीज-ऊर्जा केंद्राचे ऑपरेटर न बनताच तुम्हाला गतीवर्धक मिळतात. पहाटे ३ वाजता कूलंट लूपसाठी 'ऑन कॉल' कोण आहे, असे जेव्हा कोणी विचारते, तेव्हा त्यातील आकर्षण ओसरते.

मी कबूल करतो की, यात अभिमानाचा भाग आहे. हा समूह आपल्या मालकीचा असणं म्हणजे भविष्य वर्तवण्याच्या साधनांची मालकी असण्यासारखं वाटतं. मग विजेचं बिल येतं आणि तो अभिमान मावळतो.

इमारत कशासाठी आहे

तर, एआय डेटा सेंटर म्हणजे काय? हे एक विशेष, उच्च-घनतेचे कॅम्पस आहे, जिथे ॲक्सिलरेटर, वीजपुरवठा, शीतकरण, पायाभूत सुविधा आणि स्टोरेज हे प्रशिक्षण आणि सेवा मॉडेलनुसार आयोजित केलेले असतात - हे कोपऱ्यात फक्त एक जीपीयू असलेले सर्वसाधारण आयटी नसते. ते एखाद्या गोदामासारखे दिसते. पण त्याचे कार्य गणिते करणाऱ्या पॉवर स्टेशनसारखे असते.

बाकी काही नाही लक्षात ठेवा: प्रसिद्धी चिप्सना मिळते; त्या चिप्स वापरणे योग्य होते की नाही, हे सबस्टेशन, कूलंट आणि नेटवर्क ठरवतात. प्रशिक्षण आणि अनुमान एकाच छताखाली असू शकतात; तरीही त्यांची वागणूक वेगळी असते. बहुतेक संस्थांनी भाड्याने जागा घ्यावी. काहींनी स्वतः बांधावी. दोन्ही परिस्थितीत शेजाऱ्यांच्या लक्षात येईलच.

ढगाला नेहमीच एक इमारत होती. आजकाल त्या इमारतीला मते आहेत.

वास्तविक उदाहरण: दोन-रॅक प्रशिक्षण कक्ष, जिथे प्रतिमा बाहेर जाऊ शकत नाहीत

परिस्थिती

टॉमॉस हे वेस्ट मिडलँड्समधील ४०० कर्मचारी असलेल्या केस्ट्रेल प्रिसिजन या उत्पादन कंपनीत इन्फ्रास्ट्रक्चर लीड आहेत. त्यांच्याकडे आधीपासूनच एक लहान ऑन-प्रेम हॉल आहे: ईआरपी, फाईल शेअर्स, व्हर्च्युअल मशिन्स, म्हणजेच या लेखाच्या सुरुवातीला उल्लेख केलेला तो मिश्र परिसर. एअर कूलिंग. सामान्य इथरनेट. ऑफिस डिस्कसाठी अगदी योग्य असे सॅन (SAN).

मशीन-व्हिजन टीमला फॅक्टरीच्या स्टिल्सवर (छायाचित्रांवर) एक तपासणी मॉडेल प्रशिक्षित करायचे आहे. या स्टिल्स जागेच्या बाहेर नेता येणार नाहीत. त्या एक अशी प्रक्रिया दर्शवतात, जी कंपनी क्लाउड डिस्कवर, अगदी खाजगी डिस्कवरही, ठेवणार नाही. खरेदी विभागाचा उपाय म्हणजे चार ड्युअल-ॲक्सिलरेटर सर्व्हर्स आणि 'आमचे एआय डेटा सेंटर' नावाची एक स्लाईड. हे सर्व्हर्स आधीपासून असलेल्या दोन रॅक्समध्ये बसवले जातात, कारण तिथे जागा उपलब्ध आहे आणि जागेचीच अडचण जाणवत होती.

तसे नाही. पंधरवड्यातच जीपीयू व्यस्त असल्याचा आवाज करतात आणि मग हळूच त्यांची गती कमी होते. जेव्हा चेकपॉईंट सॅनवर पोहोचतो, तेव्हा जॉब्स अतिशय हळू चालतात. अकराव्या तासाला एक नोड बंद पडतो आणि रन... संपून जातो. टोमोसने चिप्स खरेदी करायला विसरलेला नाही. त्याने एकाच पोस्टकोडवर चालणारी अनेक महागडी वर्कस्टेशन्स विकत घेतली आहेत. ती इमारत अजूनही एक एंटरप्राइज हॉल होती.

त्यांना कॅम्पस, नवीन सबस्टेशन किंवा नदीची गरज नाही. त्यांना एका लहान सेलची गरज आहे, जो एका लहान एआय डेटा सेंटरप्रमाणे काम करेल: रॅकमध्ये खरोखर साठवता येईल इतकी वीज, चिप्स न जळता बाहेर पडणारी उष्णता, ट्रेनिंग जॉब ज्यावर संवाद साधू शकेल असे फॅब्रिक, चेकपॉईंट घेऊ शकणारे स्टोरेज आणि एखादा नोड निकामी झाल्यावर वापरण्यासाठी रनबुक. इमेजेस बाहेर जाऊ शकत नसल्यामुळे, चाळीस मिनिटांच्या अंतरावर कोलो केज भाड्याने घेणे हा त्यावरचा उपाय नाही. दोन रॅकचे रेट्रोफिटिंग करणे हाच त्यावरचा उपाय आहे.

पेशीला काय हवे आहे

• त्या रांगेसाठी, PDUs मधून ठरवलेले पॉवर बजेट, GPU च्या विशलिस्टमधून नाही. जर अतिरिक्त क्षमता ट्रेनिंग लोडवर असलेल्या चार सर्व्हर्सना पुरेशी नसेल, तर चर्चा तिथेच थांबते आणि ते चमत्काराऐवजी अधिक दाट कलरचा विचार करतात

• या घनतेवर हवा थंड करण्याचे काम कधीच अपेक्षित नव्हते: जर हॉलमध्ये जागा असेल तर मागच्या दाराचे हीट एक्सचेंजर, किंवा त्याऐवजी शक्य असल्यास एक लहान लिक्विड लूप. यापैकी काहीही नसल्यास, सर्व्हर आत ठेवले जात नाहीत

• चार नोड्सच्या दरम्यान एक समर्पित उच्च-बँडविड्थ फॅब्रिक, ऑफिस इथरनेट नव्हे. जर विक्रेत्याच्या कॅटलॉगमध्ये फक्त १० Gb स्विच असेल, तर तो क्लस्टर नाही

• चेकपॉईंट्स आणि ट्रेनिंग शार्ड्ससाठी स्थानिक वेगवान स्टोरेज, व्हीएम सॅन (VM SAN) नव्हे

• एक शेड्यूलर, एक चेकपॉईंट मध्यांतर, आणि एक लिखित रीस्टार्ट मार्ग. हार्डवेअर हेच मुख्य आहे. या लेयरचे काम आहे

• फॅक्टरी लाइनसाठी एक कुंपण घातलेला इन्फरन्स बॉक्स, जो ट्रेनिंग चॅटरपासून वेगळा असतो, कारण सर्व्हिंगला टेल लेटन्सी आणि आयसोलेशन हवे असते, सामूहिकता नव्हे

• पॉवर, जीपीयू क्लॉक्स, थ्रॉटल इव्हेंट्स आणि जॉब वॉल-क्लॉक लॉग करण्याची परवानगी. जर त्यांना ते तपासता आले नाही, तर ते जीपीयूचे फोटो काढतील आणि स्विचेसकडे त्यांचे दुर्लक्ष होईल

उदाहरण सूचना

टोमोस हे सुविधांच्या माहितीपत्रकात, सोप्या भाषेत मांडतो:

याला एआय कॅम्पस म्हणू नका. सध्याच्या हॉलमध्ये चार ड्युअल-ॲक्सिलरेटर सर्व्हर्ससाठी दोन-रॅकचा ट्रेनिंग सेल तयार करा. फॅक्टरी इमेजेस जागेवरच राहतील. यश म्हणजे: चारही नोड्स थर्मल थ्रॉटलशिवाय १२-इपॉकची इन्स्पेक्शन-ट्रेनिंग रेसिपी पूर्ण करतील, काही मिनिटांतच चेकपॉईंट तयार करतील, आणि जेव्हा आपण मुद्दामहून एखादी रँक कमी करू, तेव्हा त्याच चेकपॉईंटवरून पुन्हा काम सुरू करतील. कूलिंगमुळे जीपीयू त्यांच्या ट्रेनिंग क्लॉक्सवरच राहिले पाहिजेत. नेटवर्किंग हे त्या चारही बॉक्सेसनी एकत्र जोडलेले एक जाळे असले पाहिजे, ऑफिस स्टॅकमधून जाणारा केवळ एक मार्ग नसावा. स्टोरेजने चिप्सना डेटा पुरवला पाहिजे. जर मागील दरवाजाचे हीट एक्सचेंजर्स बसणार नसतील, तर तसे सांगा आणि काम थांबवा. मिश्र हॉलमधील दोन रॅक्ससाठी पीयूई (PUE) चा आकडा देऊ नका. तो आकडा निव्वळ देखावा ठरेल.

मग तो हे प्रत्यक्ष प्रशिक्षणाच्या कामातच समाविष्ट करतो:

प्रत्येक ३० मिनिटांनी लोकल फास्ट पूलवर चेकपॉईंट नोंदवा. जर एखादा रँक संपला, तर शेवटच्या पूर्ण केलेल्या चेकपॉईंटवरून पुन्हा सुरू करा. SAN वर थांबू नका. हीटमुळे क्लॉकची वेळ कमी झाली असताना ट्रेनिंग सुरू ठेवू नका. त्याची नोंद करा आणि थांबा, जेणेकरून आम्हाला तो अडथळा पाहता येईल.

एक चांगला तास असा असतो: आठही जीपीयू ट्रेनिंग क्लॉक्सवर असतात, चेकपॉईंट फाईल लँड झालेली असते, आणि जॉब अजूनही व्यवस्थित चालू असतो. एक वाईट तास असा असतो: फॅन्स पूर्ण वेगाने फिरत असतात, क्लॉक्स मंदावलेले असतात, दहा मिनिटांनंतर चेकपॉईंट २% लिहिला गेलेला असतो, आणि ऑफिसमधला कोणीतरी म्हणत असतो, "क्लस्टर सुरू आहे". सुरू असण्याचा अर्थ ट्रेनिंग नव्हे.

त्याची चाचणी कशी करावी

ते रेट्रोफिटच्या आधी चाचणी लिहितात, आणि डेमोवर विश्वास न ठेवण्यामागे हाच मुख्य उद्देश असतो.

• तीच १२-इपॉकची रेसिपी, तेच १,२०,००० इन्स्पेक्शन स्टिल्स, आठ रन्स

• जॉब सबमिट केल्यापासून ते इपॉक १२ च्या शेवटच्या चेकपॉईंटपर्यंत मोजलेली वेळ, कोणत्याही रीस्टार्टसह, पूर्ण झालेल्या रेसिपीसाठीची आहे

• उष्णतेच्या बाबतीत यशस्वी: रन दरम्यान GPU क्लॉक्स ट्रेनिंग टार्गेटवर स्थिर राहतात. जॉब अखेरीस पूर्ण झाला तरीही, थ्रॉटल इव्हेंट अयशस्वी मानला जातो

• जॉब लॉगमधील स्टोरेजची तपासणी: चेकपॉईंट लेखन वेळ, मध्यक आणि सर्वात वाईट

• कापडावरील एक पास: जोपर्यंत एखादे पद सुस्थितीत आहे, तोपर्यंत काम सामूहिक प्रतीक्षेत राहत नाही. जर त्यांना ती प्रतीक्षा दिसत नसेल, तर साधनसामग्रीची तयारी पूर्ण झालेली नाही

• रीस्टार्ट मार्गाची चाचणी घेण्यासाठी, आठपैकी दोन रन्समध्ये एका निश्चित टप्प्यावर मुद्दामहून एक रँक कमी केला जातो

• इन्फरन्स ही फॅक्टरी लाईनपासून ते फेन्स्ड सर्व्हिंग बॉक्सपर्यंतची २०० प्रतिमांची एक स्वतंत्र चाचणी आहे. प्रशिक्षणातील यश हे सर्व्हिंगमधील यश म्हणून गणले जात नाही

• ते PDU मधून रॅक पॉवर १५-मिनिटांच्या सॅम्पल्समध्ये रेकॉर्ड करतात, त्यामुळे कोणालाही मेगावॅटचा शोध लावण्याची गरज पडत नाही

सेलला "एआय-रेडी" म्हणण्याची स्वीकृती: ८ पैकी ८ रेसिपी पूर्ण होतात; ८ पैकी ० मध्ये थर्मल थ्रॉटल दिसते; बंद केलेले दोन्ही रन पुन्हा सुरू होतात; चेकपॉईंट्स मिनिटांमध्येच राहतात. जर त्यांच्याकडून हे चुकले, तरीही त्यांच्याकडे अत्याधुनिक ग्राफिक्स कार्ड्स असलेली एक सर्व्हर रूम आहे.

निकाल

हा एका काल्पनिक आठ-फेऱ्यांच्या चाचणीतून मिळालेला प्रातिनिधिक निकाल आहे, केस्ट्रेलने प्रकाशित केलेला आकडा नाही.

गृहितके: दोन रॅकमध्ये चार ड्युअल-ॲक्सिलरेटर सर्व्हर; एक तपासणी मॉडेल; १,२०,००० स्टिल्स; एका निश्चित १२-इपॉक रेसिपीच्या आठ फेऱ्या; रेसिपी पूर्ण होईपर्यंतच्या रीस्टार्टचा वॉल-क्लॉकमध्ये समावेश आहे; थ्रॉटल म्हणजे ट्रेनिंग क्लॉकमधून नोंदवलेली घट; चेकपॉईंटची वेळ ही लिहिलेली आहे, इच्छित नाही; रॅक पॉवर म्हणजे PDU सॅम्पल्स, कॅम्पस PUE नाही.

रेट्रोफिट करण्यापूर्वी, ऑफिस इथरनेट आणि व्हीएम सॅन (VM SAN) वरील सामान्य एअर-कूल्ड रॅकमधील जीपीयू (GPUs):

• ८ पैकी ५ फेऱ्या पहिल्याच प्रयत्नात पूर्ण झाल्या. त्या पाच फेऱ्यांमधील सरासरी एकूण वेळ: १४ तास

• सुमारे ११ व्या तासाला प्रक्रिया थांबल्यानंतर ८ पैकी ३ प्रक्रिया पुन्हा सुरू कराव्या लागल्या (दोन प्रक्रिया जुन्या चेकपॉईंटमुळे नोड बंद पडल्यानंतर, तर एक प्रक्रिया चेकपॉईंटने SAN भरल्यानंतर). तात्काळ पुन्हा प्रयत्न केला, घड्याळात रात्रभर वाट पाहिली नाही: ११ तास वाया गेले आणि त्यानंतर १४ तासांचा दुसरा प्रयत्न, म्हणजेच त्या तिन्ही प्रक्रियांमध्ये रेसिपी पूर्ण होण्यासाठी २५ तास लागले

• पुन्हा सुरू केलेल्या फेऱ्यांसह, आठही पाककृती पूर्ण करण्यासाठी लागलेल्या वेळेची सरासरी: १८ तास. (पाच पाककृतींसाठी १४, तर तीनसाठी २५ तास लागले. आठही पाककृतींचा मध्यक अजूनही १४ आहे, ज्यामुळे पुन्हा सुरू केलेल्या फेऱ्या लक्षात येणार नाहीत. म्हणूनच येथे सरासरी ही आधाररेषा मानली आहे.)

• ८ पैकी ७ प्रयत्नांमध्ये थर्मल थ्रॉटलची नोंद झाली. कमी केलेल्या घड्याळानुसार सरासरी वेळ: १४ तासांच्या प्रयत्नात ३ तास

• चेकपॉईंट लेखन: सरासरी २२ मिनिटे

• रँक-किल ही अशी परीक्षा नव्हती जी ते उत्तीर्ण करू शकले असते. त्यांच्याकडे रनबुक नव्हते. ते दोन अपघाती मृत्यू आढळले होते

• प्रशिक्षणादरम्यान दोन्ही रॅक्सवरील कमाल आयटी लोड: सुमारे १८ किलोवॅट. त्या रांगेत वॅट्स होते. त्यात कूलिंग किंवा फॅब्रिक नव्हते

त्या दोन रॅक्सवरील रिअर-डोअर हीट एक्सचेंजर्स, चार नोड्समधील एक समर्पित फॅब्रिक, चेकपॉईंट्ससाठी एक छोटा NVMe पूल, ३०-मिनिटांचे चेकपॉईंटिंग आणि एक रीस्टार्ट रनबुक यानंतर:

• ८ पैकी ८ पहिल्याच प्रयत्नात पूर्ण केले. सरासरी लागलेला वेळ: ९ तास

• थर्मल थ्रॉटल: ८ पैकी ०

• चेकपॉईंट लिहिण्याचा सरासरी वेळ ९० सेकंद. या गटातील सर्वात वाईट वेळ: ३ मिनिटे

• हेतुपुरस्सर केलेले दोन्ही रँक-किल शेवटच्या ३०-मिनिटांच्या चेकपॉईंटवरून पुन्हा सुरू झाले. त्या दोन रन्ससाठी अतिरिक्त वेळ नोंदवला गेला: निदानासह प्रत्येकी सुमारे ४० मिनिटे, त्यामुळे त्या दोन्ही रन्सचा एकूण वेळ जवळपास ९ तास ४० मिनिटे होता. आठही रन्सची सरासरी अजूनही ९ तास इतकीच येते

• आयटीचा कमाल भार अजूनही सुमारे १८ किलोवॅट आहे. चिप्स त्याच आहेत. पण इमारतीची कार्यपद्धती वेगळी आहे

या नमुन्यामध्ये, एक रेसिपी पूर्ण होण्यासाठी लागणारा सरासरी वेळ १८ तासांवरून ९ तासांवर आला, म्हणजेच प्रत्येक वेळी ९ तास, आणि आठ फेऱ्यांमध्ये एकूण ७२ तास लागले. पहिल्याच प्रयत्नात पूर्ण होण्याचे प्रमाण ८ पैकी ५ वरून ८ पैकी ८ झाले. थ्रॉटल ८ पैकी ७ वरून ८ पैकी ० वर आले. हा शेवटचा आकडाच सांगतो की त्यांनी वेगवर्धक विकत घेतले की पेपरवेट. ते वेळेतील या बदलाला उत्पादनातील ५०% बचत म्हणणार नाहीत. आठ फेऱ्या हा एक छोटा, सोपा संच आहे.

हे आकडे नमूद केलेल्या चाचणी, एक छोटा नमुना, एक मॉडेल आणि एका मिश्र हॉलवर आधारित एक उदाहरणात्मक अंदाज आहेत. हे PUE नाही, कॅम्पस मेगावॅट नाही, आणि केस्ट्रेलने मैदानावर प्रशिक्षण स्थळ उभारावे याचा हा पुरावा नाही. लॉग्सचे पुनरावलोकन ९ तासांच्या आत झाले; त्यांनी ते लपवले नाही. १८ किलोवॅटचा आकडा हा PDU चा अंदाजित आकडा आहे, युटिलिटी बिल नाही. त्यांनी ७२ तासांचे खर्चात रूपांतर केले नाही, कारण फॅक्टरीच्या मिश्रित वीज दरामुळे एक बनावट व्यावसायिक प्रस्ताव तयार झाला असता.

सर्व्हिंग चेक वेगळा आणि लहान होता: कुंपण घातलेल्या बॉक्समध्ये २०० लाइन इमेजेस, सर्व काही जागेवरच. हे अनुमान आहे, प्रशिक्षण नव्हे. या दोन्हींना एकत्र मिसळणे म्हणजे हायब्रीड-हॉलच्या चुकीचे एक छोटे रूप ठरले असते.

काय बिघडू शकतं?

• खरेदी विभाग चार सर्व्हर्सना 'एआय डेटा सेंटर' म्हणत आहे. हे नाव त्यामागील अंतर्गत रचना लपवते, आणि पुढची खरेदी त्याच जुन्या विभागासाठी आणखी जीपीयूंची आहे

• मागच्या बाजूचे एक्सचेंजर बसवले जातात आणि पाण्याच्या बाजूचे काम कोणीही सुरू करत नाही. चाहते अजूनही ओरडतात. घड्याळाचे काटे अजूनही खाली येतात

• फॅब्रिक हे एकच स्विच असून त्यात कोणताही अतिरिक्त मार्ग नाही. एक जरी लिंक निकामी झाली, तरी 'क्लस्टर'मध्ये पुन्हा चार वर्कस्टेशन्स तयार होतात

• चेकपॉईंट्स SAN वर राहतात कारण NVMe पूल "फेज टू" होता. पुढचा डेड नोड येण्यापूर्वी फेज टू येत नाही

• ते एका मिश्र हॉलमधील दोन रॅकसाठी PUE सांगतात. हवामान, सीमा आणि ERP रांगेतील उर्वरित घटक त्या गुणोत्तराला एक देखावा बनवतात

• प्रशिक्षण आणि सेवा हे अविभाज्य घटक आहेत. चेकपॉईंटवरील अतिरिक्त उत्पादनामुळे फॅक्टरी लाइनला थांबावे लागते. तिथे घनता नव्हे, तर टेल लेटन्सी हेच उत्पादन आहे

• एक नोड बंद पडतो आणि कोणीतरी त्याला चेकपॉईंट रीस्टार्ट करण्याऐवजी अपटाईम तिकीट म्हणून हाताळते. एंटरप्राइझ ऑप्स आणि एआय ऑप्स पूर्ण दुपारभर एकमेकांचे म्हणणे न ऐकता बोलत राहतात

• ते एक पिंजरा भाड्याने घेऊ शकले असते, पण प्रतिमांना बाहेर पडता येत नाही. ते बंधन विसरल्यामुळे ते एका अशा गूढ संभाषणात गुंततात, ज्यातून त्यांना बाहेर पडावे लागेल

व्यावहारिक निष्कर्ष

या स्वरूपातील एआय डेटा सेंटर म्हणजे एखादे गोदाम नाही आणि जीपीयूचे बिलही नाही. ती एक अशी जागा आहे जी ॲक्सिलरेटर्सना त्यांचे काम पूर्ण करू देते: जी ऊर्जा ते साठवू शकतात, जी उष्णता बाहेर टाकते, एक आधार, एक तपासणी केंद्र आणि जेव्हा एखादा खेळाडू निकामी होतो तेव्हा जबाबदारी सांभाळणारी व्यक्ती. केस्ट्रेलला कॅम्पसची गरज नव्हती. त्यांना दिखावा थांबवण्यासाठी फक्त दोन रॅक्सची गरज होती. बहुतेक संघांनी हीच वृत्ती अंगीकारली पाहिजे. काही मोजक्या संघांनी, ज्यांच्याकडे एक गुप्त डेटासेट आणि उष्णता सहन करू शकणारी जागा आहे, त्यांनी एक स्वतंत्र जागा तयार करून दिखाव्याला नकार दिला पाहिजे.

वारंवार विचारले जाणारे प्रश्न

एआय डेटा सेंटर म्हणजे काय?

एक उच्च-घनतेचे संगणकीय केंद्र, जिथे वीज, शीतकरण, नेटवर्किंग आणि स्टोरेज हे सर्वसाधारण सर्व्हर्सच्या सुव्यवस्थित रांगांऐवजी, समांतर प्रशिक्षण आणि मॉडेल सर्व्हिंगवर केंद्रित केलेले असते. याची रचना अशा प्रकारे केली आहे की, प्रचंड संख्येने असलेले ॲक्सिलरेटर्स वितळल्याशिवाय, नेटवर्कवर अडकल्याशिवाय किंवा डिस्कवर वाट पाहिल्याशिवाय मॉडेल्सना प्रशिक्षित करू शकतील आणि सर्व्ह करू शकतील. एक सामान्य एंटरप्राइझ हॉल हा एक मिश्र परिसर असतो. एआय हॉल ही एक एकसंस्कृती आहे, जिचे मूल्य एकक ॲक्सिलरेटर असते, जसे की जीपीयू किंवा टीपीयू-शैलीतील चिप्स. ते दिसायला एखाद्या गोदामासारखे असते आणि गणिते करणाऱ्या पॉवर स्टेशनसारखे वागते.

एआय डेटा सेंटर सामान्य डेटा सेंटरपेक्षा कसे वेगळे असते?

पारंपारिक डेटा सेंटर्स अनेक लहान सेवांमधील मिश्र वर्कलोड आणि अपटाइमसाठी अनुकूलित असतात. एआय साइट्स हे प्रमाण उलट करतात: घनता वाढते, नेटवर्क एक असे जाळे बनते ज्याशिवाय ट्रेनिंग जॉब अडखळू शकत नाही, आणि स्टोरेजला चेकपॉइंट्स सतत कार्यरत ठेवावे लागतात, नाहीतर अॅक्सिलरेटर्स निष्क्रिय राहतात. एंटरप्राइझ ऑपरेशन्स तिकीट्स आणि चेंज विंडोच्या दृष्टीने विचार करतात. तर एआय ऑपरेशन्स जॉब क्यूजच्या दृष्टीने आणि दीर्घकाळ चालणाऱ्या कामाच्या शेवटी एखादा नोड बंद पडल्यावर होणाऱ्या अस्वस्थतेच्या भावनेने विचार करतात. तुम्ही तरीही दोघांनाही डेटा सेंटर्स म्हणू शकता. हे नाव फक्त अंतर्गत रचनेला लपवते.

एआय डेटा सेंटर्स इतकी वीज का वापरतात?

सर्वात लक्षवेधी हार्डवेअर म्हणजे एखादा हुशार सीपीयू नव्हे. तर ती आहे ॲक्सिलरेटर ट्रे: जीपीयू किंवा इतर एआय चिप्स, ज्या सर्व्हर्समध्ये, मग रॅक्समध्ये आणि त्यानंतर उच्च-बँडविड्थ फॅब्रिक सामायिक करणाऱ्या रांगांमध्ये बसवलेल्या असतात. प्रत्येक रॅकमधील घनता हेच यातील मुख्य वैशिष्ट्य आहे: रॅक्सची संख्या कमी, पण प्रत्येक रॅक म्हणजे एक छोटी भट्टीच. एकदा हॉल पूर्ण भरला की मेगावॅट्सचा आयटी लोड दिसून येतो, पण त्याचा एक ठराविक आकडा सांगणे फायद्याचे नाही. मर्यादा घालणारा घटक अनेकदा सबस्टेशन असतो, जीपीयूंची इच्छासूची नव्हे.

एआय डेटा सेंटर्सना थंड कसे केले जाते?

उच्च-घनतेचे रॅक अशा प्रकारे उष्णता बाहेर टाकतात, जे काम हवेने करणे कधीच अपेक्षित नव्हते. तुम्ही मागील दरवाजाचे हीट एक्सचेंजर, अधिक उष्ण मार्गिका आणि हुशारीने केलेल्या नियंत्रणाद्वारे हवेला अधिक जोराने ढकलू शकता. मग द्रवरूप तंत्रज्ञान समोर येते: डायरेक्ट-टू-चिप कूलिंग, कूलंट लूप्स आणि काही डिझाइनमध्ये इमर्शन. जो ॲक्सिलरेटर (गती कमी करणारा घटक) गतीला मर्यादित करतो, तो असा असतो ज्यासाठी तुम्ही आधीच पैसे दिलेले असतात आणि त्याचा तुम्ही पूर्णपणे वापर करू शकत नाही. PUE (पॉवर युसेज एफिशियन्सी) अजूनही महत्त्वाचा आहे, कारण पंखे आणि पंपांवर खर्च केलेला प्रत्येक वॅट हा GPU पर्यंत न पोहोचलेला एक वॅट असतो. या कथेत पाण्याचाही समावेश आहे: काही वनस्पती पाणी घोट घोट पितात, तर काही घोट गिळतात.

नेटवर्किंग हे जीपीयूइतकेच महत्त्वाचे का आहे?

प्रशिक्षण म्हणजे एक संवाद आहे: हजारो ॲक्सिलरेटर्स अत्यंत सुसंगतपणे ग्रेडियंट्स, पॅरामीटर्स आणि मॉडेलचे तुकडे यांची देवाणघेवाण करतात. जर फॅब्रिकमध्ये अडथळा आला, तर संपूर्ण प्रक्रिया सर्वात धीम्या टप्प्यावर थांबते. म्हणूनच एआय क्षेत्रात उच्च-बँडविड्थ नेटवर्किंग, कमी विलंब, इन्फिनिबँडसारखे फॅब्रिक्स किंवा त्याच भूमिकेतील इथरनेट, आणि एखादी लिंक निकामी झाल्यास अर्धवट न तुटणाऱ्या टोपोलॉजीवर भर दिला जातो. इन्फरन्समध्ये टेल लेटन्सी, अनेक लहान विनंत्या आणि आयसोलेशन या गोष्टी महत्त्वाच्या असतात. या इमारतीत नळजोडणी हेच रेस्टॉरंट आहे.

एआय डेटा सेंटरचा उपयोग कशासाठी होतो: प्रशिक्षणासाठी की अनुमानासाठी?

प्रशिक्षण ही एक मोहीम आहे: एक क्लस्टर तयार करा, त्याला डेटा द्या, नियमितपणे तपासणी करा आणि तासनतास किंवा आठवडे चालवा. अनुमान प्रक्रिया ही एक प्रत्यक्ष दुकानासारखी आहे: आधीच प्रशिक्षित केलेले मॉडेल्स, आता प्रतिसाद देत आहेत, आणि यात विलंब महत्त्वाचा असतो. प्रशिक्षण केंद्रे वीज, जमीन आणि घनतेच्या मागे लागतात. अनुमान केंद्रे विलंब आणि उपस्थितीच्या मागे लागतात. संकरित हॉल्स अस्तित्वात आहेत कारण भांडवल अमर्याद नसते, कधीकधी एकाच हॉलमध्ये दोन कूलिंग लूप्स असतात. ग्राहकाच्या जवळ असलेला थोडा जुना ॲक्सिलरेटर, एका खंडापलीकडील आलिशान ॲक्सिलरेटरला मात देऊ शकतो.

एआय डेटा सेंटरमध्ये स्टोरेज का महत्त्वाचे असते?

प्रशिक्षण डेटा इतक्या वेगाने आला पाहिजे की जीपीयू (GPUs) धीमे चालणार नाहीत. चेकपॉइंट्स वेळेवर पोहोचले पाहिजेत, जेणेकरून क्रॅशमुळे एक आठवडा वाया जाणार नाही. सर्व्हिंग रेप्लिका लाइव्ह होण्यापूर्वी मॉडेलचे वेट्स लोड झाले पाहिजेत. केवळ क्षमता नव्हे, तर स्टोरेज थ्रुपुट हाच खरा छुपा अडथळा आहे. तुम्ही ॲक्सिलरेटर्सवर अमाप पैसा खर्च करू शकता, पण व्हर्च्युअल मशिन्ससाठी डिझाइन केलेल्या एका सामान्य ॲरेने त्यांना अपुऱ्या संसाधनात ठेवू शकता.

रन चालू असताना एखादा नोड बंद पडल्यास काय होते?

एका घट्ट जोडलेल्या ट्रेनिंग जॉबमधील एक जरी ॲक्सिलरेटर बंद पडला, तरी संपूर्ण प्रक्रिया थांबू शकते. ट्रेनिंगला चेकपॉइंट्सची गरज असते, आशावादाची नाही. इन्फरन्स खराब नोडची ऊर्जा वापरतो, त्याच्या प्रतिकृतीला प्रतिसाद देत ठेवतो आणि कार्यरत राहतो. बदलाच्या वेळा अजूनही अशा ट्रेनिंग रनशी जुळतात, ज्यांना तुमच्या कॅलेंडरची पर्वा नसते. वीज, शीतलीकरण, पाथ्स आणि स्टोरेजसाठी रिडंडन्सी अजूनही महत्त्वाची आहे, परंतु अपयशाची पद्धत ही जुन्या 'नऊ टक्के अपटाइम'च्या स्लाईडपेक्षा कमी सुस्पष्ट आहे.

एआय डेटा सेंटरचा ग्रीड, पाणी आणि शेजाऱ्यांवर काय परिणाम होतो?

ग्रिड कनेक्शन हीच अनेकदा खरी जागा निवडण्याची प्रक्रिया असते. सबस्टेशन आणि इतर ग्राहक असलेल्या युटिलिटीच्या तुलनेत जमीन मिळवणे सोपे असते. जर तुम्ही थंड करण्यासाठी पाणी वापरत असाल, तर जोरदार पाऊस सुरू होताच ते शेजाऱ्यांसाठी एक समस्या बनते, त्याचबरोबर कुंपणाजवळ होणारा गोंगाट, दृश्य अडथळा आणि उष्णता यांचाही प्रश्न निर्माण होतो. प्रशिक्षण स्वस्त वीज बाजारपेठा आणि थंड हवामानात लपून राहू शकते. अनुमानाला वापरकर्त्यांच्या जवळ असणे आवडते. कोणतीही एक परिपूर्ण जागा नसते. प्रसिद्धीपत्रकासोबत एक तडजोड करावी लागते.

माझ्या मालकीचे एआय डेटा सेंटर असणे आवश्यक आहे का, की ते भाड्याने घ्यावे?

बहुतेक लोकांना यापैकी एका हॉलची मालकी असण्याची गरज नसते. हायपरस्केलर्स उभारणी करतात कारण त्यांचे उत्पादन म्हणजे संपूर्ण फ्लीट असते. जेव्हा रांगेतील प्रतीक्षा वेळ ही अडचण ठरते किंवा डेटा बाहेर पाठवता येत नाही, तेव्हा लॅब्स उभारणी करतात. एखादी बँक, रुग्णालय, सरकार किंवा उत्पादक, ज्यांच्याकडे गोपनीय डेटासेट आहे, त्यांच्यासाठी ऑन-प्रेम किंवा खाजगी कोलो केज वापरणे तर्कसंगत ठरू शकते. बाकी सर्वांनी भाड्याने घ्यावे: एआय-रेडी कोलोकेशन, क्लाउड रिझर्व्हेशन किंवा मॅनेज्ड क्लस्टर. वीज प्रकल्प ऑपरेटर न बनता तुम्हाला ॲक्सिलरेटर्स मिळतात.

संदर्भ

1. आयईए - www.iea.org

2. LBNL - datacenters.lbl.gov

3. द ग्रीन ग्रिड - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. अपटाइम इन्स्टिट्यूट - journal.uptimeinstitute.com

7. एनव्हिडिया - developer.nvidia.com

8. एनव्हिडिया - docs.nvidia.com

9. एनव्हिडिया - docs.nvidia.com

10. एनव्हिडिया - docs.nvidia.com

11. गुगल क्लाउड - docs.cloud.google.com

अधिकृत एआय असिस्टंट स्टोअरमध्ये नवीनतम एआय शोधा

आमच्याबद्दल