थोडक्यात उत्तर: एआय ट्रेनिंगसाठी एनव्हिडिया जीपीयू (NVIDIA GPUs) वापरताना, सर्वप्रथम nvidia-smi वापरून ड्रायव्हर आणि जीपीयू दिसत असल्याची खात्री करा , त्यानंतर एक सुसंगत फ्रेमवर्क/CUDA स्टॅक इन्स्टॉल करा आणि एक छोटी “मॉडेल + बॅच ऑन CUDA” चाचणी चालवा. मेमरी संपल्यास, बॅचचा आकार कमी करा आणि मिक्स्ड प्रिसिजन वापरा, तसेच वापर, मेमरी आणि तापमानावर लक्ष ठेवा.
महत्वाचे मुद्दे:
बेसलाइन तपासणी: nvidia-smi; फ्रेमवर्क स्थापित करण्यापूर्वी ड्रायव्हर दृश्यमानता निश्चित करा.
स्टॅक सुसंगतता: क्रॅश आणि ठिसूळ इंस्टॉलेशन टाळण्यासाठी ड्रायव्हर, CUDA रनटाइम आणि फ्रेमवर्क आवृत्त्या संरेखित ठेवा.
लहान यश: प्रयोग वाढवण्यापूर्वी CUDA वर एकच फॉरवर्ड पास चालतो याची खात्री करा.
व्हीआरएएम विषय: मोठ्या मॉडेल्समध्ये बसण्यासाठी मिश्रित अचूकता, ग्रेडियंट संचय आणि चेकपॉइंटिंगवर अवलंबून रहा.
देखरेखीची सवय: वापर, मेमरी पॅटर्न, पॉवर आणि तापमान यांचा मागोवा घ्या जेणेकरून तुम्हाला अडथळे लवकर लक्षात येतील.
या लेखानंतर तुम्हाला वाचायला आवडतील असे लेख:
🔗 एआय एजंट कसा तयार करायचा
तुमच्या एजंटचा वर्कफ्लो, टूल्स, मेमरी आणि सेफ्टी गार्ड डिझाइन करा.
🔗 एआय मॉडेल्स कसे तैनात करायचे
वातावरण, पॅकेज मॉडेल्स सेट करा आणि उत्पादनासाठी विश्वसनीयरित्या पाठवा.
🔗 एआय कामगिरी कशी मोजायची
मेट्रिक्स निवडा, मूल्यांकन करा आणि कालांतराने कामगिरीचा मागोवा घ्या.
🔗 एआय वापरून कामे कशी स्वयंचलित करायची
प्रॉम्प्ट, वर्कफ्लो आणि इंटिग्रेशनसह पुनरावृत्ती होणारे काम स्वयंचलित करा.
१) मोठे चित्र - जेव्हा तुम्ही "GPU वर प्रशिक्षण घेता" तेव्हा तुम्ही काय करत आहात 🧠⚡
जेव्हा तुम्ही AI मॉडेल्सना प्रशिक्षित करता, तेव्हा तुम्ही प्रामुख्याने प्रचंड प्रमाणात मॅट्रिक्स गणित करत असता. GPUs अशा प्रकारच्या समांतर कामासाठीच बनवलेले आहेत, त्यामुळे PyTorch, TensorFlow आणि JAX सारखे फ्रेमवर्क्स हे अवघड काम GPU वर सोपवू शकतात. (PyTorch CUDA डॉक्स, TensorFlow इन्स्टॉल (pip), JAX क्विकस्टार्ट)
प्रत्यक्षात, "प्रशिक्षणासाठी NVIDIA GPU वापरणे" म्हणजे सहसा:
-
तुमचे मॉडेल पॅरामीटर्स (बहुतेक) GPU VRAM मध्ये राहतात
-
तुमचे बॅचेस प्रत्येक टप्प्यावर RAM वरून VRAM वर हलवले जातात
-
तुमचा फॉरवर्ड पास आणि बॅकप्रॉप CUDA कर्नलवर चालतात (CUDA प्रोग्रामिंग मार्गदर्शक)
-
तुमचे ऑप्टिमायझर अपडेट्स GPU वर होतात (आदर्शपणे)
-
तुम्ही तापमान, मेमरी आणि वापर यावर लक्ष ठेवता, जेणेकरून तुम्ही काहीही जास्त वापरणार नाही 🔥 (NVIDIA nvidia-smi docs)
जर ते खूप वाटत असेल तर काळजी करू नका. ही बहुतेक एक चेकलिस्ट आणि कालांतराने तुम्ही बनवलेल्या काही सवयी आहेत.
२) NVIDIA GPU AI प्रशिक्षण सेटअपची चांगली आवृत्ती काय बनवते 🤌
हा ‘अस्थिर पायावर घर बांधू नका’ असा विभाग आहे. एआय ट्रेनिंगसाठी एनव्हीडिया जीपीयू कसे वापरावे तो असतो जो कमी-तणावपूर्ण असतो. कमी-तणावपूर्ण म्हणजे स्थिर. स्थिर म्हणजे वेगवान. वेगवान म्हणजे... बरं, वेगवानच 😄
एका ठोस प्रशिक्षण सेटअपमध्ये सहसा हे असते:
-
तुमच्या बॅच आकार + मॉडेल + ऑप्टिमायझर स्थितीसाठी पुरेसे VRAM
-
व्हीआरएएम ही सुटकेस जागेसारखी आहे. तुम्ही अधिक स्मार्ट पॅक करू शकता, पण तुम्ही अनंत पॅक करू शकत नाही.
-
-
जुळणारा सॉफ्टवेअर स्टॅक (ड्रायव्हर + CUDA रनटाइम + फ्रेमवर्क सुसंगतता) (PyTorch प्रारंभ करा (CUDA निवडकर्ता), TensorFlow स्थापना (pip))
-
जलद स्टोरेज (मोठ्या डेटासेटसाठी NVMe खूप मदत करते)
-
चांगला CPU + RAM जेणेकरून डेटा लोडिंगमुळे GPU वर ताण येणार नाही (पायटॉर्च परफॉर्मन्स ट्युनिंग गाईड)
-
कूलिंग आणि पॉवर हेडरुम (जोपर्यंत कमी लेखले जात नाही तोपर्यंत 😬)
-
पुनरुत्पादनीय वातावरण (venv/conda किंवा कंटेनर्स) जेणेकरून अपग्रेडमुळे गोंधळ निर्माण होणार नाही (एनव्हिडिया कंटेनर टूलकिटचा आढावा)
आणि आणखी एक गोष्ट जी लोक वगळतात:
-
एक देखरेखीची सवय - तुम्ही गाडी चालवताना आरसे तपासता तसे GPU मेमरी आणि वापर तपासता. (NVIDIA nvidia-smi docs)
३) तुलना सारणी - NVIDIA GPU सह प्रशिक्षण देण्याचे लोकप्रिय मार्ग (विचित्रतेसह) 📊
खाली "कोणते योग्य आहे?" अशी एक छोटीशी चीट शीट आहे. किंमती खूपच अनियमित आहेत (कारण वास्तव बदलते), आणि हो, यापैकी एक सेल मुद्दामहून थोडा जास्त आहे.
| साधन / दृष्टिकोन | साठी सर्वोत्तम | किंमत | ते का काम करते (बहुतेक) |
|---|---|---|---|
| पायटॉर्च (व्हॅनिला) पायटॉर्च | बहुतेक लोक, बहुतेक प्रकल्प | मोफत | लवचिक, प्रचंड परिसंस्था, सोपी डीबगिंग - तसेच प्रत्येकाची मते आहेत |
| पायटॉर्च लाइटनिंग लाइटनिंग डॉक्स | संघ, संरचित प्रशिक्षण | मोफत | बॉयलरप्लेट कमी करते, लूप स्वच्छ करते; कधीकधी "जादू" वाटते, जोपर्यंत ते तसे करत नाही |
| हगिंग फेस ट्रान्सफॉर्मर्स + ट्रेनर ट्रेनर डॉक्स | एनएलपी + एलएलएम फाइन-ट्यूनिंग | मोफत | बॅटरी-समावेश प्रशिक्षण, उत्तम डिफॉल्ट, जलद विजय 👍 |
| अॅक्सिलरेट अॅक्सिलरेट डॉक्स | वेदनारहित मल्टी-जीपीयू | मोफत | डीडीपी कमी त्रासदायक बनवते, सर्वकाही पुन्हा न लिहिता स्केलिंग करण्यासाठी चांगले |
| डीपस्पीड झीरो डॉक्स | मोठे मॉडेल्स, मेमरी ट्रिक्स | मोफत | झीरो, ऑफलोड, स्केलिंग - क्लिक केल्यावर ते अवघड पण समाधानकारक असू शकते |
| टेन्सरफ्लो + केरास टीएफ इंस्टॉलेशन | उत्पादन-प्रक्रिया पाइपलाइन | मोफत | मजबूत टूलिंग, चांगली तैनाती कथा; काही लोकांना ते आवडते, काहींना ते आवडत नाही |
| JAX + फ्लॅक्स JAX क्विकस्टार्ट / फ्लॅक्स डॉक्स | संशोधन + स्पीड नर्ड्स | मोफत | XLA संकलन खूपच जलद असू शकते, परंतु डीबगिंग...अमूर्त वाटू शकते |
| NVIDIA NeMo NeMo आढावा | भाषण + एलएलएम वर्कफ्लो | मोफत | NVIDIA-ऑप्टिमाइझ केलेला स्टॅक, चांगल्या पाककृती - एखाद्या फॅन्सी ओव्हनमध्ये स्वयंपाक केल्यासारखे वाटते 🍳 |
| डॉकर + एनव्हीआयडीए कंटेनर टूलकिट टूलकिटचा आढावा | पुनरुत्पादनक्षम वातावरण | मोफत | "माझ्या मशीनवर काम करते" हे "आमच्या मशीनवर काम करते" बनते (बहुतेकदा, पुन्हा) |
४) पहिले पाऊल - तुमचा GPU योग्यरित्या दिसत आहे का ते तपासा 🕵️♂️
डझनभर गोष्टी बसवण्यापूर्वी, मूलभूत गोष्टी पडताळून पहा.
तुम्हाला ज्या गोष्टी खऱ्या हव्या आहेत:
-
मशीन GPU पाहते
-
NVIDIA ड्राइव्हर योग्यरित्या स्थापित केलेला आहे
-
GPU दुसरे काही करण्यात अडकलेले नाही
-
तुम्ही ते विश्वसनीयरित्या क्वेरी करू शकता
क्लासिक चेक असा आहे:
-
एनव्हीआयडीएएनव्हीआयडीए-एसएमआय डॉक्स)
तुम्ही काय शोधत आहात:
-
GPU नाव (उदा., RTX, A-मालिका, इ.)
-
ड्रायव्हर आवृत्ती
-
मेमरी वापर
-
चालू असलेल्या प्रक्रिया (NVIDIA nvidia-smi डॉक्स)
जर nvidia-smi अयशस्वी झाले, तर तिथेच थांबा. लगेच फ्रेमवर्क्स इन्स्टॉल करू नका. हे म्हणजे ओव्हनला प्लग न लावता पाव भाजण्याचा प्रयत्न करण्यासारखे आहे. (एनव्हीडिया सिस्टम मॅनेजमेंट इंटरफेस (NVSMI))
एक छोटीशी मानवी नोंद: कधीकधी nvidia-smi काम करते, पण तरीही तुमचे ट्रेनिंग अयशस्वी होते, कारण तुमच्या फ्रेमवर्कद्वारे वापरला जाणारा CUDA रनटाइम ड्रायव्हरच्या अपेक्षांशी जुळत नाही. यात तुमचा काही दोष नाही. ते… असंच असतं 😭 (PyTorch Get Started (CUDA selector), TensorFlow install (pip))
५) सॉफ्टवेअर स्टॅक तयार करा - ड्रायव्हर्स, CUDA, cuDNN आणि "कॉम्पॅटिबिलिटी डान्स" 💃
इथेच लोक तास वाया घालवतात. युक्ती अशी आहे: एक मार्ग निवडा आणि त्यावर चिकटून राहा.
पर्याय अ: फ्रेमवर्क-बंडल्ड CUDA (बहुतेकदा सर्वात सोपा)
अनेक PyTorch बिल्ड्स त्यांच्या स्वतःच्या CUDA रनटाइमसह येतात, म्हणजेच तुम्हाला संपूर्ण सिस्टममध्ये एक पूर्ण CUDA टूलकिट इन्स्टॉल करण्याची आवश्यकता नाही. तुम्हाला मुख्यतः फक्त एका सुसंगत NVIDIA ड्रायव्हरची गरज असते. (PyTorch सुरुवात करा (CUDA सिलेक्टर), PyTorch च्या मागील आवृत्त्या (CUDA व्हील्स))
साधक:
-
कमी हलणारे भाग
-
सोपे इंस्टॉलेशन
-
प्रति वातावरण अधिक पुनरुत्पादनक्षम
तोटे:
-
जर तुम्ही वातावरण सहजतेने मिसळले तर तुम्ही गोंधळून जाऊ शकता
पर्याय ब: सिस्टम CUDA टूलकिट (अधिक नियंत्रण)
तुम्ही सिस्टमवर CUDA टूलकिट स्थापित करता आणि सर्वकाही त्याच्याशी संरेखित करता. (CUDA टूलकिट डॉक्स)
साधक:
-
कस्टम बिल्डसाठी अधिक नियंत्रण, काही विशेष टूलिंग
-
काही विशिष्ट ऑपरेशन्स संकलित करण्यासाठी उपयुक्त
तोटे:
-
आवृत्त्या जुळवण्याचे आणि शांतपणे रडण्याचे आणखी मार्ग
मानवी दृष्टीने, cuDNN आणि NCCL
-
cuDNN डीप लर्निंग प्राइमिटिव्ह्ज (कन्व्होल्यूशन, RNN बिट्स, इ.) ला गती देते (NVIDIA cuDNN डॉक्स)
-
NCCL ही मल्टी-जीपीयू ट्रेनिंगसाठी एक वेगवान “जीपीयू-टू-जीपीयू कम्युनिकेशन” लायब्ररी आहे (NCCL आढावा)
जर तुम्ही मल्टी-जीपीयू प्रशिक्षण घेत असाल, तर एनसीसीएल तुमचा सर्वात चांगला मित्र आहे - आणि कधीकधी तुमचा स्वभाववादी रूममेट देखील. (एनसीसीएलचा आढावा)
६) तुमचा पहिला GPU प्रशिक्षण कार्यक्रम (PyTorch उदाहरण मानसिकता) ✅🔥
एआय ट्रेनिंगसाठी एनव्हीडिया जीपीयू कसे वापरावे हे समजून घेण्यासाठी , तुम्हाला आधी एका मोठ्या प्रोजेक्टची गरज नाही. तुम्हाला एका लहानशा यशाची गरज आहे.
मुख्य कल्पना:
-
डिव्हाइस शोधा
-
मॉडेल GPU वर हलवा
-
टेन्सर GPU वर हलवा
-
तेथे फॉरवर्ड पास चालतो याची पुष्टी करा (पायटॉर्च CUDA डॉक्स)
मी नेहमी ज्या गोष्टी लवकर तपासतो:
-
torch.cuda.is_available()खरे( torch.cuda.is_available ) परत करते. -
पुढील (मॉडेल.पॅरामीटर्स()).डिव्हाइसक्युडादाखवते ( पायटॉर्च फोरम: CUDA वर मॉडेल तपासा ) -
एका बॅच फॉरवर्ड पासमध्ये त्रुटी येत नाही
-
जेव्हा तुम्ही प्रशिक्षण सुरू करता तेव्हा GPU मेमरी वाढते (एक चांगले लक्षण!) (NVIDIA nvidia-smi docs)
सामान्य "ते का मंद आहे?"
-
तुमचा डेटालोडर खूप हळू आहे (GPU निष्क्रिय वाट पाहत आहे) (PyTorch Performance Tuning Guide)
-
तुम्ही GPU मध्ये डेटा हलवायला विसरलात (अरेरे)
-
बॅचचा आकार लहान आहे (GPU कमी वापरला गेला आहे)
-
तुम्ही प्रशिक्षण चरणात हेवी सीपीयू प्रीप्रोसेसिंग करत आहात
तसेच, हो, जर अडचण डेटाची असेल तर तुमचा GPU अनेकदा "इतका व्यस्त नाही" असे दिसेल. हे रेस कार ड्रायव्हरला कामावर ठेवण्यासारखे आहे आणि नंतर प्रत्येक टप्प्यावर त्यांना इंधनाची वाट पाहण्यास भाग पाडण्यासारखे आहे.
७) व्हीआरएएम गेम - बॅच आकार, मिश्रित अचूकता आणि स्फोट न होणारा 💥🧳
बहुतेक व्यावहारिक प्रशिक्षण समस्या स्मृतीमध्ये येतात. जर तुम्ही एक कौशल्य शिकलात तर VRAM व्यवस्थापन शिका.
मेमरीचा वापर कमी करण्याचे जलद मार्ग
-
मिश्र अचूकता (FP16/BF16)
-
सहसा वेगातही मोठी वाढ होते. दोन्ही बाजूंनी फायदाच 😌 (पायटॉर्च एएमपी डॉक्स, टेन्सरफ्लो मिक्स्ड प्रिसिजन गाइड)
-
-
ग्रेडियंट संचय
-
अनेक पायऱ्यांवर ग्रेडियंट जमा करून मोठ्या बॅच आकाराचे अनुकरण करा (ट्रान्सफॉर्मर्स प्रशिक्षण दस्तऐवज (ग्रेडियंट संचय, fp16))
-
-
लहान अनुक्रम लांबी / क्रॉप आकार
-
क्रूर पण प्रभावी
-
-
सक्रियकरण चेकपॉइंटिंग
-
मेमरीसाठी ट्रेड कंप्यूट (बॅकवर्ड दरम्यान अॅक्टिव्हेशन्स रिकॉम्प्यूट करा) (torch.utils.checkpoint)
-
-
हलका ऑप्टिमायझर वापरा
-
काही ऑप्टिमायझर्स अतिरिक्त स्थिती साठवतात जे VRAM चघळतात
-
"मी थांबल्यानंतरही VRAM का भरलेला असतो?" हा क्षण
फ्रेमवर्क अनेकदा मेमरी कॅश करतात . हे सामान्य आहे. हे भीतीदायक वाटू शकते, पण तो नेहमीच मेमरी लीक नसतो. तुम्ही त्यातील नमुने ओळखायला शिकता. (पायटॉर्च CUDA सिमेंटिक्स: कॅशिंग ॲलोकेटर)
व्यावहारिक सवय:
-
वाटप केलेले घड्याळ विरुद्ध राखीव मेमरी (फ्रेमवर्क-विशिष्ट) (PyTorch CUDA सिमेंटिक्स: कॅशिंग वाटप करणारा)
-
पहिल्या भयानक आकड्याला घाबरू नका 😅
८) GPU प्रत्यक्षात काम करू द्या - तुमच्या वेळेचे सार्थक असलेले परफॉर्मन्स ट्यूनिंग 🏎️
“GPU प्रशिक्षण सुरू करणे” ही पहिली पायरी आहे. ते वेगाने ही दुसरी पायरी आहे.
उच्च-प्रभाव ऑप्टिमायझेशन
-
बॅचचा आकार वाढवा (जोपर्यंत दुखत नाही, नंतर थोडे मागे घ्या)
-
डेटालोडरमध्ये पिन केलेली मेमरी वापरा (होस्ट-टू-डिव्हाइस कॉपी जलद) ( पायटॉर्च परफॉर्मन्स ट्यूनिंग गाइड , पायटॉर्च पिन_मेमरी/नॉन_ब्लॉकिंग ट्युटोरियल )
-
डेटालोडर कामगार वाढवा (काळजी घ्या, जास्त असल्यास उलट परिणाम होऊ शकतात) (पायटॉर्च परफॉर्मन्स ट्यूनिंग गाइड)
-
बॅचेस प्रीफेच करा जेणेकरून GPU निष्क्रिय राहणार नाही.
-
उपलब्ध असल्यास फ्यूज्ड ऑप्स / ऑप्टिमाइझ केलेले कर्नल वापरा.
-
मिश्रित अचूकतेचा वापर करा (पुन्हा सांगतो, ते इतके चांगले आहे) (पायटॉर्च एएमपी डॉक्स)
सर्वात दुर्लक्षित अडथळा
तुमची स्टोरेज आणि प्रीप्रोसेसिंग पाइपलाइन. जर तुमचा डेटासेट मोठा असेल आणि स्लो डिस्कवर साठवला असेल, तर तुमचा GPU एक महागडा स्पेस हीटर बनतो. एक अतिशय प्रगत, अतिशय चमकदार स्पेस हीटर.
तसेच, एक छोटीशी कबुली: मी एका तासासाठी एका मॉडेलला "ऑप्टिमाइझ" केले आणि लक्षात आले की लॉगिंग हा अडथळा होता. जास्त प्रिंटिंगमुळे प्रशिक्षण मंदावू शकते. हो, ते शक्य आहे.
९) मल्टी-जीपीयू प्रशिक्षण - डीडीपी, एनसीसीएल आणि गोंधळाशिवाय स्केलिंग 🧩🤝
एकदा तुम्हाला जास्त स्पीड किंवा मोठे मॉडेल हवे असतील तर तुम्ही मल्टी-जीपीयू वापरता. इथेच गोष्टी अधिक तीव्र होतात.
सामान्य दृष्टिकोन
-
डेटा पॅरलल (डीडीपी)
-
GPU मध्ये बॅचेस विभाजित करा, ग्रेडियंट सिंक करा
-
सहसा डीफॉल्ट “चांगला” पर्याय (पायटॉर्च डीडीपी डॉक्स)
-
-
मॉडेल पॅरलल / टेन्सर पॅरलल
-
मॉडेलला GPU मध्ये विभाजित करा (खूप मोठ्या मॉडेलसाठी)
-
-
पाइपलाइन समांतर
-
मॉडेल लेयर्सना टप्प्याटप्प्याने विभाजित करा (असेंब्ली लाईनप्रमाणे, परंतु टेन्सरसाठी)
-
तुम्ही जर नव्याने सुरुवात करत असाल, तर DDP-शैलीचे प्रशिक्षण सर्वात उत्तम आहे. (पायटॉर्च DDP ट्युटोरियल)
व्यावहारिक मल्टी-जीपीयू टिप्स
-
GPU सारखेच सक्षम आहेत याची खात्री करा (मिक्सिंग कॅन बॉटलनेक)
-
वॉच इंटरकनेक्ट: सिंक-हेवी वर्कलोड्ससाठी NVLink विरुद्ध PCIe महत्त्वाचे आहे (NVIDIA NVLink ओव्हरव्यू, NVIDIA NVLink डॉक्स)
-
प्रति-GPU बॅच आकार संतुलित ठेवा
-
सीपीयू आणि स्टोरेजकडे दुर्लक्ष करू नका - मल्टी-जीपीयू डेटा अडथळे वाढवू शकते
आणि हो, NCCL मधील चुका एखाद्या गूढ कोड्यासारख्या वाटू शकतात, ज्यातून ‘आत्ताच का?’ असा प्रश्न निर्माण होतो. तुमच्यावर काही शाप नाही. बहुधा. (NCCL आढावा)
१०) देखरेख आणि प्रोफाइलिंग - तुमचे तास वाचवणारे अनैसर्गिक काम 📈🧯
सुरुवात करण्यासाठी तुम्हाला फॅन्सी डॅशबोर्डची आवश्यकता नाही. काहीतरी बिघाड आहे का ते तुम्हाला लक्षात घ्यावे लागेल.
लक्ष ठेवण्यासाठी महत्त्वाचे संकेत
-
GPU वापर: तो सतत जास्त किंवा काटेरी असतो का?
-
स्मरणशक्तीचा वापर: स्थिर, चढाई, की विचित्र?
-
पॉवर ड्रॉ: असामान्यपणे कमी म्हणजे कमी वापर होऊ शकतो.
-
तापमान: सततचे उच्च तापमान कामगिरी कमी करू शकते.
-
CPU वापर: डेटा पाइपलाइन समस्या येथे दिसतात (PyTorch Performance Tuning Guide)
प्रोफाइलिंग मानसिकता (सोपी आवृत्ती)
-
जर GPU चा वापर कमी असेल तर - डेटा किंवा CPU बॉटलनेक
-
जर GPU जास्त असेल पण मंद असेल तर - कर्नलची अकार्यक्षमता, अचूकता किंवा मॉडेल आर्किटेक्चर
-
जर प्रशिक्षणाचा वेग अचानक कमी झाला तर - थर्मल थ्रॉटलिंग, पार्श्वभूमी प्रक्रिया, I/O अडथळे
मला माहिती आहे, निरीक्षण करणे मजेदार वाटत नाही. पण ते फ्लॉसिंगसारखे आहे. त्रासदायक, मग अचानक तुमचे आयुष्य सुधारते.
११) समस्यानिवारण - नेहमीचे संशयित (आणि कमी सामान्य) 🧰😵💫
हा विभाग मुळात असा आहे: "सर्वकाळ तेच पाच अंक."
समस्या: CUDA मेमरी संपली आहे
दुरुस्त्या:
-
बॅच आकार कमी करा
-
मिश्रित अचूकता वापरा (पायटॉर्च एएमपी डॉक्स, टेन्सरफ्लो मिश्रित अचूकता मार्गदर्शक)
-
ग्रेडियंट अॅक्युम्युलेशन (ट्रान्सफॉर्मर्स ट्रेनिंग डॉक्स (ग्रेडियंट अॅक्युम्युलेशन, fp16))
-
चेकपॉईंट सक्रियकरण (torch.utils.checkpoint)
-
इतर GPU प्रक्रिया बंद करा
समस्या: प्रशिक्षण चुकून CPU वर चालते
दुरुस्त्या:
-
मॉडेल
कुडा -
टेन्सर
कुडामध्ये हलवले आहेत याची खात्री करा. -
फ्रेमवर्क डिव्हाइस कॉन्फिगरेशन तपासा (पायटॉर्च CUDA डॉक्स)
समस्या: विचित्र क्रॅश किंवा बेकायदेशीर मेमरी प्रवेश
दुरुस्त्या:
-
ड्रायव्हर + रनटाइम सुसंगतता पुष्टी करा (पायटॉर्च गेट स्टार्ट (CUDA सिलेक्टर), टेन्सरफ्लो इंस्टॉल (पिप))
-
स्वच्छ वातावरण वापरून पहा
-
कस्टम ऑप्स कमी करा
-
पुनरुत्पादित करण्यासाठी डिटरमिनिस्टिक-इश सेटिंग्जसह पुन्हा चालवा
समस्या: अपेक्षेपेक्षा हळू
दुरुस्त्या:
-
डेटालोडर थ्रूपुट तपासा (पायटॉर्च परफॉर्मन्स ट्यूनिंग गाइड)
-
बॅच आकार वाढवा
-
वृक्षतोड कमी करा
-
मिश्रित अचूकता सक्षम करा (PyTorch AMP डॉक्स)
-
प्रोफाइल स्टेप टाइम ब्रेकडाउन
समस्या: मल्टी-जीपीयू हँग झाला आहे
दुरुस्त्या:
-
योग्य बॅकएंड सेटिंग्जची पुष्टी करा (पायटॉर्च वितरित दस्तऐवज)
-
एनसीसीएल पर्यावरण कॉन्फिगरेशन तपासा (काळजीपूर्वक) (एनसीसीएल विहंगावलोकन)
-
प्रथम एकल GPU चाचणी करा
-
नेटवर्क / इंटरकनेक्ट निरोगी असल्याची खात्री करा
एक छोटीशी बॅकट्रॅकिंग टीप: कधीकधी दुरुस्ती म्हणजे अक्षरशः रीबूट होणे. ते मूर्खपणाचे वाटते. ते काम करते. संगणक असेच असतात.
१२) किंमत आणि व्यावहारिकता - जास्त विचार न करता योग्य NVIDIA GPU निवडणे आणि सेटअप करणे 💸🧠
प्रत्येक प्रोजेक्टला सर्वात मोठ्या GPU ची आवश्यकता नसते. कधीकधी तुम्हाला पुरेसा GPU ची आवश्यकता असते.
जर तुम्ही मध्यम मॉडेल्समध्ये सुधारणा करत असाल तर
-
VRAM आणि स्थिरतेला प्राधान्य द्या
-
मिश्रित अचूकता खूप मदत करते (पायटॉर्च एएमपी डॉक्स, टेन्सरफ्लो मिश्रित अचूकता मार्गदर्शक)
-
तुम्ही अनेकदा एकाच मजबूत GPU ने पळून जाऊ शकता
जर तुम्ही मोठ्या मॉडेल्सना सुरुवातीपासून प्रशिक्षण देत असाल तर
-
तुम्हाला अनेक GPU किंवा खूप मोठे VRAM हवे असतील
-
तुम्हाला NVLink आणि कम्युनिकेशन स्पीडची काळजी वाटेल (NVIDIA NVLink आढावा, NCCL आढावा)
-
तुम्ही बहुधा मेमरी ऑप्टिमायझर्स (ZeRO, ऑफलोड, इत्यादी) वापराल (DeepSpeed ZeRO डॉक्स, मायक्रोसॉफ्ट रिसर्च: ZeRO/DeepSpeed).
जर तुम्ही प्रयोग करत असाल तर
-
तुम्हाला जलद पुनरावृत्ती हवी आहे
-
तुमचे सर्व पैसे GPU वर खर्च करू नका आणि नंतर स्टोरेज आणि RAM ची उपासमार करू नका
-
संतुलित प्रणाली एका बाजूला नसलेल्या प्रणालीवर मात करते (बहुतेक दिवस)
आणि खरं सांगायचं तर, तुम्ही "परिपूर्ण" हार्डवेअर निवडींसाठी आठवडे वाया घालवू शकता. काहीतरी व्यवहार्य बनवा, मोजमाप करा आणि नंतर समायोजित करा. खरा शत्रू म्हणजे फीडबॅक लूप नसणे.
शेवटच्या टीपा - बुद्धी न गमावता एआय प्रशिक्षणासाठी NVIDIA GPU कसे वापरावे 😌✅
एआय ट्रेनिंगसाठी एनव्हीडिया जीपीयू कसे वापरावे यावरील या मार्गदर्शिकेतून तुम्ही दुसरे काहीही शिकला नाहीत तरी , ही गोष्ट लक्षात ठेवा:
-
प्रथम
nvidia-smiकाम करत आहे याची खात्री करा ( NVIDIA nvidia-smi docs ) -
स्वच्छ सॉफ्टवेअर मार्ग निवडा (फ्रेमवर्क-बंडल केलेले CUDA बहुतेकदा सर्वात सोपे असते) (PyTorch प्रारंभ करा (CUDA निवडकर्ता))
-
स्केलिंग करण्यापूर्वी एक लहान GPU प्रशिक्षण रन सत्यापित करा (torch.cuda.is_available)
-
VRAM मर्यादित पेंट्री शेल्फप्रमाणे व्यवस्थापित करा
-
मिश्रित अचूकतेचा वापर लवकर करा - हे केवळ “प्रगत गोष्टी” नाहीत (पायटॉर्च एएमपी डॉक्स, टेन्सरफ्लो मिश्रित अचूकता मार्गदर्शक).
-
जर ते धीमे असेल तर GPU ला दोष देण्यापूर्वी डेटालोडर आणि I/O वर संशय घ्या (पायटॉर्च परफॉर्मन्स ट्युनिंग गाईड).
-
मल्टी-जीपीयू शक्तिशाली आहे परंतु गुंतागुंत वाढवते - हळूहळू स्केल करा (पायटॉर्च डीडीपी डॉक्स, एनसीसीएल ओव्हरव्यू)
-
वापर आणि तापमानाचे निरीक्षण करा जेणेकरून समस्या लवकर दिसून येतील (NVIDIA nvidia-smi docs)
एनव्हिडिया जीपीयूवर प्रशिक्षण घेणे हे अशा कौशल्यांपैकी एक आहे जे सुरुवातीला भीतीदायक वाटते, पण नंतर अचानक ते अगदी सामान्य होऊन जाते. अगदी गाडी चालवायला शिकण्यासारखं. सुरुवातीला सगळीकडे गोंगाट असतो आणि गोंधळ उडतो, आणि तुम्ही स्टेअरिंग खूप घट्ट पकडता. मग एके दिवशी तुम्ही आरामात गाडी चालवत असता, कॉफी पीत असता आणि बॅच साइजची समस्या अगदी सहजपणे सोडवत असता, जणू काही ती मोठी गोष्टच नाहीये.
वास्तविक उदाहरण: एका NVIDIA GPU वर लहान इमेज क्लासिफायरला प्रशिक्षित करणे 🧪🖼️
परिस्थिती
कल्पना करा की एका छोट्या ई-कॉमर्स टीमला एक इमेज क्लासिफायर प्रशिक्षित करायचा आहे, जो उत्पादनांच्या फोटोंची शूज, बॅग्ज, जॅकेट्स, घड्याळे आणि ॲक्सेसरीज अशा पाच श्रेणींमध्ये विभागणी करेल.
ते सुरुवातीपासून एक मोठे मॉडेल प्रशिक्षित करत नाहीत. ते एकाच NVIDIA GPU वर आधीच प्रशिक्षित केलेल्या व्हिजन मॉडेलला फाइन-ट्यूनिंग करत आहेत, जेणेकरून ही कल्पना मोठ्या प्रमाणावर राबवण्यायोग्य आहे की नाही हे टीमला पटकन तपासता येईल.
मोठे हार्डवेअर किंवा क्लाउड रनवर पैसे खर्च करण्यापूर्वी, GPU सेटअप काम करतो हे सिद्ध करणे, CUDA मधील गोंधळ टाळणे आणि एक पुनरावर्तनीय प्रशिक्षण लूप तयार करणे हे उद्दिष्ट सोपे आहे.
सेटअपला काय आवश्यक आहे
या प्रकारच्या चाचणीसाठी, तुम्हाला खालील गोष्टींची आवश्यकता असेल:
एक NVIDIA GPU आणि बॅच साईझसाठी पुरेशी VRAM असलेले मशीन
nvidia-smi द्वारे कार्यरत NVIDIA ड्रायव्हरची पुष्टी झाली आहे
PyTorch, TensorFlow, किंवा JAX साठी एक स्वच्छ पायथॉन वातावरण
एक लहान लेबल केलेला इमेज डेटासेट, जो शक्यतो ट्रेन, व्हॅलिडेशन आणि टेस्ट फोल्डर्समध्ये विभागलेला असावा
तुलनेसाठी बेसलाइन सीपीयू टायमिंग रन
स्टेप टाइम, जीपीयू मेमरी, जीपीयू वापर, तापमान आणि व्हॅलिडेशन अचूकता यांचा समावेश असलेले एक साधे लॉगिंग शीट
योग्यरित्या प्रशिक्षण देण्यापूर्वी, टीमने एक छोटी CUDA स्मोक टेस्ट चालवावी: एक बॅच लोड करा, मॉडेल आणि बॅच CUDA मध्ये हलवा, एक फॉरवर्ड पास चालवा आणि nvidia-smi मध्ये GPU मेमरी वाढीची पुष्टी करा.
उदाहरण सूचना
एखाद्या प्रात्यक्षिक प्रकल्पाच्या सूचना खालीलप्रमाणे असू शकतात:
प्री-ट्रेन्ड ResNet-शैलीच्या मॉडेलचा वापर करून एक लहान उत्पादन प्रतिमा वर्गीकरणकर्ता (product image classifier) प्रशिक्षित करा. सर्वप्रथम, nvidia-smi ला GPU दिसत असल्याची खात्री करा. त्यानंतर, पूर्ण प्रशिक्षणापूर्वी एक-बॅच CUDA चाचणी चालवा. समर्थित असल्यास मिक्स्ड प्रिसिजनचा (mixed precision) वापर करा. बॅच साईज ३२ ने सुरुवात करा, GPU मेमरी स्थिर राहिल्यासच ती वाढवा आणि प्रत्येक रननंतर स्टेप टाईम, GPU मेमरी वापर, GPU युटिलायझेशन, तापमान आणि व्हॅलिडेशन ॲक्युरसी यांची नोंद करा. जर CUDA आउट-ऑफ-मेमरी त्रुटी आढळल्यास, मॉडेल बदलण्यापूर्वी बॅच साईज कमी करा.
त्याची चाचणी कशी करावी
एक सुज्ञ चाचणी योजना खालीलप्रमाणे असेल:
-
nvidia-smi चालवा आणि GPU चे नाव, ड्रायव्हर आवृत्ती, निष्क्रिय मेमरी वापर आणि तापमान नोंदवा.
-
डेटासेट आणि मॉडेल कोड योग्यरित्या काम करत असल्याची खात्री करण्यासाठी एक-बॅच सीपीयू चाचणी चालवा.
-
तीच एक-बॅच चाचणी कुडावर चालवा.
-
32 च्या बॅच साईजसह 200 स्टेप्ससाठी ट्रेन करा.
-
मिश्रित अचूकता सक्षम करून पुनरावृत्ती करा.
-
जर पहिल्या रनमध्ये पुरेशी VRAM जागा शिल्लक असेल तरच बॅच साईज ६४ वापरून पहा.
-
व्हॅलिडेशन अचूकता, सरासरी स्टेप टाइम, पीक व्हीआरएएम आणि जीपीयू तापमान यांची तुलना करा.
चांगला निकाल म्हणजे केवळ “प्रशिक्षण झाले” असे नाही. चांगला निकाल म्हणजे “प्रशिक्षण GPU वर झाले, वेग सुधारला, मेमरी स्थिर राहिली आणि सर्व काही पुन्हा इन्स्टॉल न करता उद्या ही प्रक्रिया पुन्हा करता येईल”.
निकाल
CPU वरून एकाच NVIDIA GPU वर प्रशिक्षण हलवण्यापूर्वी आणि नंतर तीन लहान २००-स्टेप चाचणी फेऱ्यांची वेळ मोजून काढलेला प्रातिनिधिक निकाल:
केवळ सीपीयूची आधारभूत वेळ: प्रत्येक प्रशिक्षण टप्प्यासाठी ३.४ सेकंद
FP32 सह GPU: प्रत्येक प्रशिक्षण टप्प्यासाठी ०.४२ सेकंद
मिश्रित अचूकतेसह GPU: प्रत्येक प्रशिक्षण टप्प्यासाठी ०.२८ सेकंद
बॅच साईज ३२ सह कमाल जीपीयू मेमरी: ५.८ जीबी
बॅच साईज ६४ सह कमाल जीपीयू मेमरी: १०.९ जीबी
बॅच आकार ९६: CUDA मेमरी संपल्यामुळे अयशस्वी झाले
स्थिर रन दरम्यान GPU वापर: ७६% ते ९१%
स्थिर चाचणी दरम्यान तापमान: ६७°C ते ७३°C
संक्षिप्त चाचणीनंतरची प्रमाणीकरण अचूकता: FP32 सह ८२%, मिश्र अचूकतेसह ८२.४%
या उदाहरणातील अंदाजामध्ये, FP32 GPU रनच्या तुलनेत मिक्स्ड प्रिसिजनने स्टेप टाइम सुमारे ३३% ने कमी केला, आणि त्याच वेळी व्हॅलिडेशन ॲक्युरसी जवळपास सारखीच ठेवली. प्रत्येक ट्रेनिंग स्टेपची वेळ नोंदवून, रन दरम्यान nvidia-smi तपासून, आणि प्रत्येक टेस्टनंतर व्हॅलिडेशन ॲक्युरसी सेव्ह करून टीम या आकड्यांची पडताळणी करू शकली.
काय बिघडू शकतं?
सर्वात सामान्य चूक म्हणजे खूप लवकर स्केलिंग करणे. जर वन-बॅच CUDA टेस्ट अयशस्वी झाली, तर संपूर्ण ट्रेनिंग रनने ती जादूने दुरुस्त होणार नाही.
इतर सोपे सापळे:
CUDA च्या अनेक आवृत्त्या स्थापित करणे आणि फ्रेमवर्क कोणती आवृत्ती वापरत आहे हे माहित नसणे
मॉडेलला कुडामध्ये हलवणे पण बॅचेस सीपीयूवरच ठेवणे
एकदाच बसेल पण काही टप्प्यांनंतर क्रॅश होईल असा बॅच आकार निवडणे
आधीपासूनच VRAM वापरत असलेल्या इतर प्रक्रियांकडे दुर्लक्ष करणे
डेटालोडर खूप मंद असताना GPU ला दोष देणे
समान डेटासेट, बॅच आकार आणि मॉडेल न वापरता CPU आणि GPU रनची तुलना करणे
सुरुवातीच्या काही अंदाजांचेही मानवाने पुनरावलोकन केले पाहिजे. जर लेबल्समध्ये गोंधळ असेल, क्लासेस असंतुलित असतील किंवा मॉडेल उत्पादनाच्या प्रकाराऐवजी पार्श्वभूमीच्या रंगासारखे शॉर्टकट शिकत असेल, तर जलद प्रशिक्षणाचा फारसा उपयोग होत नाही.
व्यावहारिक निष्कर्ष
एक विश्वसनीय NVIDIA GPU प्रशिक्षण कार्यप्रवाह लहान प्रमाणावर सुरू होतो: ड्रायव्हर काम करतो हे सिद्ध करा, CUDA काम करतो हे सिद्ध करा, एक बॅच काम करते हे सिद्ध करा, आणि मग हळूहळू बॅचचा आकार व प्रशिक्षणाचा कालावधी वाढवा. सर्वात वेगवान सेटअप तो नसतो ज्यात कागदावर सर्वात प्रभावी GPU असतो - तो तो असतो जो टाळता येण्याजोग्या व्हर्जन, VRAM आणि डेटालोडरच्या समस्यांवर तासनतास वाया न घालवता तुम्हाला स्थिर, मोजता येण्याजोगे रन देतो.
वारंवार विचारले जाणारे प्रश्न
NVIDIA GPU वर AI मॉडेलला प्रशिक्षित करणे म्हणजे काय?
NVIDIA GPU वर प्रशिक्षण म्हणजे तुमचे मॉडेल पॅरामीटर्स आणि प्रशिक्षण बॅचेस GPU VRAM मध्ये राहतात आणि हेवी मॅथ (फॉरवर्ड पास, बॅकप्रॉप, ऑप्टिमायझर स्टेप्स) CUDA कर्नलद्वारे कार्यान्वित होतात. प्रत्यक्षात, हे बहुतेकदा मॉडेल आणि टेन्सर cuda, नंतर मेमरी, वापर आणि तापमानावर लक्ष ठेवते जेणेकरून थ्रूपुट सुसंगत राहील.
इतर काहीही स्थापित करण्यापूर्वी NVIDIA GPU काम करत आहे याची खात्री कशी करावी
nvidia-smi ने सुरुवात करा . ते GPU चे नाव, ड्रायव्हर आवृत्ती, सध्याचा मेमरी वापर आणि चालू असलेल्या प्रक्रिया दाखवेल. जर nvidia-smi अयशस्वी ठरले, तर PyTorch/TensorFlow/JAX चे काम थांबवा - आधी ड्रायव्हरची दृश्यमानता सुधारा. GPU प्रशिक्षणासाठी ही एक मूलभूत तपासणी आहे, जी 'ओव्हन प्लग इन आहे का' हे तपासते.
सिस्टम CUDA आणि PyTorch सह एकत्रित CUDA यापैकी निवड करणे
फ्रेमवर्क-बंडल्ड CUDA (अनेक PyTorch चाकांप्रमाणे) वापरणे हा एक सामान्य दृष्टिकोन आहे कारण ते हलणारे भाग कमी करते - तुम्हाला प्रामुख्याने सुसंगत NVIDIA ड्रायव्हरची आवश्यकता असते. पूर्ण सिस्टम CUDA टूलकिट स्थापित केल्याने अधिक नियंत्रण मिळते (कस्टम बिल्ड, कंपाइलिंग ऑप्स), परंतु ते आवृत्ती जुळत नसलेल्या आणि गोंधळात टाकणाऱ्या रनटाइम त्रुटींसाठी अधिक संधी देखील प्रदान करते.
NVIDIA GPU असतानाही प्रशिक्षण का मंद असू शकते?
बऱ्याचदा, इनपुट पाइपलाइनमुळे GPU ची कमतरता भासते. डेटालोडर जे मागे पडतात, प्रशिक्षण चरणात जास्त CPU प्रीप्रोसेसिंग, लहान बॅच आकार किंवा स्लो स्टोरेज या सर्वांमुळे शक्तिशाली GPU निष्क्रिय स्पेस हीटरसारखे वागू शकते. डेटालोडर वर्कर्स वाढवणे, पिन केलेली मेमरी सक्षम करणे, प्रीफेचिंग जोडणे आणि लॉगिंग ट्रिम करणे हे मॉडेलला दोष देण्यापूर्वी सामान्य पहिले पाऊल आहे.
NVIDIA GPU प्रशिक्षणादरम्यान "CUDA आउट ऑफ मेमरी" त्रुटी कशा टाळायच्या
बहुतेक निराकरणे VRAM युक्त्या आहेत: बॅच आकार कमी करा, मिश्रित अचूकता सक्षम करा (FP16/BF16), ग्रेडियंट संचय वापरा, अनुक्रम लांबी/क्रॉप आकार कमी करा किंवा सक्रियकरण चेकपॉइंटिंग वापरा. मेमरी वापरणाऱ्या इतर GPU प्रक्रिया देखील तपासा. काही चाचणी आणि त्रुटी सामान्य आहेत - व्यावहारिक GPU प्रशिक्षणात VRAM बजेटिंग ही एक मुख्य सवय बनते.
प्रशिक्षण स्क्रिप्ट संपल्यानंतरही VRAM पूर्ण का दिसतो?
फ्रेमवर्क्स बहुतेकदा गतीसाठी GPU मेमरी कॅशे करतात, त्यामुळे वाटप केलेली मेमरी कमी झाली तरीही राखीव मेमरी जास्त राहू शकते. ती गळतीसारखी दिसू शकते, परंतु बहुतेकदा कॅशिंग अॅलोकेटर डिझाइन केल्याप्रमाणे वागतो. व्यावहारिक सवय म्हणजे कालांतराने पॅटर्न ट्रॅक करणे आणि एकाच अलार्मिंग स्नॅपशॉटवर लक्ष केंद्रित करण्याऐवजी "वाटप केलेले विरुद्ध राखीव" ची तुलना करणे.
मॉडेल शांतपणे CPU वर प्रशिक्षण घेत नाही याची खात्री कशी करावी
सुरुवातीलाच खात्री करून घ्या: torch.cuda.is_available() True परत करत असल्याची खात्री करा, next(model.parameters()).device मध्ये cuda दिसत असल्याची पडताळणी करा , आणि त्रुटींशिवाय एक फॉरवर्ड पास चालवा. जर कामगिरी संशयास्पदरित्या मंद वाटत असेल, तर तुमचे बॅचेस GPU वर हलवले जात असल्याचीही खात्री करा. मॉडेल हलवताना चुकून डेटा मागे राहणे ही एक सामान्य गोष्ट आहे.
मल्टी-जीपीयू प्रशिक्षणाचा सर्वात सोपा मार्ग
डेटा पॅरलल (डीडीपी-शैलीतील प्रशिक्षण) हे बहुतेकदा सर्वोत्तम पहिले पाऊल असते: GPU मध्ये बॅचेस विभाजित करा आणि सिंक ग्रेडियंट. अॅक्सिलरेट सारखी साधने पूर्ण पुनर्लेखन न करता मल्टी-GPU कमी वेदनादायक बनवू शकतात. अतिरिक्त व्हेरिअबल्सची अपेक्षा करा - NCCL कम्युनिकेशन, इंटरकनेक्ट फरक (NVLink विरुद्ध PCIe), आणि अॅम्प्लिफाइड डेटा बॉटलनेक्स - म्हणून सॉलिड सिंगल-GPU रन नंतर हळूहळू स्केलिंग करणे चांगले होते.
NVIDIA GPU प्रशिक्षणादरम्यान समस्या लवकर लक्षात येण्यासाठी काय निरीक्षण करावे
GPU वापर, मेमरी वापर (स्थिर विरुद्ध चढाई), पॉवर ड्रॉ आणि तापमान पहा - थ्रॉटलिंगमुळे गती कमी होऊ शकते. CPU वापरावर देखील लक्ष ठेवा, कारण डेटा पाइपलाइनमध्ये समस्या बहुतेकदा प्रथम दिसून येते. जर वापर स्पाइकी किंवा कमी असेल, तर I/O किंवा डेटालोडरचा संशय घ्या; जर ते जास्त असेल परंतु स्टेप टाइम अजूनही मंद असेल, तर प्रोफाइल कर्नल, अचूक मोड आणि स्टेप-टाइम ब्रेकडाउन.
संदर्भ
-
एनव्हीआयडीए - एनव्हीआयडीए एनव्हीआयडीए-एसएमआय डॉक्स - docs.nvidia.com
-
NVIDIA - NVIDIA सिस्टम मॅनेजमेंट इंटरफेस (NVSMI) - developer.nvidia.com
-
NVIDIA - NVIDIA NVLink चा आढावा - nvidia.com
-
पायटॉर्च - पायटॉर्च प्रारंभ करा (CUDA निवडकर्ता) - pytorch.org
-
पायटॉर्च - पायटॉर्च CUDA दस्तऐवज - docs.pytorch.org
-
टेन्सरफ्लो - टेन्सरफ्लो इंस्टॉल (पिप) - tensorflow.org
-
JAX - JAX क्विकस्टार्ट - docs.jax.dev
-
मिठी मारणारा चेहरा - प्रशिक्षक दस्तऐवज - huggingface.co
-
लाइटनिंग एआय - लाइटनिंग डॉक्स - lightning.ai
-
डीपस्पीड - झीरो डॉक्स - deepspeed.readthedocs.io
-
मायक्रोसॉफ्ट रिसर्च - मायक्रोसॉफ्ट रिसर्च: झीरो/डीपस्पीड - microsoft.com
-
पायटॉर्च फोरम - पायटॉर्च फोरम: CUDA वर मॉडेल तपासा - discuss.pytorch.org