AlexNet: 2012 کی کامیابی کے پیچھے CUDA انجینئرنگ

2012 میں AlexNet کی کامیابی نے ثابت کر دیا کہ CUDA سے لیس GPUs کے ساتھ جڑے ڈیپ نیورل نیٹ ورکس کمپیوٹر وژن کی دہائیوں پر محیط روایتی انجینئرنگ سے آگے نکل سکتے ہیں۔ ImageNet Large Scale Visual Recognition Challenge (ILSVRC) میں Alex Krizhevsky، Ilya Sutskever اور Geoffrey Hinton نے 15.3% کی ٹاپ-5 غلطی کی شرح حاصل کی، اور 26.2% والے رنر اپ کو تقریباً 11 فیصدی پوائنٹس سے پیچھے چھوڑ دیا۔

ہارڈویئر کی رکاوٹ اور اس کا حل

اس وقت PyTorch اور TensorFlow جیسے ڈیپ لرننگ فریم ورکس موجود نہیں تھے، اور صارفین کے GPUs کی میموری پر سخت حدود تھیں۔

• صارفین کا گیمنگ ہارڈویئر: ٹیم نے نیٹ ورک کو ایک بیڈروم میں دو صارف درجے کے NVIDIA GTX 580 GPUs پر ٹرین کیا۔ ہر کارڈ میں صرف 3 GB VRAM تھی، جو 60 ملین پیرامیٹرز والے پورے نیٹ ورک کو ایک ہی چپ پر رکھنے کے لیے کافی نہیں تھی۔

• CUDA کے ذریعے ماڈل پیرالیلزم: Alex Krizhevsky نے حسبِ ضرورت CUDA C++ کرنلز (cuda-convnet) لکھے تاکہ نیٹ ورک کو دونوں GPUs میں عمودی طور پر تقسیم کیا جا سکے۔ ہر GPU نے نیورانز اور کرنلز کا نصف حصہ اپنے 3 GB کے میموری پول میں رکھا۔

• منتخب GPUs کے درمیان رابطہ: چونکہ مدر بورڈ کی PCIe بس کے ذریعے GPUs کے درمیان ڈیٹا منتقل کرنا سست تھا، Krizhevsky نے GPUs کو اس طرح پروگرام کیا کہ وہ صرف مخصوص لیئرز (جیسے لیئر 3) پر رابطہ کریں۔ باقی لیئرز ہر کارڈ پر مکمل طور پر آزادانہ چلتی تھیں، جس سے بینڈوتھ کی رکاوٹیں کم سے کم ہو گئیں۔

اہم آرکیٹیکچرل کامیابیاں

CUDA کی خام کمپیوٹ طاقت نے ٹیم کو کئی اہم تکنیکوں کو یکجا کرنے کا موقع دیا جو پہلے بڑے پیمانے پر آزمانے کے لیے بہت سست تھیں:

• گہرا آرکیٹیکچر: AlexNet نے 8 سیکھی جانے والی لیئرز (5 کنوولیشنل لیئرز کے بعد 3 مکمل طور پر جڑی لیئرز) جمع کیں، جو پچھلے نیورل نیٹ ورکس سے کہیں زیادہ گہری تھیں۔

• ReLU ایکٹیویشن فنکشن: روایتی tanh یا sigmoid ریاضی کے بجائے انہوں نے Rectified Linear Units (ReLU) استعمال کیے۔ ReLU CUDA میں حسابی لحاظ سے سادہ ہے اور اس نے گہرے نیٹ ورک کو گریڈینٹس کے ختم ہوئے بغیر تقریباً چھ گنا تیزی سے ٹرین ہونے دیا۔

• ڈیٹا آگمینٹیشن اور Dropout: جب GPUs میٹرکس ریاضی کر رہے تھے، CPU نے اووَر فٹنگ سے بچنے کے لیے حقیقی وقت میں تصاویر کی تبدیلیاں (کراپ اور فلپ) تیار کیں۔ انہوں نے Dropout بھی لاگو کیا، یعنی ٹریننگ کے دوران نیورانز کو بے ترتیب طور پر بند کرنا تاکہ نیٹ ورک مضبوط خصوصیات سیکھنے پر مجبور ہو۔

اس نے ڈیپ لرننگ انقلاب کو کیوں جنم دیا

ستمبر 2012 سے پہلے، کمپیوٹر وژن کے بیشتر محققین کناروں اور شکلوں کا پتا لگانے کے لیے ہاتھ سے بنائے گئے الگورتھمز (جیسے SIFT اور HOG) پر انحصار کرتے تھے، اور ڈیپ نیورل نیٹ ورکس کو ایک بند گلی کا نظریہ سمجھتے تھے۔

• ٹریننگ کا وقت: حسبِ ضرورت CUDA اصلاح کے باوجود AlexNet کو 1.2 ملین ہائی ریزولوشن تصاویر پر ٹرین ہونے میں 5 سے 6 دن لگے۔ CUDA کے بغیر یہی تجربہ CPUs پر مہینوں لیتا۔

• صنعت میں تبدیلی: جب AlexNet نے ImageNet پر ہر روایتی طریقے کو پچھاڑ دیا تو پوری اے آئی تحقیقی برادری نے تقریباً راتوں رات ہاتھ سے تیار کردہ خصوصیات کو ترک کر دیا۔ محققین NVIDIA GPUs خریدنے کے لیے دوڑ پڑے، جس نے NVIDIA کو اے آئی کی طرف رخ کرنے اور دو سال بعد cuDNN جاری کرنے پر آمادہ کیا۔