PagedAttention، قیاسی ڈی کوڈنگ، MoE اور Blackwell

جدید AI کی تعیناتی بڑے ماڈلوں کو تیز رفتاری اور کم لاگت سے چلانے کے لیے میموری ورچوئلائزڈ سرونگ انجنوں، اسپارس ایکسپرٹ روٹنگ، اور ذیلی بائٹ ہارڈویئر دقت پر انحصار کرتی ہے۔ یہ تین ٹیکنالوجیاں پیداواری LLM بنیادی ڈھانچے کی صفِ اول کی نمائندگی کرتی ہیں۔

1. LLM انفرنس سرونگ کی بہتریاں: PagedAttention & قیاسی ڈی کوڈنگ

متن بناتے وقت LLM ہر پچھلے ٹوکن کے Key (K) اور Value (V) ٹینسرز VRAM میں کیش کرتا ہے تاکہ اسے ہر قدم پر دوبارہ ان کا حساب نہ کرنا پڑے۔ اس KV Cache کا انتظام اور ٹوکن بہ ٹوکن تخلیق کی تسلسلی رکاوٹ سے نکلنا انفرنس سرونگ کے دو سب سے بڑے چیلنج ہیں۔

• PagedAttention (vLLM): KV Cache کے لیے ورچوئل میموری۔

• ٹکڑوں میں بٹنے کا مسئلہ۔ پہلے انفرنس انجن ہر درخواست کے لیے ماڈل کی زیادہ سے زیادہ ممکنہ سیکوئنس لمبائی (مثلاً 32,768 ٹوکن) کے مطابق VRAM کا ایک مسلسل حصہ پہلے سے مختص کرتے تھے۔ اگر صارف صرف 200 ٹوکن بناتا تو محفوظ شدہ VRAM کا 99% سے زیادہ خالی رہتا، اور اندرونی و بیرونی ٹکڑوں میں بٹنے سے GPU میموری کا 60% سے 80% ضائع ہوتا تھا۔
• آپریٹنگ سسٹم جیسی پیجنگ۔ آپریٹنگ سسٹم کی ورچوئل میموری سے متاثر PagedAttention ہر سیکوئنس کے KV کیش کو چھوٹے، مقررہ حجم کے بلاکس (مثلاً ہر بلاک میں 16 ٹوکن) میں بانٹتا ہے، جو طبعی VRAM میں کہیں بھی غیر مسلسل طور پر رہ سکتے ہیں۔ ایک ہلکی پھلکی بلاک ٹیبل اٹینشن کرنل کے اندر منطقی ٹوکن بلاکس کو اسی وقت طبعی GPU میموری پتوں سے جوڑتی ہے۔
• میموری کا اشتراک (Copy-on-Write)۔ چونکہ بلاکس الگ ہوتے ہیں، اس لیے ایک ہی سسٹم پرامپٹ رکھنے والی یا متوازی تکمیلیں بنانے والی متعدد درخواستیں (جیسے beam search) VRAM میں بالکل انہی طبعی KV بلاکس کی طرف اشارہ کرتی ہیں، جس سے میموری کا استعمال بہت کم اور کہیں بڑے بیچ سائز ممکن ہوتے ہیں۔

• قیاسی ڈی کوڈنگ: تسلسلی رکاوٹ توڑنا۔

• خود رجعی تخلیق سست کیوں ہے۔ 100 ٹوکن بنانے کے لیے 100 مسلسل فارورڈ پاس درکار ہوتے ہیں۔ چونکہ ہر پاس صرف ایک نیا ٹوکن پروسیس کرتا ہے، GPU اپنا زیادہ وقت VRAM سے ماڈل کے وزن پڑھنے میں گزارتا ہے جبکہ اس کے Tensor Cores تقریباً فارغ رہتے ہیں۔
• ڈرافٹ اور تصدیق کی پائپ لائن۔ قیاسی ڈی کوڈنگ بہت بڑے ہدف ماڈل (مثلاً 70B پیرامیٹرز) کو ایک چھوٹے، انتہائی تیز ڈرافٹ ماڈل (مثلاً 1B–3B پیرامیٹرز، یا Medusa / EAGLE جیسے ہلکے پیش گوئی ہیڈز) کے ساتھ جوڑتی ہے۔
• متوازی تصدیق۔ چھوٹا ڈرافٹ ماڈل اگلے K ٹوکن (مثلاً 5 ٹوکن) کا تیزی سے سلسلہ وار اندازہ لگاتا ہے۔ پھر بڑا ہدف ماڈل ان پانچوں اندازہ شدہ ٹوکنوں کو ایک ہی متوازی فارورڈ پاس میں بیک وقت پروسیس کر کے ان کے احتمالات جانچتا ہے۔ چونکہ 5 ٹوکنوں کی متوازی تصدیق تقریباً اتنا ہی وقت لیتی ہے جتنا 1 ٹوکن بنانا، نظام تمام مماثل ٹوکن ایک ساتھ قبول کر لیتا ہے، یوں ریاضیاتی طور پر یکساں آؤٹ پٹ معیار کے ساتھ تخلیق 2× سے 3× تیز ہوتی ہے۔

2. ماہرین کا امتزاج (MoE) & ایکسپرٹ متوازی عمل

ڈینس ماڈل ہر ایک ٹوکن کے لیے اپنے 100% پیرامیٹرز فعال کرتے ہیں، جس سے بہت بڑے ماڈل چلانا حد سے زیادہ مہنگا ہوتا ہے۔ Mixture-of-Experts (MoE) آرکیٹیکچر ماڈل کے کل علم کو فی ٹوکن حسابی لاگت سے الگ کرتے ہیں۔

• MoE پرتیں کیسے کام کرتی ہیں (Mixtral & DeepSeek)۔

• MoE Transformer بلاک میں واحد ڈینس Feed-Forward Network (FFN) کی جگہ چھوٹے آزاد FFNs کا مجموعہ ہوتا ہے جنہیں Experts کہا جاتا ہے (مثلاً Mixtral 8x7B میں 8 ماہرین، یا DeepSeek-V3 میں 256 باریک تقسیم والے ماہرین)۔
• ایک ہلکا پھلکا تربیت یافتہ Router (Gating Network) ہر آنے والے ٹوکن کو دیکھتا ہے اور اسے صرف top-K متعلقہ ترین ماہرین (عموماً 2 سے 8 ماہرین) کی طرف بھیجتا ہے۔ ماڈل کے کل پیرامیٹرز میموری میں 600B+ ہو سکتے ہیں، مگر فی ٹوکن صرف 37B پیرامیٹرز فعال ہوتے ہیں، یوں حسابی لاگت کے ایک حصے پر بہت بڑے ماڈل کی ذہانت حاصل ہوتی ہے۔
• مشترکہ ماہرین & معاون لاس سے آزاد توازن۔ DeepSeek جیسے جدید MoE ڈیزائن چند مشترکہ ماہرین مخصوص کرتے ہیں جو عمومی بنیادی علم حاصل کرنے کے لیے ہر ٹوکن پروسیس کرتے ہیں، جبکہ روٹ کیے گئے ماہرین خاص شعبوں میں مہارت رکھتے ہیں۔ متحرک بائس ایڈجسٹمنٹ "روٹنگ کولیپس" کو روکتی ہیں (جس میں راؤٹر چند مقبول ماہرین پر بہت زیادہ بوجھ ڈال کر باقیوں کو نظر انداز کرتا ہے)۔

• GPUs کے درمیان ایکسپرٹ متوازی عمل (EP)۔

• چونکہ MoE ماڈل میں سینکڑوں ماہرین ہوتے ہیں، وہ ایک GPU میں نہیں سما سکتے۔ ایکسپرٹ متوازی عمل مختلف ماہرین مختلف GPUs میں بانٹتا ہے (مثلاً ماہرین 1–4، GPU 0 پر، ماہرین 5–8، GPU 1 پر)۔
• All-to-All ابلاغ۔ جب GPU 0 ٹوکنوں کے کسی بیچ پر کام کرتا ہے، تو اس کا راؤٹر بعض ٹوکن GPU 3 پر موجود ماہرین کو دے سکتا ہے۔ اس لیے ہر MoE پرت All-to-All ارسال کرتی ہے، ٹوکنوں کی پوشیدہ حالتیں تیز NVLink/InfiniBand رابطوں سے اس GPU کو بھیجتی ہے جہاں متعلقہ ماہر موجود ہو، ماہر کے FFN کا حساب کرتی ہے، اور نتائج واپس لانے کے لیے دوسرا All-to-All یکجائی قدم انجام دیتی ہے۔

3. NVIDIA Blackwell (B200) & دوسری نسل کا Transformer Engine (FP4)

ٹریلین پیرامیٹرز والے استدلالی اور MoE ماڈلوں کا پیمانہ بڑھانے کے لیے متعارف کردہ NVIDIA Blackwell (B200) آرکیٹیکچر نے ملٹی ڈائی پیکیجنگ اور ذیلی بائٹ عددی دقت دونوں کو ازسرنو ڈیزائن کیا۔

• دو ڈائی پر مشتمل متحد آرکیٹیکچر۔

• ایک B200 GPU میں 208 ارب ٹرانزسٹرز دو ریٹیکل کی حد والے ڈائیز پر ہوتے ہیں، جو 10 TB/s NV-HBI (High-Bandwidth Interface) کے ذریعے جڑے ہوتے ہیں۔ CUDA کرنلز اور سافٹ ویئر فریم ورکس کے لیے دونوں ڈائیز کسی بھی کیش کوہیرنسی جرمانے کے بغیر ایک واحد متحد GPU کے طور پر کام کرتے ہیں۔
• HBM3e میموری بینڈوڈتھ۔ 192 GB HBM3e VRAM اور 8 TB/s میموری بینڈوڈتھ (H100 کی 3.35 TB/s سے دوگنی سے زیادہ) کے ساتھ Blackwell براہ راست KV کیشز اور MoE وزن لوڈ کرنے کی میموری بینڈوڈتھ رکاوٹوں کو ہدف بناتا ہے۔

• دوسری نسل کا Transformer Engine & NVFP4۔

• جہاں Hopper نے 8-bit فلوٹنگ پوائنٹ (FP8) متعارف کرایا، وہیں Blackwell کا دوسری نسل کا Transformer Engine، Tensor Core حساب کو 4-bit فلوٹنگ پوائنٹ (FP4) تک لاتا ہے، جس سے خام حسابی تھروپٹ پھر دوگنا ہوتا ہے (فی GPU ڈینس FP4 حساب کے 20 petaFLOPS تک) اور FP8 کے مقابلے میں میموری کی ضرورت آدھی رہ جاتی ہے۔
• مائیکرو ٹینسر اسکیلنگ (NVFP4) سے FP4 کی متحرک حد کا حل۔ معیاری 4-bit اعداد کی صرف 16 ممکنہ قدریں ہوتی ہیں، جس سے اعصابی ایکٹیویشنز میں انتہائی غیر معمولی اعداد آنے پر عموماً درستگی تباہ ہو جاتی ہے۔ Blackwell ہارڈویئر میں دو سطحی مائیکرو اسکیلنگ سے یہ حل کرتا ہے: بڑے میٹرکس پر ایک اسکیلنگ عامل لگانے کے بجائے Blackwell وزنوں اور ایکٹیویشنز کو 16 عناصر کے ننھے بلاکس میں بانٹتا ہے، اور ہر ننھے بلاک کو عالمی FP32 ٹینسر اسکیل کے ساتھ اپنا اعلیٰ دقت والا FP8 اسکیلنگ عامل دیتا ہے۔
• ہارڈویئر سے تیز کردہ کوانٹائزیشن۔ Transformer Engine متحرک طور پر پرت بہ پرت ٹینسر کی حدود دیکھتا ہے اور اضافی میموری آمدورفت کے بغیر براہ راست Tensor Core پائپ لائن میں قدروں کو FP16/BF16، FP8 اور NVFP4 کے درمیان بدلتا ہے۔