CUDA Graphs، استدلالی ماڈل اور الگ الگ سرونگ

جدید AI بنیادی ڈھانچا CPU کے اضافی بوجھ کو ختم کرنے، انفرنس کے وقت استدلالی لوپس، اور مرحلہ وار مخصوص GPU کلسٹر روٹنگ کے ذریعے کارکردگی کو سلیکون اور کلسٹرز کی طبعی حدود تک پہنچاتا ہے۔ یہ تین تکنیکیں آج کے تیز ترین اور ذہین ترین پیداواری AI نظاموں کو طاقت دیتی ہیں۔

1. CUDA Graphs اور کرنل فیوژن: CPU & میموری کا اضافی بوجھ ختم کرنا

جیسے جیسے جدید GPUs (جیسے H100 اور B200) کی رفتار بہت تیزی سے بڑھی ہے، ایک ہلکا GPU کرنل چلانے میں صرف 2 سے 5 مائیکرو سیکنڈ لگ سکتے ہیں۔ تاہم CPU کو PCIe ڈرائیور کے ذریعے اس کرنل کی تیاری، توثیق اور اجرا میں ہی اکثر 10 سے 20 مائیکرو سیکنڈ لگتے ہیں، جس سے کئی ملین ڈالر کا GPU، CPU ہدایات کے انتظار میں بالکل فارغ بیٹھا رہتا ہے۔

• کرنل فیوژن (میموری اور اجرا بچانے کے لیے آپریشنز ملانا)۔

• بغیر فیوژن کی رکاوٹ۔ ایک معیاری Transformer پرت درجنوں ننھے آپریشنز سلسلہ وار انجام دیتی ہے (مثلاً LayerNorm → Linear → Add Residual → GeLU)۔ فیوژن کے بغیر GPU ہر قدم کے لیے الگ کرنل چلاتا ہے، درمیانی ٹینسرز سست HBM (VRAM) میں لکھتا ہے اور اگلے قدم کے لیے فوراً دوبارہ پڑھتا ہے۔
• فیوژ شدہ اجرا۔ torch.compile (TorchInductor) اور TensorRT-LLM جیسے کمپائلرز متعدد عنصر وار اور ریڈکشن آپریشنز کو ایک حسب ضرورت CUDA/Triton کرنل میں یکجا کرتے ہیں۔ قدریں HBM سے ایک بار لوڈ ہوتی ہیں، چِپ پر موجود انتہائی تیز رجسٹرز/SRAM کے اندر تبدیل ہوتی ہیں، اور صرف بالکل آخر میں واپس HBM میں لکھی جاتی ہیں، جس سے میموری بینڈوڈتھ ٹریفک اور کرنل اجرا کی تعداد دونوں بہت کم ہوتے ہیں۔

• CUDA Graphs (اجرا کی پوری پائپ لائنیں ایک ہی بار میں دوبارہ چلانا)۔

• ریکارڈ اور ری پلے۔ کرنل فیوژن کے بعد بھی LLM کے فارورڈ پاس کو ہر بنائے گئے ٹوکن کے لیے سینکڑوں کرنل اجرا درکار ہوتے ہیں۔ CUDA Graphs وارم اپ رن کے دوران GPU آپریشنز کی پوری ترتیب، یعنی کرنلز، میموری کی نقول اور انحصارات، محفوظ کر کے اور انہیں براہ راست GPU میموری میں رکھے ایک جامد اجرائی گراف میں کمپائل کر کے یہ مسئلہ حل کرتے ہیں۔
• CPU کی صفر مداخلت۔ حقیقی وقت کے انفرنس میں CPU کے 300 الگ کرنل ایک ایک کر کے چلانے کے بجائے CPU ایک واحد API کال (cudaGraphLaunch) جاری کرتا ہے جو GPU پر پورا فارورڈ پاس خودمختار طور پر شروع کر دیتی ہے۔
• متحرک شکلوں کا انتظام۔ چونکہ CUDA Graphs کو جامد میموری پتے اور ٹینسر شکلیں درکار ہوتی ہیں، انفرنس انجن آنے والے بیچز کو پیڈنگ سے مقررہ بکٹ سائزوں (مثلاً بیچ سائز 1، 2، 4، 8، 16) تک لاتے ہیں اور پہلے سے محفوظ گراف دوبارہ چلانے سے پہلے ان پٹ پوائنٹرز کو اسی جگہ اپ ڈیٹ کرتے ہیں۔

2. ٹیسٹ کے وقت حساب & استدلالی ماڈل (o1/o3 & DeepSeek-R1)

تاریخی طور پر AI لیبز ذہانت بڑھانے کے لیے صرف پری ٹریننگ پر زیادہ حسابی قوت لگاتی تھیں (زیادہ انٹرنیٹ متن پر تربیت یافتہ بڑے ماڈل)۔ OpenAI کے o1/o3 اور DeepSeek-R1 جیسے استدلالی ماڈلوں نے پیمانہ بندی کا دوسرا محور کھولا: Test-Time Compute (انفرنس کے وقت پیمانہ بڑھانا)، جس سے ماڈل جواب دینے سے پہلے زیادہ دیر "سوچ" سکتے ہیں۔

• Chain-of-Thought (CoT) کے لیے ری اِنفورسمنٹ لرننگ۔

• قدم بہ قدم استدلال کی صرف انسانی لکھی مثالوں پر انحصار کے بجائے ان ماڈلوں کو ریاضی، کوڈنگ اور صوری منطق جیسے قابل تصدیق شعبوں میں بڑے پیمانے کی Reinforcement Learning (RL) سے تربیت دی جاتی ہے (جیسے DeepSeek-R1 میں GRPO یعنی Group Relative Policy Optimization)۔
• ماڈل استدلال کے متعدد ممکنہ راستے بناتا ہے، اسے معروضی انعامات صرف تب ملتے ہیں جب آخری جواب یونٹ ٹیسٹ یا ریاضیاتی تصدیق میں کامیاب ہو، اور وہ خودبخود ابھرتے ہوئے ادراکی رویے دریافت کرتا ہے، جن میں خود تصدیق، بند راستہ ملنے پر پیچھے لوٹنا، اور پیچیدہ مسائل کو ذیلی مقاصد میں بانٹنا شامل ہیں۔

• انفرنس کا حسابی پیمانہ کیسے بڑھتا ہے۔

• مشکل پرامپٹ ملنے پر ماڈل آخری جواب دینے سے پہلے پوشیدہ اسکریچ پیڈ میں ہزاروں اندرونی "سوچ کے ٹوکن" بناتا ہے۔ جیسے جیسے ماڈل مفروضے کھوجنے پر مزید انفرنس ٹوکن صرف کرتا ہے، درستگی لوگارتھمی انداز میں بہتر ہوتی ہے۔
• حسابی سودے کا بدلنا۔ روایتی LLMs میں انفرنس سستا اور تیز ہوتا ہے (تقریباً 50 آؤٹ پٹ ٹوکن بنانا)۔ استدلالی ماڈلوں میں ایک سوال 10,000 سے 50,000 سوچ کے ٹوکن پیدا کر سکتا ہے، جس سے انفرنس بڑے اور مسلسل بیچ جنریشن کام میں بدل جاتا ہے جس پر KV کیش کی بڑھوتری اور طویل سیاق کی اٹینشن کی کارکردگی غالب ہوتی ہے۔

3. الگ الگ Prefill اور Decode

LLM کی سرونگ دو بنیادی طور پر متضاد حسابی مراحل پر مشتمل ہوتی ہے۔ دونوں مراحل کو بالکل ایک ہی GPU پر چلانے سے شیڈولنگ کے شدید تصادم اور ہارڈویئر کا ناکافی استعمال پیدا ہوتا ہے۔

• ایک ہی جگہ رکھنے سے مداخلت کا مسئلہ۔

• روایتی متحد سرونگ میں اگر ایک صارف Prefill کے لیے 32,000 ٹوکن کی بڑی دستاویز بھیجے جبکہ 50 دوسرے صارفین کے Decode ٹوکن اسٹریم ہو رہے ہوں، تو بہت بڑی prefill میٹرکس ریاضی GPU کے Tensor Cores پر قبضہ کر لیتی ہے، جس سے تمام 50 اسٹریمنگ صارفین کو نمایاں رکاوٹیں اور تاخیر کے اچانک اضافے ("اٹکنا") پیش آتے ہیں۔
• اس کے علاوہ Prefill کو زیادہ حسابی FLOPs درکار ہوتے ہیں، جبکہ Decode کو بڑی بیچ KV کیشز رکھنے کے لیے بہت زیادہ HBM میموری بینڈوڈتھ اور گنجائش چاہیے۔

• کلسٹر کو تقسیم کرنا (الگ الگ آرکیٹیکچر)۔

• جدید انتہائی بڑے پیمانے کے انفرنس نظام (جیسے Mooncake، DistServe اور NVIDIA Dynamo) GPU کلسٹر کو دو مخصوص پولز میں بانٹتے ہیں:
• 1. Prefill پول: خام حسابی تھروپٹ (Tensor Core کا زیادہ استعمال، کم ٹینسر متوازی عمل) کے لیے بہتر بنایا جاتا ہے تاکہ لمبے پرامپٹس تیزی سے پروسیس ہوں اور پہلے ٹوکن تک وقت، Time-To-First-Token (TTFT)، کے سخت اہداف پورے ہوں۔
• 2. Decode پول: زیادہ میموری بینڈوڈتھ اور بڑی KV کیش گنجائش (زیادہ وسیع ٹینسر/ایکسپرٹ متوازی عمل، بڑے بیچ سائز) کے لیے بہتر بنایا جاتا ہے تاکہ فی سیکنڈ ٹوکن کی بلند ترین رفتار پر ٹوکن ہمواری سے اسٹریم ہوں۔
• تیز رفتار KV Cache منتقلی۔ جب Prefill GPU پرامپٹ کی پروسیسنگ مکمل کر کے ابتدائی KV Cache بنا لیتا ہے، تو وہ اس KV Cache کو انتہائی تیز NVLink یا InfiniBand RDMA رابطوں سے براہ راست Decode GPU کی VRAM میں اسٹریم کرتا ہے، جو کسی بھی مداخلت کے بغیر فوراً ٹوکن بنانا سنبھال لیتا ہے۔