Table of Contents

দুটি 16 GB RTX 5060 Ti কার্ডে মোট 32 GB VRAM পাওয়া যায়। NVIDIA GB10 সিস্টেমে 128 GB কোহেরেন্ট ইউনিফায়েড মেমরি রয়েছে। নতুন পাঁচ-মডেলের বেঞ্চমার্কে আগের শুধু-Qwen পরীক্ষার তুলনায় বেশি ভারসাম্যপূর্ণ ফল দেখা যায়।

256K সেটিংয়ে পাঁচটির মধ্যে চারটি মডেলে দুটি কার্ডের সিস্টেমের জেনারেশন গতি বেশি। Qwen3.8 27B-তে GB10 স্পষ্টভাবে এগিয়ে এবং মডেল, কনটেক্সট ও রানটাইম বরাদ্দের জন্য বেশি মেমরি খালি রাখে। সেরা পছন্দ মডেল ও কাজের ধরনের ওপর নির্ভর করে।

একই হোস্টে আরেকটি পরীক্ষায় Strata-তে Qwen3.8-Flash-Next IQ2_XS-এর সঙ্গে Ollama-তে dense Qwen3.8 27B Q4_K_M তুলনা করা হয়। ওয়ার্মআপের পর 260,446-টোকেন প্রম্পটে Flash-Next-এর জেনারেশন মিডিয়ান ছিল প্রতি সেকেন্ডে 92.8 টোকেন। 260,444-টোকেন প্রম্পটে dense Qwen3.8 প্রতি সেকেন্ডে 0.939 টোকেন পেয়েছে।

NVIDIA GB10-এ 128 GB কোহেরেন্ট ইউনিফায়েড মেমরি রয়েছে। NVIDIA GB10 প্ল্যাটফর্মে 128 GB LPDDR5x ইউনিফায়েড মেমরি এবং 140 W চিপ TDP উল্লেখ করেছে। প্রতিটি RTX 5060 Ti-তে 16 GB GDDR7, 128-বিট মেমরি ইন্টারফেস এবং 180 W মোট গ্রাফিক্স পাওয়ার রেটিং রয়েছে। হার্ডওয়্যারের পার্থক্য NVIDIA RTX 5060 Ti স্পেসিফিকেশন এবং NVIDIA GB10 স্পেসিফিকেশন -এ বর্ণিত হয়েছে।

দুটি সিস্টেম মেমরি একইভাবে উপস্থাপন করে না। দুটি কার্ডে আলাদা দুটি 16 GB পুল তৈরি হয়। GB10 একটি শেয়ারড অ্যাড্রেস স্পেসে মডেল, কনটেক্সট ডেটা, রানটাইম বাফার এবং অপারেটিং সিস্টেমের বরাদ্দ রাখে।

মেমরির তুলনা

সিস্টেমমেমরিমেমরি মডেলউল্লিখিত পাওয়ার
2x RTX 5060 Ti 16 GBমোট 32 GBGPU-র দুটি আলাদা মেমরি পুলমোট 360 W GPU
GB10 সিস্টেম128 GBকোহেরেন্ট ইউনিফায়েড সিস্টেম মেমরিGB10 TDP 140 W

LPDDR5x মেমরি বিচ্ছিন্ন GPU-র ব্যান্ডউইডথের সমান নয়, তাই GB10 সব থ্রুপুট পরীক্ষায় জেতে না। এর সুবিধা আসে ধারণক্ষমতা ও ডেটা রাখার ব্যবস্থায়। CPU ও GPU একই অ্যাড্রেস স্পেস শেয়ার করে, ফলে ওয়ার্কিং সেটকে বিচ্ছিন্ন দুটি 16 GB ডিভাইসে ভাগ করে ধরাতে হয় না।

দুটি কার্ডের সিস্টেমে ডেটা কোথায় থাকবে, সেই সমস্যা আছে। মডেলকে দুই কার্ডে ভাগ করতে হয় এবং রানটাইমকে তাদের মধ্যে ডেটা সরাতে হয়। PCIe ট্র্যাফিক লেটেন্সি বাড়ায় ও ব্যান্ডউইডথ খরচ করে। NVIDIA-র স্পেসিফিকেশন অনুযায়ী RTX 5060 Ti NVLink সমর্থন করে না।

পাঁচ-মডেলের বেঞ্চমার্ক

আপডেট করা পরীক্ষায় দুই সিস্টেমে একই রিকোয়েস্ট ম্যাট্রিক্স ব্যবহার করা হয়েছে। এতে পাঁচটি Ollama মডেলকে 4K, 16K, 32K, 64K, 128K এবং 256K কনটেক্সটে পরীক্ষা করা হয়েছে। প্রতিটি রিকোয়েস্ট temperature 0-তে 128 টোকেন তৈরি করেছে।

পরীক্ষিত মডেল ট্যাগগুলো ছিল:

  • Qwen3.8 27B: qwen3.8:27b
  • GPT-OSS 20B: gpt-oss:20b
  • Qwen3.6 35B-A3B: qwen3.6:35b
  • Qwen3.5 35B-A3B: qwen3.5:35b-a3b-q4_K_M
  • Nemotron 3.5 Lightning 30B-A3B: nemotron-3.5-lightning:30b-a3b-q4_K_M

দুই-কার্ড সিস্টেমে দুটি 16 GB RTX 5060 Ti ছিল। GB10 সিস্টেমে 128 GB ইউনিফায়েড মেমরি ব্যবহৃত হয়েছে। Ollama সংস্করণ দুই-কার্ড সিস্টেমে 0.34.2 এবং GB10-এ 0.40.2 ছিল।

জেনারেশন গতি

প্রম্পট প্রসেসিংয়ের পর তৈরি টোকেনের সংখ্যা দিয়ে জেনারেশন গতি মাপা হয়। ইন্টারঅ্যাক্টিভ কথোপকথনে এই মেট্রিকটি সবচেয়ে গুরুত্বপূর্ণ।

দুটি RTX 5060 Ti-র সিস্টেম:

কনটেক্সটGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K91.518162.027117.547156.10455.654
16K87.176161.377112.903140.59651.656
32K82.372157.055106.455144.83347.369
64K74.661135.10695.979125.00838.863
128K62.767130.92479.572115.35226.399
256K67.853106.22158.94767.1591.079

GB10:

কনটেক্সটGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K62.19998.64872.405100.90632.985
16K56.76494.36669.78295.44832.939
32K53.25798.17564.05595.02529.772
64K49.20196.13258.42884.52825.625
128K40.63780.23848.10874.57922.294
256K43.68868.04336.64962.11522.371

256K-তে GPT-OSS, Nemotron, Qwen3.5 এবং Qwen3.6-এর ক্ষেত্রে দুই-কার্ড সিস্টেম দ্রুত টোকেন তৈরি করেছে। Qwen3.8-এ GB10 বড় ব্যবধানে দ্রুত। দুই-কার্ড সিস্টেমে Qwen3.8-এর গতি কমে প্রতি সেকেন্ডে 1.079 টোকেন হয়েছে, আর GB10 প্রতি সেকেন্ডে 22.371 টোকেন তৈরি করেছে।

Qwen3.6-এর ফল কাছাকাছি। দুই-কার্ড সিস্টেম প্রতি সেকেন্ডে 67.159 টোকেন এবং GB10 62.115 টোকেন পেয়েছে। এই ফল থেকে বলা যায় না যে ইউনিফায়েড মেমরি সবসময় জেতে বা দুটি বিচ্ছিন্ন GPU সবসময় জেতে।

প্রম্পট প্রসেসিং গতি

জেনারেশনের আগে রানটাইম কত দ্রুত ইনপুট কনটেক্সট পড়ে, তা প্রম্পট প্রসেসিং মাপে। দীর্ঘ নথি ও বারবার কনটেক্সট পুনরায় লোডের ক্ষেত্রে এটি গুরুত্বপূর্ণ।

দুটি RTX 5060 Ti-র সিস্টেম:

কনটেক্সটGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K4745.92409.02701.7464.3783.9
16K7617.03031.84175.32654.0840.1
32K8099.53074.24335.82623.2811.2
64K6809.52893.04129.92400.4727.8
128K5089.92362.73084.01723.6546.1
256K5838.31813.22229.11011.0251.3

GB10:

কনটেক্সটGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K3295.5576.02067.9628.8756.9
16K4675.53006.72691.22556.3812.6
32K4571.43077.92691.72563.9794.1
64K3704.73066.92585.32444.9714.0
128K2857.02802.92360.42229.9655.5
256K3243.42325.41938.51817.6535.1

256K-তে GPT-OSS ও Qwen3.5-এর প্রম্পট প্রসেসিংয়ে দুই-কার্ড সিস্টেম এগিয়ে ছিল। Nemotron, Qwen3.6 ও Qwen3.8-এ GB10 এগিয়ে ছিল। মডেল আর্কিটেকচার ও রানটাইমের আচরণ মেমরি ইন্টারফেসের মতোই গুরুত্বপূর্ণ।

Qwen3.8 Flash-Next-এর অতিরিক্ত বেঞ্চমার্ক

দুটি RTX 5060 Ti-র সিস্টেমে 4K ও 16K কনটেক্সটে Qwen3.8 Flash-Next GGUF প্যাকেজ তিনটি অতিরিক্ত পরীক্ষায় মাপা হয়েছে। প্রতিটি সারিতে Hugging Face-এর নির্দিষ্ট মডেল রেফারেন্স ও কোয়ান্টাইজেশন দেখানো হয়েছে।

নির্দিষ্ট মডেলকোয়ান্টাইজেশন4K জেনারেশন16K জেনারেশন
hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ2_XSIQ2_XS31.77 tok/s28.20 tok/s
hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_SIQ3_S24.54 tok/s22.60 tok/s
hf.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF:Q4_K_MQ4_K_M17.91 tok/s17.02 tok/s

এই দলে IQ2_XS প্যাকেজের থ্রুপুট সর্বোচ্চ ছিল। 4K-তে এটি প্রতি সেকেন্ডে 31.77 টোকেন পেয়েছে, যেখানে IQ3_S পেয়েছে 24.54 এবং Q4_K_M পেয়েছে 17.91। 16K-তেও একই ক্রম ছিল: প্রতি সেকেন্ডে 28.20, 22.60 ও 17.02 টোকেন।

Ollama-তে একই নির্দিষ্ট মডেল রেফারেন্সগুলো চালান:

ollama run hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ2_XS
ollama run hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S
ollama run hf.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF:Q4_K_M

আগের এই অতিরিক্ত ফলগুলো দুই-GPU সিস্টেমের পর্যবেক্ষণ। এগুলো উপরের RTX 5060 Ti ও GB10-এর তুলনামূলক রিকোয়েস্ট ম্যাট্রিক্সের অংশ নয়। দেওয়া রেকর্ডে মডেলের নির্দিষ্ট রেফারেন্স, কোয়ান্টাইজেশন, চাওয়া কনটেক্সট এবং জেনারেশন গতি আছে। এতে সমাধান করা ম্যানিফেস্ট ডাইজেস্ট, প্রসেস করা প্রম্পট টোকেনের সংখ্যা, আউটপুটের দৈর্ঘ্য, ওয়ার্ম অবস্থা, ডিভাইস বিভাজন, CPU, সিস্টেম RAM, কুলিং সেটআপ ও মাপার তারিখ নেই।

256K-তে Strata বনাম dense Ollama

14 অক্টোবর 2026-এর দ্বিতীয় বেঞ্চমার্কে একই দুই-RTX 5060 Ti হোস্টে দুটি মডেল ও রানটাইম স্ট্যাক তুলনা করা হয়েছে। dense বেসলাইনে Q4_K_M-এর 27.3-বিলিয়ন প্যারামিটারের Qwen35 মডেল qwen3.8:27b ব্যবহৃত হয়েছে। Flash স্ট্যাকে Strata-র ইউনিফায়েড নেটিভ প্যাকে Qwen4Exp mixture-of-experts মডেল Qwen3.8-Flash-Next IQ2_XS ব্যবহৃত হয়েছে।

এটি স্ট্যাক-স্তরের তুলনা। মডেল আর্কিটেকচার, কোয়ান্টাইজেশন, প্যাকেজিং, এক্সপার্ট রাউটিং ও ইনফারেন্স ইঞ্জিন একসঙ্গে বদলেছে। IQ3_S ও Q4_K_M Flash ভ্যারিয়েন্ট এই পরীক্ষার আওতায় ছিল না।

পরীক্ষা সিস্টেম ও পদ্ধতি

উপাদানরেকর্ড করা কনফিগারেশন
GPU2x NVIDIA GeForce RTX 5060 Ti, প্রতিটি 16 GiB, compute capability 12.0
GPU সংযোগপ্রতি কার্ডে PCIe 4.0 x4, PHB টপোলজি, NVLink নেই
CPUAMD Ryzen 9 5900XT, 32 থ্রেড
হোস্ট মেমরি62 GiB RAM ও 15 GiB swap
NVIDIA ড্রাইভার595.99.02

হ্যারনেসটি কৃত্রিম নম্বরযুক্ত রেকর্ড তৈরি করেছে। প্রতিটি সারির ফরম্যাট ছিল Record 00001: alpha beta gamma delta epsilon zeta eta theta iota kappa. নির্দেশে প্রথমে BENCHMARK_OK, তারপর আউটপুট সীমা পর্যন্ত সংক্ষিপ্ত প্রযুক্তিগত সারাংশ চাওয়া হয়েছিল। ছয়টি প্রম্পটে 180, 720, 1,500, 3,100, 6,200 ও 12,400টি রেকর্ড ছিল।

প্রতিটি রান temperature 0, seed 42 এবং সর্বোচ্চ 128 টোকেন আউটপুট দিয়ে চালানো হয়েছে। প্রতিটি কনটেক্সটে একটি ওয়ার্মআপের পর পাঁচটি রিকোয়েস্ট মাপা হয়েছে। Ollama পরীক্ষা /api/generate এবং Strata পরীক্ষা /v1/chat/completions ব্যবহার করেছে। সব মাপা রিকোয়েস্ট API ত্রুটি ছাড়াই শেষ হয়েছে।

ডিকোড নিয়ন্ত্রণগুলো এক করা হয়নি। Strata স্পষ্টভাবে reasoning_effort-কে none সেট করে এবং চ্যাট টেমপ্লেটের মাধ্যমে thinking বন্ধ করে। Dense Ollama রিকোয়েস্টে think: false পাঠানো হয়নি, এবং পরবর্তী পরীক্ষায় thinking ও response ফিল্ডে dense আউটপুট দেখা গেছে। জেনারেশন ফলকে এই ডিকোড মোডগুলোর জন্য নির্দিষ্ট হিসেবে ধরুন।

কনটেক্সট সেটিংDense প্রম্পট টোকেনFlash প্রম্পট টোকেন
4K3,8243,826
16K15,16415,166
32K31,54431,546
64K65,14465,146
128K130,244130,246
256K260,444260,446

দুই মডেলের হেডারেই সর্বোচ্চ কনটেক্সট 262,144 টোকেন বলা হয়েছে। প্রতিটি চেকপয়েন্টে জোড়া প্রম্পটের পার্থক্য ছিল দুই টোকেন।

ওয়ার্মআপ-পরবর্তী জেনারেশন গতির মিডিয়ান

প্রতিটি মিডিয়ানে একটি ওয়ার্মআপের পর পাঁচটি মাপা রিকোয়েস্ট রয়েছে। প্রতিটি Dense রিকোয়েস্টে চারটি ছাড়া বাকি প্রম্পট টোকেন পুনর্ব্যবহার হয়েছে। Flash রিকোয়েস্টে সাতটি ছাড়া বাকি টোকেন পুনর্ব্যবহার হয়েছে। টেবিলটি ওয়ার্ম ও প্রিফিক্স-ক্যাশড ডিকোড থ্রুপুট দেখায়, কোল্ড এন্ড-টু-এন্ড লেটেন্সি নয়।

কনটেক্সটStrata-তে Flash IQ2_XSOllama-তে Dense Q4_K_MFlash-এর এগিয়ে থাকা
4K98.4 tok/s65.0 tok/s1.51x
16K96.8 tok/s60.6 tok/s1.60x
32K95.3 tok/s64.4 tok/s1.48x
64K89.6 tok/s51.2 tok/s1.75x
128K92.9 tok/s31.5 tok/s2.95x
256K92.8 tok/s0.939 tok/s98.9x

64K থেকে 256K পর্যন্ত Flash স্ট্যাক প্রতি সেকেন্ডে প্রায় 90 টোকেন ধরে রেখেছে। 64K-এর পর Dense Qwen3.8 দ্রুত ধীর হয়েছে এবং 256K-তে প্রতি সেকেন্ডে 0.939 টোকেনে পৌঁছেছে। 256K-তে Flash-এর উত্তর 67 টোকেনের পর স্বাভাবিকভাবে শেষ হয়েছে। Dense রান 128 টোকেনের আউটপুট সীমায় পৌঁছেছে।

প্রথম রিকোয়েস্টে প্রম্পট প্রসেসিং

কনটেক্সটFlash-এর প্রথম রিকোয়েস্টDense-এর প্রথম রিকোয়েস্ট
4K1,134 tok/s832 tok/s
16K2,013 tok/s856 tok/s
32K2,386 tok/s799 tok/s
64K2,509 tok/s690 tok/s
128K2,538 tok/s489 tok/s
256K2,399 tok/s214 tok/s

Dense-এর প্রথম রিকোয়েস্ট প্রতিটি চেকপয়েন্টে পুরো প্রম্পট প্রসেস করেছে। Strata 64K-তে 16,384, 128K-তে 49,152 এবং 256K-তে 114,688 প্রিফিক্স টোকেন পুনর্ব্যবহারের কথা জানিয়েছে। 64K থেকে 256K পর্যন্ত Flash গতি প্রথম রিকোয়েস্টের ধারাবাহিক প্রসেসিং হিসেবে ধরুন, ক্যাশবিহীন সম্পূর্ণ prefill নয়।

256K-তে Strata প্রথম রিকোয়েস্ট 60.8 সেকেন্ডে প্রসেস করেছে। Ollama-র প্রায় 1,215.4 সেকেন্ড লেগেছে। প্রিফিক্স পুনর্ব্যবহারের কারণে এই চেকপয়েন্টে কোল্ড prefill সরাসরি তুলনা করা যায় না।

দীর্ঘ কনটেক্সটের পার্থক্য রানটাইমের অবস্থান ব্যাখ্যা করে

Ollama 0.34.2 CUDA layer offload, ChatML টেমপ্লেট এবং সর্বোচ্চ draft width চারসহ MTP speculative decoding ব্যবহার করেছে। Batch ও microbatch আকার 32K-তে 1,024 এবং 64K থেকে 256K-তে 512 ছিল। 32K ও 64K-তে Dense-এর 66টি স্তরই GPU-তে ছিল। 128K-তে 66টির মধ্যে 63টি স্তর GPU-তে ছিল এবং 1,404 MiB CPU-mapped মেমরিতে গেছে। 256K-তে 42টি স্তর GPU-তে ছিল এবং 6,002 MiB CPU-mapped মেমরিতে গেছে। 256K-তে MTP গ্রহণের হার প্রায় 69.4 শতাংশ ছিল।

CUDA 13.0.3-সহ Strata 0.1.44.1 তার 48টি স্তর দুই GPU-তে ভাগ করে রেখেছে। 4K ও 16K কনফিগারেশনে 0 থেকে 23 স্তর প্রথম GPU-তে এবং 24 থেকে 47 দ্বিতীয় GPU-তে ছিল। এই ধাপে স্বয়ংক্রিয় 700 MiB VRAM রিজার্ভ ও 16,047টি resident expert slot ব্যবহৃত হয়েছে।

32K থেকে 256K কনফিগারেশনে 0 থেকে 24 স্তর প্রথম GPU-তে এবং 25 থেকে 47 দ্বিতীয় GPU-তে ছিল। এই ধাপে স্বয়ংক্রিয় prefill, speculative minimum probability 0.5, INT8 KV স্টোরেজ, প্রতি QSA স্তরে 32,768 resident KV cell, 832 MiB VRAM রিজার্ভ, 15,318 slot ও 21,024 MiB-র expert cache এবং সর্বোচ্চ draft width চারসহ MTP speculative decoding ব্যবহৃত হয়েছে।

Strata native ও PLE blob-এর digest ছিল sha256:1473e0664c2017095f9164b6d617d7a71893452c1180c83002c4f28fc8c2b0da। রানটি এমন একটি expert profile ও MTP draft pack-এর ওপরও নির্ভর করেছিল, যেগুলোর immutable digest প্রকাশিত হয়নি।

Strata রান ডিফল্ট route-tail skip mode ব্যবহার করেছে। এই সেটিং মডেলের আউটপুট সামান্য বদলায়, তাই ফলটি রেকর্ড করা রানটাইম কনফিগারেশনের জন্য নির্দিষ্ট। Flash উত্তরে BENCHMARK_OK মার্কার ছিল। Dense রিকোয়েস্টে API ত্রুটি ছিল না, কিন্তু মূল হ্যারনেস মার্কারটি ধরতে পারেনি। এর raw সারিতে শূন্য response character লেখা হয়েছিল। পরবর্তী পরীক্ষায় response ও thinking ফিল্ডে আউটপুট পাওয়া যায় এবং response-এ BENCHMARK_OK নিশ্চিত হয়।

4K ও 16K কনফিগারেশনে 409 MiB ফাঁকা মেমরিতে একটি রিকোয়েস্ট লগ হয়েছিল এবং 832 MiB রিজার্ভ সুপারিশ করা হয়েছিল। দীর্ঘ-কনটেক্সট কনফিগারেশনে 481 MiB ফাঁকা মেমরিতে একটি রিকোয়েস্ট লগ হয়েছিল এবং 896 MiB রিজার্ভ সুপারিশ করা হয়েছিল। দুটিই ইঞ্জিনের 512 MiB driver-paging সীমার নিচে ছিল। কোনো রিকোয়েস্ট ব্যর্থ হয়নি, তবে কম মেমরির এই অবস্থা পুনরাবৃত্তিযোগ্যতায় প্রভাব ফেলে।

98.9x মানটিকে পুরো স্ট্যাকের দীর্ঘ-কনটেক্সট ফল হিসেবে ধরুন, শুধু ইঞ্জিনের 98.9x সুবিধার প্রমাণ হিসেবে নয়। পরীক্ষাটি হোস্টকে আলাদা করে; মডেল, কোয়ান্টাইজেশন বা রানটাইমকে আলাদা করে না।

প্রম্পটের প্রকৃত দৈর্ঘ্য গুরুত্বপূর্ণ

চাওয়া কনটেক্সট প্রসেস করা প্রম্পট টোকেনের সংখ্যার সমান নয়। 256K সেটিংয়ে দুই সিস্টেমেই Qwen3.5, Qwen3.6, Nemotron ও Qwen3.8 পরীক্ষায় প্রায় 171,359 থেকে 171,365টি প্রকৃত প্রম্পট টোকেন প্রসেস হয়েছে।

256K সেটিংয়ে দুই সিস্টেমেই GPT-OSS প্রকৃত 65,538টি প্রম্পট টোকেন প্রসেস করেছে। তাই এর 256K সারি অন্য মডেলগুলোর সমান ইনপুট দৈর্ঘ্য বোঝায় না।

256K-তে Qwen3.8-এর ফল সবচেয়ে স্পষ্ট পার্থক্য দেখায়। দুই-কার্ড সিস্টেম 171,359 প্রম্পট টোকেন প্রতি সেকেন্ডে 251.3 টোকেন গতিতে প্রসেস করেছে এবং জেনারেশন করেছে প্রতি সেকেন্ডে 1.079 টোকেনে। GB10 একই সংখ্যক প্রম্পট টোকেন প্রতি সেকেন্ডে 535.1 টোকেন গতিতে প্রসেস করেছে এবং প্রতি সেকেন্ডে 22.371 টোকেনে জেনারেশন করেছে।

কনটেক্সট সেটিং চাওয়া সীমা দেখায়। প্রকৃত প্রম্পট-টোকেনের সংখ্যা রানটাইমের সম্পন্ন করা কাজটি দেখায়।

মোট VRAM কেন এখনও গুরুত্বপূর্ণ

1. মডেল একটিমাত্র 32 GB কার্ড দেখে না

দুটি GPU-র মেমরি একত্রে একটি স্থানীয় অ্যাড্রেস স্পেস হয় না। Model-parallel রানটাইম স্তর বা টেনসর ডিভাইসগুলোর মধ্যে ভাগ করে। প্রতিটি ডিভাইসে তার নির্ধারিত ওজন, অস্থায়ী বাফার এবং কনটেক্সট স্টেটের অংশ রাখার জায়গা দরকার।

সহজ যোগফল থেকে যে ধারণক্ষমতা বোঝা যায়, ব্যবহারযোগ্য ক্ষমতা তার চেয়ে কম। সঠিক ওভারহেড মডেল ফরম্যাট, কোয়ান্টাইজেশন, ইনফারেন্স ব্যাকএন্ড, টেনসর বিভাজন ও কনটেক্সটের দৈর্ঘ্যের ওপর নির্ভর করে।

2. জেনারেশনের সময় কনটেক্সট মেমরি বাড়ে

মডেলের ওজন মেমরি বাজেটের এক অংশ মাত্র। key-value cache বা KV cache আগের টোকেনগুলোর attention ডেটা রাখে। দীর্ঘ কনটেক্সটে বেশি ক্যাশ মেমরি লাগে। 4K পরীক্ষা দিয়ে 128K বা 256K ডিপ্লয়মেন্টের ফল অনুমান করা যায় না।

নতুন ফল মডেলভেদে ভিন্ন সীমা দেখায়। 256K-তে দুই-কার্ড সিস্টেমে Qwen3.8-এর জেনারেশন গতি মারাত্মকভাবে কমে যায়। অন্য চারটি মডেল দুই সিস্টেমেই ব্যবহারযোগ্য জেনারেশন গতি ধরে রাখে। মেমরি ধারণক্ষমতা গুরুত্বপূর্ণ, কারণ রানটাইম বরাদ্দের জায়গাসহ কোন মডেল-কনটেক্সট সমন্বয় ধরবে তা এটি নির্ধারণ করে।

3. PCIe ট্রান্সফারে অতিরিক্ত খরচ হয়

রানটাইম GPU-গুলোর মধ্যে activation বা tensor সরালে ডেটা হোস্ট ইন্টারকানেক্ট দিয়ে যায়। এতে সিঙ্ক্রোনাইজেশনের পয়েন্ট তৈরি হয় এবং প্রতিটি ধাপে লেটেন্সি বাড়ে। জরিমানাটি tensor-এর অবস্থান, মডেল আর্কিটেকচার, কোয়ান্টাইজেশন ও কনটেক্সট দৈর্ঘ্যের ওপর নির্ভর করে।

এতে দুই-GPU সিস্টেম অকার্যকর হয়ে যায় না। এর মানে ফল নির্ধারণ করে রানটাইম কনফিগারেশন ও মডেল। শুধু 4K-তে প্রম্পট প্রসেসিং দেখানো বেঞ্চমার্ক এই খরচ বাদ দেয়।

4. বিদ্যুৎ দক্ষতা সিস্টেম-স্তরের সুবিধা

GB10 বেশি মেমরি ধারণক্ষমতা দিয়ে চিপ বা GPU-র কম উল্লিখিত পাওয়ার ব্যবহার করে। দুটি RTX 5060 Ti-র GPU পাওয়ার মিলিয়ে 360 W, বাকি সিস্টেম বাদে। NVIDIA GB10-এর TDP 140 W বলেছে।

GB10 কয়েকটি মডেলে সর্বোচ্চ থ্রুপুটের বদলে বেশি ধারণক্ষমতা, শেয়ারড ওয়ার্কিং সেট এবং কম উল্লিখিত GPU পাওয়ার দেয়। দুই-কার্ড সিস্টেম কয়েকটি নতুন MoE মডেলে বেশি মাপা থ্রুপুট দেয়।

5060ti-x2 সিস্টেমের দাম অনেক কম

দুটি 16 GB RTX 5060 Ti-সহ সম্পূর্ণ ওয়ার্কস্টেশনের দাম 10 অক্টোবর 2026-এ $3,479 ছিল। কনফিগারেশনে Intel Ultra 7 265K, Z890 মাদারবোর্ড, 32 GB DDR5, 1 TB স্টোরেজ, 1,000 W পাওয়ার সাপ্লাই এবং দুটি GPU রয়েছে। সম্পূর্ণ দুই-GPU ওয়ার্কস্টেশনের তালিকা দেখুন ।

NVIDIA-র US মার্কেটপ্লেসে 128 GB DGX Spark-এর দাম $6,950। তালিকায় 128 GB কোহেরেন্ট ইউনিফায়েড মেমরি ও 4 TB NVMe স্টোরেজ আছে, তবে সিস্টেমটি স্টক-আউট দেখানো হয়েছে। NVIDIA-র বর্তমান DGX Spark তালিকা দেখুন ।

AMD Ryzen AI Halo Developer Platform আরেকটি তুলনার ভিত্তি। Micro Center-এ এই Strix Halo সিস্টেমের দাম $3,999.99, সঙ্গে 128 GB LPDDR5x ইউনিফায়েড মেমরি ও 2 TB স্টোরেজ। স্থানীয় AI-এর ব্যবহারিক শ্রেণিতে Strix Halo প্রায়ই GB10-এর সমপর্যায়ে থাকে, যদিও স্বাধীন পরীক্ষায় থ্রুপুট ও সফটওয়্যারের পরিপক্বতায় GB10 এগিয়ে থাকে। Micro Center-এর বর্তমান Linux তালিকা দেখুন এবং Strix Halo বনাম GB10 পর্যালোচনা পড়ুন ।

সম্পূর্ণ সিস্টেম10 অক্টোবর 2026-এর তালিকাভুক্ত দামদামের পার্থক্য
5060ti-x2 ওয়ার্কস্টেশন$3,479ভিত্তিমূল্য
AMD Ryzen AI Halo, Strix Halo$3,999.99$520.99 বেশি
128 GB GB10 DGX Spark$6,950$3,471 বেশি

GB10 বড় ইউনিফায়েড মেমরি পুল ও কম উল্লিখিত GPU পাওয়ার দেয়। AMD সিস্টেম প্রায় $4,000-এ একই 128 GB মেমরি শ্রেণি দেয়। কর ও শিপিংয়ের আগে 5060ti-x2 ওয়ার্কস্টেশনের দাম তালিকাভুক্ত GB10 দামের প্রায় 50%।

এগুলো ভিন্ন বিক্রেতার তালিকাভুক্ত দাম, নিয়ন্ত্রিত খুচরা পণ্যের তুলনা নয়। 5060ti-x2 সিস্টেমে সিস্টেম মেমরি ও স্টোরেজও কম। বর্তমানে 16 GB RTX 5060 Ti কার্ডের দাম প্রতি কার্ড $789 থেকে $830, যা $429 লঞ্চ MSRP-এর অনেক বেশি। তাই GPU-র বর্তমান মূল্যবৃদ্ধির মধ্যেও দুই-কার্ড সিস্টেমের দামের সুবিধা থাকে। RTX 5060 Ti-র বর্তমান দাম যাচাই করুন ।

স্থানীয় AI কাজের জন্য এর অর্থ

দুটি 16 GB কার্ডের সেটআপ দীর্ঘ কনটেক্সটে কয়েকটি কোয়ান্টাইজড 27B থেকে 35B মডেল চালায়। বেঞ্চমার্কে সব মডেলের জন্য একক বিজয়ী নেই।

আপনি যদি এগুলোকে গুরুত্ব দেন, দুই-কার্ড সিস্টেম নিন:

  • এই পরীক্ষায় GPT-OSS, Nemotron, Qwen3.5 ও Qwen3.6-এ বেশি জেনারেশন গতি।
  • পাঁচটি মডেলেই স্বল্প কনটেক্সটে বেশি থ্রুপুট।
  • তালিকাভুক্ত GB10 সিস্টেমের চেয়ে কম ক্রয়মূল্য।
  • NVIDIA বিচ্ছিন্ন GPU-র সঙ্গে সফটওয়্যার সামঞ্জস্য এবং ভবিষ্যতে মডেল পরীক্ষা করার সুযোগ।

আপনি যদি এগুলোকে গুরুত্ব দেন, GB10 নিন:

  • 256K-তে Qwen3.8 27B, যেখানে GB10 জেনারেশনে 20 গুণেরও বেশি দ্রুত।
  • একটি 128 GB মেমরি পুল, যাতে মডেল ওজন, KV ক্যাশ ও রানটাইম বাফারের জন্য বেশি জায়গা আছে।
  • দুটি বিচ্ছিন্ন কার্ডের চেয়ে কম উল্লিখিত GPU বা চিপ পাওয়ার।
  • দুই-কার্ড সেটআপে চাপ ফেলা মডেলের জন্য একাধিক ডিভাইসে কম অবস্থান-সংক্রান্ত সীমাবদ্ধতা।

এটি গুরুত্বপূর্ণ স্থানীয় LLM কাজের জন্য 16 GB VRAM কি যথেষ্ট? নিবন্ধের ধারণক্ষমতা-নির্ধারণ নির্দেশনার সঙ্গে মেলে, যেখানে ওজন, কনটেক্সট ও রানটাইম বরাদ্দকে এক বাজেট হিসেবে ধরা হয়েছে। Qwen 27B-এর 32 GB VRAM নির্দেশিকাও দুই-কার্ড সেটআপে একই সিদ্ধান্তে পৌঁছেছে। মোট ধারণক্ষমতা ব্যবহারযোগ্য অতিরিক্ত জায়গার সমান নয়।

দীর্ঘ-কনটেক্সট ডিপ্লয়মেন্টের জন্য হার্ডওয়্যার কেনার আগে চারটি প্রশ্ন করুন:

  • চাওয়া কোয়ান্টাইজেশন কি রানটাইম বাফারসহ ধরে? শুধু মডেল ওজন দিয়ে মেমরির প্রয়োজন নির্ধারিত হয় না।
  • KV ক্যাশে অতিরিক্ত চাপ না দিয়ে কনটেক্সট ধরে? দীর্ঘ প্রম্পটে ফল বদলে যায়।
  • রানটাইম কি ডিভাইসগুলোর মধ্যে দক্ষভাবে কাজ ভাগ করে? PCIe ট্রান্সফার ও tensor-এর অবস্থান প্রতিটি তৈরি টোকেনে প্রভাব ফেলে।
  • সিস্টেম কি লক্ষ্য কনটেক্সট সম্পূর্ণ করতে পারে? 4K-র দ্রুত ফল 256K কাজ ব্যর্থ হওয়ার ক্ষতি পুষিয়ে দেয় না।

নতুন বেঞ্চমার্ক প্রতিটি মডেল অনুযায়ী প্রশ্নগুলোর উত্তর দেয়। 256K-তে Qwen3.8 স্পষ্টভাবে GB10-এর পক্ষে। এই নির্দিষ্ট সেটআপে অন্য চারটি মডেলে জেনারেশন গতি দুই-কার্ড সিস্টেমের পক্ষে। সর্বোচ্চ মাপা থ্রুপুট না দিলেও বড় ইউনিফায়েড মেমরি পুল বেশি ধারণক্ষমতার অবকাশ দেয়।

একই দুই-GPU হার্ডওয়্যার Strata-তে Flash-Next IQ2_XS দিয়ে 256K-তে ওয়ার্মআপ-পরবর্তী 92.8 টোকেন/সেকেন্ড মিডিয়ানও রেকর্ড করেছে। এই আলাদা ফল dense Qwen3.8 ও GB10-এর ফলকে উল্টে দেয় না। Flash-Next-এ ভিন্ন mixture-of-experts আর্কিটেকচার, কোয়ান্টাইজেশন, প্যাকেজ, রানটাইম ও ডিকোড মোড ব্যবহৃত হয়। এই ডেটাসেটে GB10-এ একই শর্তের Flash-Next ফল নেই।

সিদ্ধান্ত

256K-তে পরীক্ষা করা পাঁচটি মডেলের মধ্যে চারটিতে দুটি RTX 5060 Ti-র সিস্টেম দ্রুত জেনারেশন করে। তালিকাভুক্ত GB10 সিস্টেমের প্রায় অর্ধেক দামও এর। 256K-তে Qwen3.8 27B, মেমরির অতিরিক্ত অবকাশ এবং একটি কোহেরেন্ট মেমরি পুল থেকে সুবিধা পাওয়া কাজের জন্য GB10 ভালো পছন্দ থাকে।

আগের শুধু-Qwen ফল GB10-এর সহজ জয় দেখিয়েছিল। আপডেট করা পাঁচ-মডেলের পরীক্ষা দেখায় কেন সেই সিদ্ধান্ত অতিরিক্ত বিস্তৃত ছিল। মডেল আর্কিটেকচার, রানটাইম সংস্করণ, tensor-এর অবস্থান এবং কনটেক্সটের আচরণ ফলকে প্রভাবিত করে।

আপনি GPT-OSS, Nemotron 3.5 Lightning, Qwen3.5 বা Qwen3.6 চালালে এই বেঞ্চমার্কে দুই-কার্ড সিস্টেমের জেনারেশন গতি বেশি ছিল। 256K-তে Qwen3.8 27B চালালে GB10 ব্যবহারযোগ্য গতি দিয়েছে, যেখানে দুই-কার্ড সিস্টেম প্রায় থেমে গেছে।

মেমরি ধারণক্ষমতা ও থ্রুপুট আলাদা ক্রয়-মানদণ্ড। GB10 মোট চার গুণ মেমরি এবং সহজতর শেয়ারড ওয়ার্কিং সেট দেয়। দুই-কার্ড সিস্টেমের তালিকাভুক্ত দাম অনেক কম এবং বেশিরভাগ পরীক্ষিত মডেলে পর্যবেক্ষিত থ্রুপুট বেশি।

Strata ফল আরেকটি শিক্ষা দেয়। একই দুই-কার্ড হোস্টে রানটাইমের অবস্থান, মডেল আর্কিটেকচার ও ডিকোড মোড 256K ফল বদলেছে। Flash-Next IQ2_XS ওয়ার্মআপের পর প্রায় 93 টোকেন/সেকেন্ড মিডিয়ান ধরে রেখেছে, যেখানে dense Qwen3.8 24টি স্তর offload করে প্রতি সেকেন্ডে এক টোকেনের নিচে নেমেছে।

বেঞ্চমার্কের সীমা

বেঞ্চমার্কে মডেল ট্যাগ, চাওয়া কনটেক্সট, প্রকৃত প্রম্পট টোকেন, প্রম্পট প্রসেসিং গতি, জেনারেশন গতি, Ollama সংস্করণ এবং 128-টোকেন জেনারেশন লক্ষ্য রেকর্ড আছে। সমাধান করা manifest digest, CPU পাওয়ার, ওয়াল পাওয়ার, ফ্যানের গতি বা কুলিং সেটআপ রেকর্ড নেই।

GPT-OSS-এর 256K সারিতে দুই সিস্টেমেই 65,538 প্রকৃত প্রম্পট টোকেন প্রসেস হয়েছে। অন্য 256K সারিগুলোতে প্রায় 171K প্রকৃত প্রম্পট টোকেন প্রসেস হয়েছে। সংখ্যাগুলোকে দেখা সিস্টেমগুলোর তুলনা হিসেবে ধরুন, সব RTX 5060 Ti জোড়া ও সব GB10 বাস্তবায়নের সার্বজনীন র‌্যাঙ্কিং হিসেবে নয়।

Strata বনাম Dense পরীক্ষায় সঠিক প্রম্পট সংখ্যা, প্রতি কনটেক্সটে পাঁচটি মাপা রিকোয়েস্ট, রানটাইম সংস্করণ, ডিভাইসের অবস্থান, ক্যাশ সেটিং ও রিকোয়েস্টের অবস্থা রেকর্ড করা হয়েছে। তুলনায় মডেল আর্কিটেকচার, কোয়ান্টাইজেশন, প্যাকেজিং, রানটাইম ও ডিকোড মোড একসঙ্গে বদলেছে। Strata 32K-এর ওপরে প্রম্পট প্রিফিক্সও পুনর্ব্যবহার করেছে। দুই স্ট্যাকের মাপা জেনারেশন রিকোয়েস্টে প্রায় পুরো প্রম্পট পুনর্ব্যবহৃত হয়েছে।

এই নিবন্ধ থেকে পরীক্ষাটি হুবহু পুনরুৎপাদন করা যায় না। বেঞ্চমার্ক হ্যারনেস, Strata প্যাক লেআউট, expert profile ও MTP draft pack immutable digest-সহ প্রকাশিত নয়। কম VRAM-এর সতর্কতা রানভেদে ঝুঁকি বাড়ায়। পরীক্ষাটি হোস্টকে আলাদা করেছে, ইনফারেন্স ইঞ্জিনকে নয়।

উপরের হার্ডওয়্যার স্পেসিফিকেশন NVIDIA থেকে এসেছে। পারফরম্যান্সের পরিসংখ্যান এই নিবন্ধের জন্য নিয়ন্ত্রিত বেঞ্চমার্ক রান থেকে নেওয়া হয়েছে।

তথ্যসূত্র