Table of Contents

দীর্ঘ প্রসঙ্গের Hermes কাজের জন্য আমি দুটি 16GB RTX 5060 Ti কার্ডে Qwen3.5 35B দিয়ে শুরু করব। পরীক্ষিত রুটটি LiteLLM-এর মাধ্যমে 239,153 ইনপুট টোকেন ধরে রেখেছে এবং টুল, স্ট্রিমিং, ভিশন, কিউতে থাকা অনুরোধ ও বাতিলকরণের আলাদা পরীক্ষা পাস করেছে। এক কার্ডের বিকল্প হিসেবে আমার পছন্দ Qwen3.6। RTX 3060 Ti ও RTX 3070 সিস্টেমে আমি Qwen3.5 2B অথবা 4B দিয়ে শুরু করব।

এই পছন্দগুলো এজেন্টের ব্যবহৃত ইনফারেন্স পথ দিয়ে মডেল চালানোর ফল। আমি দীর্ঘ ইনপুট ধরে রাখা, টুলের সঙ্গে রাউন্ড-ট্রিপ, স্ট্রিম করা প্রতিক্রিয়া, ছবি নিয়ে প্রশ্ন এবং মডেল মুক্ত হওয়া পরীক্ষা করেছি। রুটগুলোর পেছনের মোড ও মেমরি সেটিংসও পরীক্ষা করেছি, কারণ মডেল লোড হওয়া দীর্ঘ এজেন্ট অনুরোধে তার উপযোগিতা সম্পর্কে বেশি কিছু বলে না।

টুলসহ এজেন্ট ব্যবহারের জন্য Hermes-এর অন্তত 64,000 টোকেন প্রসঙ্গ দরকার। দীর্ঘ প্রসঙ্গের যোগ্যতার সীমা হিসেবে আমি 65,536 প্রকৃত ইনপুট টোকেন ব্যবহার করেছি। সার্ভার ঘোষিত প্রসঙ্গের আকারের চেয়ে ইনপুট টোকেনের সংখ্যা বেশি গুরুত্বপূর্ণ। ( Hermes Agent প্রদানকারী ডকুমেন্টেশন )

প্রতিটি সিস্টেমে কোন GPU রয়েছে

ফলাফলে সিস্টেমের অক্ষরগুলো হার্ডওয়্যার সমন্বয় নির্দেশ করে।

সিস্টেমএই বেঞ্চমার্কে ব্যবহৃত GPUআমার প্রাথমিক মডেল পছন্দ
A2 × GeForce RTX 5060 Ti, প্রতিটি 16GBদুই কার্ডে Qwen3.5 35B, অথবা এক কার্ডে Qwen3.6
B1 × RTX 2000E Ada, 16GBদীর্ঘ ইনপুট প্রক্রিয়ায় কয়েক মিনিট লাগলেও কাজের সঙ্গে মানালে Qwen3.5 9B
C1 × RTX 2000E Ada, 16GBপরীক্ষিত দীর্ঘ-ইনপুট পথের জন্য Gemma 3 4B; সীমিত স্মরণ কাজের জন্য চিন্তন বন্ধ রেখে Qwen3.5 0.8B
D1 × RTX 2000E Ada, 16GBপরীক্ষিত বড়-মডেল কাজের জন্য Qwen3.5 9B, Gemma 4 12B-IT অথবা GPT-OSS 20B
E9 × GeForce RTX 3060 Ti, প্রতিটি 8GBQwen3.5 2B অথবা 4B
F8 × GeForce RTX 3060 Ti, প্রতিটি 8GBQwen3.5 2B অথবা 4B
G3 × GeForce RTX 3070Qwen3.5 2B অথবা 4B

ইনস্টল করা কার্ডের সংখ্যা মানে প্রতিটি অনুরোধে সব GPU ব্যবহার হয়েছে এমন নয়। সিস্টেম A-তে Qwen3.5 35B ও Flash Next পরীক্ষায় দুই কার্ডই ব্যবহৃত হয়েছে। Qwen3.6 এক কার্ড ব্যবহার করেছে। সিস্টেম E-তে সফল Qwen3.5 4B ভিশন পুনঃপরীক্ষায় আট কার্ডের পুল থেকে একটি নির্বাচিত কার্ড ব্যবহৃত হয়েছে, আর নবম কার্ড AI কাজে নিষিদ্ধ ছিল।

নিচের সময়গুলোকে পরীক্ষিত মডেল, রানটাইম ও সিস্টেমের সম্মিলিত ফল হিসেবে ধরুন। এগুলো ব্যবহারযোগ্য কনফিগারেশন তুলনা করে। গতির পার্থক্যের কারণ হিসেবে GPU আর্কিটেকচারকে আলাদা করে না।

দুটি RTX 5060 Ti-তে Qwen3.5 35B দীর্ঘ প্রসঙ্গে আমার পছন্দ

এই পরীক্ষায় Qwen3.5 35B সবচেয়ে বেশি ইনপুট ধরে রেখেছে। সরাসরি Ollama ধাপে ধাপে 262,144-টোকেন রানটাইম প্রসঙ্গের মধ্যে 248,279 ইনপুট টোকেন ধরে রেখেছে। আলাদা স্ট্রিম করা গেটওয়ে অনুরোধে 239,153 ইনপুট টোকেন ধরে, শুরুর মার্কার ফেরত দেয় এবং 31 আউটপুট টোকেনের পর 148.12 সেকেন্ডে স্বাভাবিকভাবে শেষ হয়।

Hermes-এর জন্য গেটওয়ে ফল গুরুত্বপূর্ণ, কারণ অনুরোধটি ব্রোকার ও LiteLLM দিয়ে গেছে। পৃথক অনুরোধে টুল রাউন্ড-ট্রিপ সম্পন্ন হয়েছে, লাল ছবি চিনেছে এবং একসঙ্গে পাঠানো হলে দুটি সঠিক উত্তর দিয়েছে। ব্রোকার ওই দুটি অনুরোধ কিউতে রেখেছিল। স্ট্রিম করা অনুরোধ বন্ধ করলে ব্রোকার মুক্ত হয় এবং 60.31 সেকেন্ডের মধ্যে মডেল আনলোড হয়।

Qwen3.5 35B অনুরোধইনপুট টোকেনআউটপুট টোকেনসময়ফলাফল
সরাসরি Ollama, প্রথম ধাপ69,4293138.783 sশুরুর মার্কার হুবহু মেলে
সরাসরি Ollama, শেয়ার্ড প্রিফিক্সে ধারাবাহিকতা124,1793128.472 sশুরুর মার্কার হুবহু মেলে
সরাসরি Ollama, শেয়ার্ড প্রিফিক্সে ধারাবাহিকতা182,5793138.974 sশুরুর মার্কার হুবহু মেলে
সরাসরি Ollama, শেয়ার্ড প্রিফিক্সে ধারাবাহিকতা248,2793154.215 sশুরুর মার্কার হুবহু মেলে
ব্রোকারের স্ট্রিম করা অনুরোধ69,4272938.872 sশুরুর মার্কার হুবহু মেলে
LiteLLM স্ট্রিম করা অনুরোধ239,15331148.12 sশুরুর মার্কার হুবহু মেলে, পরিষ্কার আনলোড

ক্রমবর্ধমান সরাসরি অনুরোধগুলো বড় হতে থাকা প্রিফিক্স পুনরায় ব্যবহার করেছে। সময়গুলো উষ্ণ ধারাবাহিকতার আচরণ বর্ণনা করে। 54.215 সেকেন্ড ফলটি নতুন 248K প্রম্পটের স্বাধীন কোল্ড-প্রসেসিং পরিমাপ নয়।

সবচেয়ে বড় সরাসরি ধাপে মডেল দুই GPU জুড়ে প্রায় 27.3 বিলিয়ন বাইট রেসিডেন্ট থাকার কথা জানিয়েছে। প্রতি কার্ডে মেমরির সর্বোচ্চ ব্যবহার ছিল 14,964 ও 12,386 MiB।

সর্বোচ্চ তাপমাত্রা ছিল 62 ও 63 C, এবং কোনো OOM বা Xid ত্রুটি রেকর্ড হয়নি। কনফিগার করা প্রসঙ্গে ইনপুটটি চালিয়ে যাওয়ার জন্য 13,865 টোকেন রেখেছে। সংক্ষিপ্ত মার্কার উত্তরে ওই টোকেনের 31টি ব্যবহার হয়েছে।

প্রাথমিক প্রতিক্রিয়ার গতি থেকে বড় কাজের সেট ধরে রাখা বেশি গুরুত্বপূর্ণ হলে আমি এই রুট ব্যবহার করব। টুল ও ভিশন পরীক্ষা এজেন্টের উপযোগী আচরণ দেখায়, আর দীর্ঘ-ইনপুট পরীক্ষা ধরে রাখার ক্ষমতা দেখায়। এগুলো পৃথক কাজ।

এক কার্ডের বিকল্প Qwen3.6

Qwen3.6-35B-A3B UD-Q4_K_XL এক RTX 5060 Ti-তে 131,000 ইনপুট টোকেন ধরে রেখেছে। পরীক্ষার সময় অন্য কার্ডটি নিষ্ক্রিয় ছিল। একটি মডেলের জন্য দুই কার্ড উৎসর্গ করা অনুচিত হলে এটি সিস্টেমকে কার্যকর বিকল্প দেয়।

Qwen3.6 গেটওয়ে অনুরোধইনপুট টোকেনআউটপুট টোকেনসময়ফলাফল
প্রাথমিক দীর্ঘ অনুরোধ66,007167.82 sশুরুর মার্কার ধরে রেখেছে
আরও দীর্ঘ অনুরোধ90,00011159.92 sশুরুর মার্কার ধরে রেখেছে, ক্যাশে ইনপুট শূন্য
আরও দীর্ঘ অনুরোধ119,99911250.61 sশুরুর মার্কার ধরে রেখেছে, ক্যাশে ইনপুট শূন্য
রানটাইম সীমার কাছাকাছি131,00011287.09 sশুরুর মার্কার ধরে রেখেছে, ক্যাশে ইনপুট শূন্য

131,000 টোকেনের অনুরোধ 131,072 রানটাইম সীমার কাছাকাছি পৌঁছেছিল। এজেন্টের জন্য উত্তর ও পরবর্তী টুল বার্তার জায়গা আমি বেশি রাখতাম। সীমার কাছাকাছি ধরে রাখার ফল ইনপুট ব্যবস্থাপনার প্রমাণ দেয়, তবে যুক্তিসংগত ডিফল্ট ইনপুট বাজেট নয়।

চিন্তন বন্ধ রাখলে টুল ব্যবহার পাস করেছে। ডিফল্ট চিন্তন টুল কল দেওয়ার আগেই 512-টোকেন পরীক্ষার বরাদ্দ ব্যবহার করেছে। সফল পাইলট দ্রুত, স্ট্রিম করা ও ভিশন অনুরোধও পাস করেছে। এর প্রাথমিক 65,845-টোকেন প্রসঙ্গ যাচাইয়ে 139.57 সেকেন্ড লেগেছে।

একই 66K প্রতিক্রিয়া তুলনায় Qwen3.8 27B এগিয়ে

সিস্টেম A-তে একই 66,007-টোকেন মার্কার কাজে Qwen3.8 27B সবচেয়ে দ্রুত উত্তর দিয়েছে। পরীক্ষিত ইনপুটের কাছাকাছি অনুরোধে এই রুট রাখব, আর বড় কাজের সেটের জন্য Qwen3.5 35B রাখব।

সিস্টেম A রুটইনপুট টোকেনসময়ফলাফল
Qwen3.8 27B66,00754.64 sশুরুর মার্কার ধরে রেখেছে
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sশুরুর মার্কার ধরে রেখেছে
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sশুরুর মার্কার ধরে রেখেছে
Flash Next IQ4 সামঞ্জস্য অ্যালিয়াস66,007213.25 sমার্কার ধরে রেখেছে

সমতুল্য Qwen3.6 ও Flash Next অনুরোধের প্রায় এক-তৃতীয়াংশ সময় নিয়েছে Qwen3.8 27B। এগুলো পরীক্ষিত রানটাইমে সম্পূর্ণ অনুরোধের পর্যবেক্ষণ, শুধু হার্ডওয়্যারের তুলনা নয়।

দ্রুত প্রতিক্রিয়া, স্ট্রিমিং ও টুল ব্যবহারও পাস করেছে। চিন্তন বন্ধ মোড পূর্ণ রঙের ধারা ও টুল রাউন্ড-ট্রিপ শেষ করেছে, আর চিন্তন পরীক্ষায় 512-টোকেন বরাদ্দে রঙের ধারার কেবল অংশ ফেরত এসেছে।

মেমরির চাপের কারণে এই সিস্টেমে Flash Next কম আকর্ষণীয় ডিফল্ট। 65,847-টোকেন পাইলট 98,304 রানটাইম প্রসঙ্গে 201.41 সেকেন্ডে পাস করেছে। আগের দুটি 131,072-প্রসঙ্গ প্রোফাইল প্রস্তুত হওয়ার আগে মেমরির সীমায় পৌঁছেছিল।

পরবর্তী রুটটি 54 GiB cgroup সীমায় পৌঁছেছিল। তত্ত্বাবধানহীন কাজে আমি বেশি মেমরি অবকাশসহ রুট বেছে নেব।

flash-iq2 নামে রুটটি Flash Next IQ4 সামঞ্জস্য ব্যাকএন্ড চালিয়েছে। নামটি IQ2 ফল নির্দেশ করে না।

RTX 2000E Ada দীর্ঘ ইনপুট সামলায়, তবে মডেল নির্বাচন অপেক্ষার সময় বদলায়

সিস্টেম C-তে পরীক্ষিত দীর্ঘ-ইনপুট রুটগুলোর মধ্যে Gemma 3 4B আমার পছন্দ। দুটি পথ প্রায় 88 সেকেন্ডে 84K-এর বেশি ইনপুট টোকেন ধরে রেখেছে। বড় মডেলের পথগুলোও কার্যকর ধরে রাখার পরীক্ষা পাস করেছে, তবে অনুরোধে কয়েক মিনিট লেগেছে।

সিস্টেমমডেল ও পথইনপুট টোকেনসময়ফলাফল
BQwen3.5 9B, গেটওয়ে72,265263 sদুটি সেন্টিনেলই ধরে রেখেছে, পরে মাইনিং পুনরুদ্ধার পরীক্ষাও পাস করেছে
CGemma 3 4B, গেটওয়ে84,04488.05 sশুরুর মার্কার ধরে রেখেছে
CGemma 3 4B, Aperture84,04587.68 sশুরুর মার্কার ধরে রেখেছে
CGemma 4 12B-IT, গেটওয়ে67,254263.07 sশুরুর মার্কার ধরে রেখেছে
CGemma 4 12B-IT, Aperture নন-স্ট্রিম67,255274.24 sশুরুর মার্কার ধরে রেখেছে
CGemma 4 12B-IT, Aperture স্ট্রিম67,255282.16 sশুরুর মার্কার ধরে রেখেছে
CQwen3.5 9B, গেটওয়ে75,648319.36 sশুরুর মার্কার ধরে রেখেছে, মডেল আনলোড হয়েছে
CGPT-OSS 20B, গেটওয়ে84,099315.83 sশুরুর মার্কার ধরে রেখেছে, মডেল আনলোড হয়েছে
DQwen3.5 9B, Aperture81,051324.07 sইনস্টল করা আর্টিফ্যাক্টে ধরে রাখার পরীক্ষা পাস
DGemma 4 12B-IT, Aperture72,057300.67 sইনস্টল করা আর্টিফ্যাক্টে ধরে রাখার পরীক্ষা পাস
DGPT-OSS 20B, Aperture72,104245.94 sইনস্টল করা আর্টিফ্যাক্টে ধরে রাখার পরীক্ষা পাস

স্ট্রিমিং সিস্টেম C-তে Gemma 4-এর দীর্ঘ প্রিফিল অপেক্ষা দূর করেনি। প্রথম স্ট্রিম করা বিষয়বস্তু 277.49 সেকেন্ডে এসেছে, যা 274.24 সেকেন্ডের সম্পূর্ণ নন-স্ট্রিম প্রতিক্রিয়ার পর। আগের একটি নন-স্ট্রিম প্রচেষ্টার সময় শেষ হয়ে গিয়েছিল, তারপর সফল পুনরায় চেষ্টা হয়েছে। প্রাথমিক প্রক্রিয়ায় কয়েক মিনিট মানায় এমন কাজেই আমি এই পথ রাখব।

Gemma 3 4B দেখায় কেন প্রতিটি পরীক্ষিত সিস্টেম আলাদাভাবে যোগ্যতা যাচাই করা দরকার। সিস্টেম D দুটি 65K স্মরণ পরীক্ষায় শুরুর মার্কার মেলাতে পারেনি, এর মধ্যে 67,252 ইনপুট টোকেনের তাপমাত্রা-শূন্য পুনরাবৃত্তিও ছিল। নির্ধারিত অনুরোধ GPU পুরোপুরি রেসিডেন্ট অবস্থায় 62.07 সেকেন্ডে স্বাভাবিকভাবে শেষ হয়েছিল।

দ্রুত শেষ হওয়া এবং স্বাভাবিক API প্রতিক্রিয়া উত্তর সঠিক হওয়ার প্রমাণ নয়। আমি সিস্টেম C-এর সফল পথ ব্যবহার করব এবং সিস্টেম D-এর ব্যর্থ পথ Hermes নির্বাচনের বাইরে রাখব।

চিন্তন মোড Qwen3.5 0.8B-এর উপযোগিতা নির্ধারণ করে

চিন্তন বন্ধ করার পর Qwen3.5 0.8B সিস্টেম C-তে সীমিত স্মরণ কাজের উপযোগী প্রার্থী হয়েছে। ছোট Q8_0 মডেলটি গেটওয়ে দিয়ে 75,649 ইনপুট টোকেন 65.92 সেকেন্ডে ধরে রেখেছে। এই ফল পরীক্ষিত Q8_0 আর্টিফ্যাক্ট ও চিন্তন-বিহীন পথের, টেবিলের অন্যত্র থাকা পুরোনো 16K-প্রসঙ্গ কনফিগারেশনের নয়।

সিস্টেম C-তে Qwen3.5 0.8B অনুরোধইনপুট টোকেনআউটপুট টোকেনসময়ফলাফল
ডিফল্ট চিন্তন, সংক্ষিপ্ত নির্ণয়9,0503,39166.56 sশুরুর মার্কার হুবহু মেলে
চিন্তন বন্ধ, একই ধরনের নির্ণয়9,055217.65 sশুরুর মার্কার হুবহু মেলে, কোনো যুক্তি-টেক্সট নেই
ডিফল্ট চিন্তন, দীর্ঘ চেষ্টা600 s-এ সময় শেষউত্তর সম্পূর্ণ হয়নি
চিন্তন বন্ধ, নেটিভ Ollama75,6562269.80 sশুরুর মার্কার হুবহু মেলে
চিন্তন ছাড়া OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট75,6461269.09 sশুরুর মার্কার হুবহু মেলে
চিন্তন বন্ধ মোড বাধ্যতামূলক করা ব্রোকার75,6471366.83 sশুরুর মার্কার হুবহু মেলে
সিস্টেম A থেকে সিস্টেম C-তে LiteLLM75,6491565.92 sশুরুর মার্কার হুবহু মেলে

একই নির্ণয়ের সময় 66.56 থেকে 7.65 সেকেন্ডে নেমেছে, প্রায় 8.7 গুণ দ্রুত, আর তৈরি আউটপুট 3,391 থেকে 21 টোকেনে নেমেছে। তাই সাধারণ এক্সট্রাকশন ও রাউটিং কাজে আমি চিন্তনের মোড স্পষ্টভাবে নির্ধারণ করব। ডিফল্ট যুক্তি বেশিরভাগ কাজ এমন আউটপুটে ব্যয় করেছে যা কাজটির দরকার ছিল না।

একটি সংক্ষিপ্ত OpenAI-সামঞ্জস্যপূর্ণ প্রোব প্রথমে মার্কার মেলাতে পারেনি, পরে তাপমাত্রা-শূন্য পুনরায় চেষ্টা পাস করেছে। সফল রুট পরীক্ষায় আউটপুট সীমা ছাড়া চিন্তন-বিহীন মোড ও স্বাভাবিক সমাপ্তি ব্যবহার হয়েছে। অন্য তিনটি গেটওয়ে 4.22, 4.37 ও 3.85 সেকেন্ডে সংক্ষিপ্ত মার্কার অনুরোধ পাস করেছে। ওই পরীক্ষাগুলো রাউটিং যাচাই করে, আর 75,649-টোকেন অনুরোধ গেটওয়ে দিয়ে দীর্ঘ ইনপুট ধরে রাখা যাচাই করে।

সীমাবদ্ধ স্মরণ ও এক্সট্রাকশনের কাজে আমি এই রুট পরীক্ষা করব। খোলা ধরনের এজেন্ট যুক্তির জন্য বড় মডেল নেব। একটি কৃত্রিম মার্কার উদ্ধার করা পরিকল্পনা, কোডিং বা একাধিক টুল সমন্বয়ের চেয়ে সীমিত কাজ।

RTX 3060 Ti ও RTX 3070 সিস্টেমে Qwen3.5 2B ও 4B মানানসই

8GB কার্ডের জন্য Qwen3.5 2B ও 4B আমার ব্যবহারিক শুরুর পছন্দ। সিস্টেম E, F ও G-তে পাঠ্য প্রসঙ্গের অনুরোধ 65,579 ইনপুট টোকেনসহ 30.343 থেকে 93.753 সেকেন্ডে পাস করেছে। পরীক্ষিত 4B পথ টুল, স্ট্রিমিং ও ছবি পরীক্ষাও পাস করেছে।

সিস্টেম E-এর 4B ভিশন-প্রসঙ্গ পুনঃপরীক্ষায় 65,637 ইনপুট টোকেনে 44.88 সেকেন্ডে দুটি মার্কার ও ছবির রঙের ক্রম ধরে রেখেছে। সামনে ও উল্টো রঙের ক্রমের অনুরোধও পাস করেছে। একটি কার্ডে Xid 79 লিংক ত্রুটি এবং সিস্টেম পুনরায় চালুর পর পুনঃপরীক্ষায় একটি সুস্থ কার্ড ব্যবহৃত হয়েছে।

সিস্টেমQwen3.5 2B পাঠ্য প্রসঙ্গQwen3.5 4B পাঠ্য প্রসঙ্গQwen3.5 4B ভিশন প্রসঙ্গ
E, RTX 3060 Ti পুল65,579 টোকেন, 30.343 s65,579 টোকেন, 53.787 s65,637 টোকেন, 44.88 s
F, RTX 3060 Ti পুল65,579 টোকেন, 61.282 s65,579 টোকেন, 93.753 s65,635 টোকেন, 84.749 s
G, RTX 3070 পুল65,579 টোকেন, 76.731 s65,579 টোকেন, 90.807 s65,635 টোকেন, 87.496 s

এই প্রতিটি সিস্টেমে 29টি পাস করা পরীক্ষা রেকর্ড হয়েছে। দুটি RTX 3060 Ti সিস্টেমের সময়ের ব্যবধানও দেখায় কেন এই অনুরোধের সময় থেকে কার্ডের র‌্যাঙ্ক না করে পরীক্ষিত সিস্টেম প্রোফাইল বেছে নেওয়া উচিত।

ইনফারেন্সের সময়সীমা শেষে সাতটি সিস্টেমই মাইনিংয়ে ফিরেছে। সিস্টেম B-এর পৃথক বন্ধ-পরবর্তী পুনরুদ্ধার পরীক্ষায় নতুন গৃহীত শেয়ারসহ পাস হয়েছে। সিস্টেম E-এর ত্রুটিযুক্ত কার্ডটি পরে রিবুট ও PCIe লিংক শক্তিশালী করার পর মাইনিংয়ে ফিরেছে, তবে AI পুল থেকে বাদ ছিল। সময়সীমার শেষে মাইনিং ফিরিয়ে আনা এবং প্রতিটি ইনফারেন্স অনুরোধের পর স্বয়ংক্রিয়ভাবে ফেরানো আলাদা ফল।

মডেল লোড করলেই যোগ্য হয় না

পরীক্ষিত 65K Hermes পছন্দ থেকে DeepSeek Coder V2 16B বাদ দেব। এর f16-ক্যাশ পরীক্ষা 50,477 ইনপুট টোকেন ধরে রেখেছে, কিন্তু 65K লক্ষ্যের পরীক্ষা VRAM গার্ডে পৌঁছেছে। Q4 ও Q8 ক্যাশ বিকল্প GPU-তে ওজন লোড করেছে, পরে হোস্ট মেমরির সীমা বা দীর্ঘ প্রম্পটে কম থ্রুপুটে আটকে গেছে।

DeepSeek Coder V2 ক্যাশ প্রোফাইলরানটাইম প্রসঙ্গপর্যবেক্ষিত ফলআমার মূল্যায়ন
f1681,92050,477-টোকেন স্মরণ পাস, অতিরিক্ত বড় অনুরোধ প্রত্যাখ্যাতকম প্রসঙ্গের উপযোগী ফল
f1673,72865K-লক্ষ্য প্রিফিল GPU ব্যবহারে 15,802 MiB-তে থেমেছে65K-এর যোগ্য নয়
Q4_098,304নিয়ন্ত্রিত বিরতির আগে দীর্ঘ প্রিফিল 96.72 টোকেন/সেকেন্ডে নেমেছেএই কাজের জন্য অনুপযুক্ত
Q8_077,824নিয়ন্ত্রিত বিরতির আগে দীর্ঘ প্রিফিল 120.12 টোকেন/সেকেন্ডে নেমেছেএই কাজের জন্য অনুপযুক্ত
Q4_0 / Q8_0, বড় প্রোফাইল163,840 / 98,304হোস্ট-মেমরি গার্ড পরীক্ষাগুলো থামিয়েছেপুরো সিস্টেমের মেমরি-সামঞ্জস্য জরুরি

বাস্তব শিক্ষা হলো যে অনুরোধ পাঠানোর পরিকল্পনা আছে সেটিই পরীক্ষা করা। GPU রেসিডেন্সি, সংক্ষিপ্ত উত্তর ও বড় কনফিগার করা প্রসঙ্গ কাজে লাগার মতো ল্যাটেন্সিতে দীর্ঘ ইনপুট ধরে রাখার প্রমাণ নয়।

সিস্টেম A-তে নির্দিষ্ট রুট-সংক্রান্ত পরবর্তী কাজের পর Granite 4.2 8B ও GPT-OSS 20B উন্নত হয়েছে। Granite-এর Q6_K পথ শূন্য ক্যাশ ইনপুটসহ 88.636 সেকেন্ডে 66,082 ইনপুট টোকেন ধরে রেখেছে। ব্রোকার ঠিক করার পর GPT-OSS টুল রাউন্ড-ট্রিপ সম্পন্ন করেছে, কলের জন্য 9.854 সেকেন্ড এবং ফলো-আপের জন্য 9.849 সেকেন্ড লেগেছে। সফল রুট পরীক্ষাগুলোকে আগের অসম্পূর্ণ প্রচেষ্টা থেকে আলাদা রাখব।

সম্পূর্ণ বেঞ্চমার্ক ফলাফল

তালিকায় 59টি মডেল ও সিস্টেম সমন্বয়ে 295টি পরীক্ষা রয়েছে। ম্যাট্রিক্সে 273টি পাস, একটি ব্যর্থ স্মরণ পরীক্ষা এবং সাতটি অসম্পূর্ণ, অসামঞ্জস্যপূর্ণ বা অসামঞ্জস্যপূর্ণ ফল রয়েছে। 65K যোগ্যতার পরিধির বাইরে 14টি পরীক্ষা। প্রতিটি সারিতে মাপা ফল দেখানো হয়েছে।

আমার সুপারিশ পাস করা রুট ও কাজের জন্য প্রযোজ্য। ব্যর্থ বা অসম্পূর্ণ সারি সংশ্লিষ্ট আচরণকে যোগ্যতা দেয় না।

স্বল্প-প্রসঙ্গ ও এমবেডিং পাস তাদের নিজস্ব কাজের জন্য প্রযোজ্য। 16K বা 32K প্রসঙ্গে পাস করা 65,536 ইনপুট-টোকেনের Hermes কাজের জন্য কোনো রুটকে যোগ্য করে না। এখানে মডেলের নাম রুটের লেবেল। flash-iq2 লেবেলটি IQ4 সামঞ্জস্য ব্যাকএন্ড চালিয়েছে।

সিস্টেম A-এর Qwen3.5 35B প্রসঙ্গ সারিটি উপরের ধাপে ধাপে পরীক্ষার শেষ শেয়ার্ড-প্রিফিক্স ধাপ। প্লাস চিহ্নসহ লেখা টুলের সময় কল ও ফলো-আপ আলাদাভাবে দেখায়।

কনকারেন্সি সারিতে কিউতে থাকা দুটি অনুরোধের সময়। ক্যানসেলেশন সারিতে ক্লায়েন্ট স্ট্রিম বন্ধ করার পর মুক্ত হতে সময়। অতিরিক্ত প্রসঙ্গ অগ্রগতি ও Qwen3.5 0.8B রুট তুলনা তাদের নিজস্ব আগের টেবিলে রয়েছে।

সিস্টেম A

মডেল রুটের লেবেলপরীক্ষাফলাফলইনপুট টোকেনঅনুরোধের সময়
bonsai-2-27bcontextপাস65,62188.746 s
bonsai-2-27bquickপাস576.429 s
bonsai-2-27bstreamপাস9.371 s
bonsai-2-27btoolsপাস10.478 s
deepseek-coder-v2:16bcontextঅসামঞ্জস্যপূর্ণ50,477
deepseek-coder-v2:16bquickপাস7743.239 s
flash-iq2contextপাস66,007213.25 s
flash-iq2quickপাস56.03 s
flash-iq2streamপাস1.35 s
flash-iq2toolsপাস16.55 s
gemma-4-12b-itcontextপাস65,59051.225 s
gemma-4-12b-itquickপাস215.166 s
gemma-4-12b-itstreamপাস4.653 s
gemma-4-12b-ittoolsপাস18.72 s
gemma-4-12b-itvisionপাস1157.222 s
gemma-4-12b-itvision_contextপাস65,68556.06 s
gemma-4-12b-itvision_reverseপাস1157.467 s
gemma-4-e4b-itcontextপাস65,59021.889 s
gemma-4-e4b-itquickপাস2117.919 s
gemma-4-e4b-itstreamপাস4.25 s
gemma-4-e4b-ittoolsপাস8.734 s
gpt-oss-20bcontextপাস65,637159.155 s
gpt-oss-20bquickপাস7310.548 s
gpt-oss-20bstreamপাস20.594 s
gpt-oss-20btoolsপাস9.854 + 9.849 s
granite-4.2-3bcontextপাস65,58970.968 s
granite-4.2-3bquickপাস204.009 s
granite-4.2-3bstreamপাস5.365 s
granite-4.2-3btoolsপাস6.086 s
granite-4.2-8bcontextপাস66,08288.636 s
granite-4.2-8bquickপাস205.857 s
granite-4.2-8bstreamপাস11.826 s
granite-4.2-8btoolsপাস11.852 s
qwen27bcontextপাস66,00754.64 s
qwen27bquickপাস5731.5 s
qwen27bstreamপাস0.92 s
qwen27btoolsপাস4.25 s
qwen3-embedding-0.6bcontextপাস32,7677.736 s
qwen3-embedding-0.6bquickপাস142.125 s
qwen3.5-0.8bcontextপাস16,42910.5 s
qwen3.5-0.8bquickপাস1714.316 s
qwen3.5-0.8bstreamপাস2.125 s
qwen3.5-0.8btoolsপাস4.416 s
qwen3.5-2bcontextপাস65,58111.175 s
qwen3.5-2bquickপাস174.519 s
qwen3.5-2bstreamপাস3.736 s
qwen3.5-2btoolsপাস5.046 s
qwen3.5-4bcontextপাস65,57936.451 s
qwen3.5-4bquickপাস1519.935 s
qwen3.5-4bstreamপাস17.496 s
qwen3.5-4btoolsপাস7.308 s
qwen3.5-4bvisionপাস707.848 s
qwen3.5-4bvision_contextপাস65,63528.24 s
qwen3.5-4bvision_reverseপাস704.386 s
qwen3.5-9bcontextপাস65,58134.139 s
qwen3.5-9bquickপাস173.88 s
qwen3.5-9bstreamপাস3.378 s
qwen3.5-9btoolsপাস10.204 s
qwen3.5-9bvisionপাস724.441 s
qwen3.5-9bvision_contextপাস65,63733.745 s
qwen3.5-9bvision_reverseপাস723.97 s
qwen3.5:35b-a3b-q4_K_Mcancellationপাস60.31 s
qwen3.5:35b-a3b-q4_K_Mconcurrencyপাস26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_Mcontextপাস248,27954.215 s
qwen3.5:35b-a3b-q4_K_Mgatewayপাস239,153148.12 s
qwen3.5:35b-a3b-q4_K_Mquickপাস7910.08 s
qwen3.5:35b-a3b-q4_K_Mstreamপাস69,42938.783 s
qwen3.5:35b-a3b-q4_K_Mtoolsপাস15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_Mvisionপাস18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextপাস65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickপাস153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamপাস0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsপাস2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionপাস380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextপাস65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickপাস1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamপাস1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsপাস22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionপাস3.86 s

সিস্টেম B

মডেল রুটের লেবেলপরীক্ষাফলাফলইনপুট টোকেনঅনুরোধের সময়
gemma-4-12b-itcontextপাস65,590299.163 s
gemma-4-12b-itquickপাস2115.261 s
gemma-4-12b-itstreamপাস148.792 s
gemma-4-12b-ittoolsপাস34.124 s
gemma-4-12b-itvisionপাস12061.455 s
gemma-4-12b-itvision_contextপাস65,690295.581 s
gemma-4-12b-itvision_reverseপাস12032.511 s
gemma3-4bcontextপাস65,58467.382 s
gemma3-4bquickপাস156.329 s
gemma3-4bstreamপাস24.138 s
gemma3-4bvisionপাস3067.018 s
gemma3-4bvision_contextপাস65,87670.912 s
gemma3-4bvision_reverseপাস3065.762 s
gpt-oss-20bcontextপাস65,637206.767 s
gpt-oss-20bquickপাস7216.583 s
gpt-oss-20bstreamপাস32.075 s
gpt-oss-20btoolsপাস28.102 s
nomic-embed-textcontextঅসম্পূর্ণ2,048
nomic-embed-textquickপাস7.117 s
qwen3-14bcontextঅসম্পূর্ণ1800.09 s
qwen3-14bquickপাস1537.199 s
qwen3-14bstreamপাস35.471 s
qwen3-14btoolsপাস87.554 s
qwen3-8bcontext65K-এর নিচে, বাদ
qwen3-8bquick65K-এর নিচে, পাস1521.059 s
qwen3-8bstream65K-এর নিচে, বাদ
qwen3-8btools65K-এর নিচে, বাদ
qwen3.5-9bcontextপাস65,579282.796 s
qwen3.5-9blitellm_long_routeপাস72,265263 s
qwen3.5-9bpost_external_stop_miningপাস
qwen3.5-9bquickপাস1525.881 s
qwen3.5-9bstreamপাস143.44 s
qwen3.5-9btoolsপাস31.812 s
qwen3.5-9bvisionপাস7532.015 s
qwen3.5-9bvision_contextপাস65,640396.288 s
qwen3.5-9bvision_reverseপাস7528.626 s

সিস্টেম C

মডেল রুটের লেবেলপরীক্ষাফলাফলইনপুট টোকেনঅনুরোধের সময়
gemma-4-12b-itaperture_contextপাস67,255274.24 s
gemma-4-12b-itaperture_shortপাস3539.32 s
gemma-4-12b-itaperture_stream_contextপাস67,255282.16 s
gemma-4-12b-itcontextপাস65,670313.661 s
gemma-4-12b-itgateway_contextপাস67,254263.07 s
gemma-4-12b-itgateway_shortপাস2720.98 s
gemma-4-12b-itquickপাস2116.447 s
gemma-4-12b-itstreamপাস15.175 s
gemma-4-12b-ittoolsপাস37.821 s
gemma-4-12b-itvisionপাস12058.52 s
gemma-4-12b-itvision_contextপাস65,690308.759 s
gemma-4-12b-itvision_reverseপাস12031.25 s
gemma3-4baperture_contextপাস84,04587.68 s
gemma3-4baperture_after_system_d_route_changeপাস245.42 s
gemma3-4baperture_shortপাস225.45 s
gemma3-4baperture_streamপাস3.72 s
gemma3-4bcontextপাস65,66467.543 s
gemma3-4bgateway_contextপাস84,04488.05 s
gemma3-4bgateway_short_via_system_aপাস3.16 s
gemma3-4bgateway_short_via_system_eপাস
gemma3-4bgateway_short_via_system_fপাস4.15 s
gemma3-4bgateway_short_via_system_gপাস6.06 s
gemma3-4bquickপাস155.163 s
gemma3-4bstreamপাস24.691 s
gemma3-4bvisionপাস3067.318 s
gemma3-4bvision_contextপাস65,87672.476 s
gemma3-4bvision_reverseপাস3065.831 s
gpt-oss-20bcontextপাস65,716216.594 s
gpt-oss-20bgateway_contextপাস84,099315.83 s
gpt-oss-20bgateway_shortঅসংগত
gpt-oss-20bquickপাস7221.603 s
gpt-oss-20bstreamপাস31.957 s
gpt-oss-20btoolsপাস26.096 s
nomic-embed-textcontext65K-এর নিচে, অসম্পূর্ণ2,048
nomic-embed-textquick65K-এর নিচে, পাস4.178 s
qwen3-14bcontext65K-এর নিচে, অসম্পূর্ণ1800.06 s
qwen3-14bquick65K-এর নিচে, পাস1535.809 s
qwen3-14bstream65K-এর নিচে, পাস35.43 s
qwen3-14btools65K-এর নিচে, পাস87.723 s
qwen3-8bcontext65K-এর নিচে, বাদ
qwen3-8bquick65K-এর নিচে, পাস1521.293 s
qwen3-8bstream65K-এর নিচে, অসম্পূর্ণ900.01 s
qwen3-8btools65K-এর নিচে, বাদ
qwen3.5-9bcontextপাস65,662287.984 s
qwen3.5-9bgateway_contextপাস75,648319.36 s
qwen3.5-9bgateway_shortপাস2172.14 s
qwen3.5-9bquickপাস1524.635 s
qwen3.5-9bstreamপাস143.157 s
qwen3.5-9btoolsপাস30.395 s
qwen3.5-9bvisionপাস7527.756 s
qwen3.5-9bvision_contextপাস65,640398.797 s
qwen3.5-9bvision_reverseপাস7528.645 s

সিস্টেম D

মডেল রুটের লেবেলপরীক্ষাফলাফলইনপুট টোকেনঅনুরোধের সময়
gemma-4-12b-itcontextপাস65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kপাস72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortপাস3430.74 s
gemma-4-12b-itquickপাস2115.05 s
gemma-4-12b-itstreamপাস14.722 s
gemma-4-12b-ittoolsপাস33.869 s
gemma-4-12b-itvisionপাস12056.315 s
gemma-4-12b-itvision_contextপাস65,690282.174 s
gemma-4-12b-itvision_reverseপাস12029.978 s
gemma3-4bcontextপাস65,58463.564 s
gemma3-4bexact_digest_65k_recallব্যর্থ67,25262.07 s
gemma3-4bquickপাস155.151 s
gemma3-4bstreamপাস22.552 s
gemma3-4bvisionপাস3068.276 s
gemma3-4bvision_contextপাস65,87667.575 s
gemma3-4bvision_reverseপাস3065.651 s
gpt-oss-20bcontextপাস65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kপাস72,104245.94 s
gpt-oss-20bexact_digest_broker_shortপাস8415.96 s
gpt-oss-20bquickপাস7215.431 s
gpt-oss-20bstreamপাস31.052 s
gpt-oss-20btoolsপাস23.65 s
nomic-embed-textcontextঅসম্পূর্ণ2,048
nomic-embed-textquickপাস2.798 s
qwen3-14bcontextঅসম্পূর্ণ40,939872.209 s
qwen3-14bquickপাস1536.021 s
qwen3-14bstreamপাস33.491 s
qwen3-14btoolsপাস82.471 s
qwen3-8bcontextঅসম্পূর্ণ1800.07 s
qwen3-8bquickপাস1519.283 s
qwen3-8bstreamপাস19.401 s
qwen3-8btoolsপাস65.054 s
qwen3.5-9bcontextপাস65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kপাস81,051324.07 s
qwen3.5-9bexact_digest_broker_shortপাস2994.48 s
qwen3.5-9bquickপাস1527.16 s
qwen3.5-9bstreamপাস28.62 s
qwen3.5-9btoolsপাস28.129 s
qwen3.5-9bvisionপাস7525.047 s
qwen3.5-9bvision_contextপাস65,640369.477 s
qwen3.5-9bvision_reverseপাস7527.602 s

সিস্টেম E

মডেল রুটের লেবেলপরীক্ষাফলাফলইনপুট টোকেনঅনুরোধের সময়
gemma-4-e4b-itcontextপাস65,59049.086 s
gemma-4-e4b-itquickপাস2123.911 s
gemma-4-e4b-itstreamপাস28.136 s
gemma-4-e4b-ittoolsপাস56.756 s
granite-4.0-h-tinycontextপাস65,566
granite-4.0-h-tinyquickপাস3510.408 s
granite-4.0-h-tinystreamপাস27.798 s
granite-4.0-h-tinytoolsপাস43.304 s
granite-4.2-3bcontextপাস65,5891014.03 s
granite-4.2-3bquickপাস2014.569 s
granite-4.2-3bstreamপাস6.948 s
granite-4.2-3btoolsপাস56.376 s
qwen3-embedding-0.6bcontextপাস32,76720.387 s
qwen3-embedding-0.6bquickপাস149.592 s
qwen3.5-0.8bcontextপাস16,4299.128 s
qwen3.5-0.8bquickপাস17452.417 s
qwen3.5-0.8bstreamপাস11.163 s
qwen3.5-0.8btoolsপাস39.214 s
qwen3.5-2bcontextপাস65,57930.343 s
qwen3.5-2bquickপাস1512.509 s
qwen3.5-2bstreamপাস26.165 s
qwen3.5-2btoolsপাস42.056 s
qwen3.5-4bcontextপাস65,57953.787 s
qwen3.5-4bquickপাস1526.736 s
qwen3.5-4bstreamপাস26.02 s
qwen3.5-4btoolsপাস57.293 s
qwen3.5-4bvisionপাস7210.09 s
qwen3.5-4bvision_contextপাস65,63744.88 s
qwen3.5-4bvision_reverseপাস729.96 s

সিস্টেম F

মডেল রুটের লেবেলপরীক্ষাফলাফলইনপুট টোকেনঅনুরোধের সময়
gemma-4-e4b-itcontextপাস65,59098.443 s
gemma-4-e4b-itquickপাস2127.51 s
gemma-4-e4b-itstreamপাস28.042 s
gemma-4-e4b-ittoolsপাস73.891 s
granite-4.0-h-tinycontextপাস65,59919.692 s
granite-4.0-h-tinyquickপাস3543.818 s
granite-4.0-h-tinystreamপাস27.296 s
granite-4.0-h-tinytoolsপাস75.377 s
granite-4.2-3bcontextপাস65,589145.179 s
granite-4.2-3bquickপাস2015.703 s
granite-4.2-3bstreamপাস35.482 s
granite-4.2-3btoolsপাস52.539 s
qwen3-embedding-0.6bcontextপাস32,76720.656 s
qwen3-embedding-0.6bquickপাস148.122 s
qwen3.5-0.8bcontextপাস16,42913.326 s
qwen3.5-0.8bquickপাস17445.22 s
qwen3.5-0.8bstreamপাস13.266 s
qwen3.5-0.8btoolsপাস40.825 s
qwen3.5-2bcontextপাস65,57961.282 s
qwen3.5-2bquickপাস1516.738 s
qwen3.5-2bstreamপাস25.29 s
qwen3.5-2btoolsপাস47.444 s
qwen3.5-4bcontextপাস65,57993.753 s
qwen3.5-4bquickপাস1533.039 s
qwen3.5-4bstreamপাস25.658 s
qwen3.5-4btoolsপাস71.731 s
qwen3.5-4bvisionপাস7043.053 s
qwen3.5-4bvision_contextপাস65,63584.749 s
qwen3.5-4bvision_reverseপাস7027.518 s

সিস্টেম G

মডেল রুটের লেবেলপরীক্ষাফলাফলইনপুট টোকেনঅনুরোধের সময়
gemma-4-e4b-itcontextপাস65,59092.696 s
gemma-4-e4b-itquickপাস2138.329 s
gemma-4-e4b-itstreamপাস43.549 s
gemma-4-e4b-ittoolsপাস66.616 s
granite-4.0-h-tinycontextপাস65,59969.777 s
granite-4.0-h-tinyquickপাস3533.17 s
granite-4.0-h-tinystreamপাস31.751 s
granite-4.0-h-tinytoolsপাস63.338 s
granite-4.2-3bcontextপাস65,589100.849 s
granite-4.2-3bquickপাস2023.355 s
granite-4.2-3bstreamপাস28.75 s
granite-4.2-3btoolsপাস44.226 s
qwen3-embedding-0.6bcontextপাস32,76723.055 s
qwen3-embedding-0.6bquickপাস148.924 s
qwen3.5-0.8bcontextপাস16,42916.74 s
qwen3.5-0.8bquickপাস17504.813 s
qwen3.5-0.8bstreamপাস15.095 s
qwen3.5-0.8btoolsপাস36.672 s
qwen3.5-2bcontextপাস65,57976.731 s
qwen3.5-2bquickপাস1520.949 s
qwen3.5-2bstreamপাস25.194 s
qwen3.5-2btoolsপাস37.552 s
qwen3.5-4bcontextপাস65,57990.807 s
qwen3.5-4bquickপাস1541.84 s
qwen3.5-4bstreamপাস40.812 s
qwen3.5-4btoolsপাস54.999 s
qwen3.5-4bvisionপাস7029.619 s
qwen3.5-4bvision_contextপাস65,63587.496 s
qwen3.5-4bvision_reverseপাস7026.283 s

Hermes কার্যকর কি না আমি যেভাবে পরীক্ষা করেছি

দীর্ঘ প্রম্পটের শুরুর কাছে একটি কৃত্রিম মার্কার রেখেছি এবং ফিলার লেখার পরে মার্কারটি চেয়েছি। উত্তরে প্রত্যাশিত মান ফেরত দিতে হয়েছে। সার্ভার-প্রদত্ত ইনপুট টোকেনের সংখ্যা অনুরোধের আকার নির্ধারণ করেছে। বড় প্রম্পটের পর মডেল স্বাভাবিকভাবে উত্তর দিলেও শুরুর মার্কার ভুল হলে পরীক্ষায় ব্যর্থ হয়েছে।

Qwen3.5 35B ধাপে ধাপে পরীক্ষায় নম্বরযুক্ত ফিলার রেকর্ড, তাপমাত্রা 0 এবং ক্রমবর্ধমান 3,800, 6,800, 10,000 ও 13,600 রেকর্ড ব্যবহার হয়েছে। ধাপগুলো যথাক্রমে 69,429, 124,179, 182,579 ও 248,279 প্রম্পট টোকেন ফেরত দিয়েছে। ধাপের মধ্যে মডেল লোড ছিল, ফলে প্রিফিক্স পুনর্ব্যবহার সম্ভব হয়। আলাদা Qwen3.6 সীমা-ঘেঁষা পরীক্ষায় ক্যাশে থাকা টোকেন শূন্য দেখিয়েছে।

0.8B-এর দীর্ঘ প্রম্পটে river stone lantern orchard circuit velvet compass marble বাক্যাংশটি শুরুর উত্তর-চাবি ও শেষের স্মরণ প্রশ্নের মাঝে 8,400 বার পুনরাবৃত্তি হয়েছে। নেটিভ রান think:false, num_ctx:131072, stream:false ও keep_alive:0 পাঠিয়েছে। OpenAI-সামঞ্জস্যপূর্ণ রুটে reasoning_effort:"none" ব্যবহার হয়েছে। ব্রোকার তার রুটে চিন্তন-বিহীন মোড বাধ্যতামূলক করেছে, তাই গেটওয়ে ব্যবহারকারীর ক্লায়েন্ট থেকে আলাদা করে সেটিং দিতে হয়নি।

টুল, ভিশন ও মুক্তকরণ পরীক্ষা

টুল পরীক্ষায় অনুরোধ এবং টুল ফল ফেরার পরের উত্তর যাচাই হয়েছে। একটি সহজ পরীক্ষায় add_numbers(7, 11) দিয়ে 18 আশা করা হয়েছে। Qwen3.5 35B পরীক্ষায় lookup_square ব্যবহার করে 49 আশা করা হয়েছে। GPT-OSS একটি ইনভেন্টরি অনুসন্ধান করেছে এবং ফেরত পাওয়া ইনভেন্টরি ফল ব্যবহার করেছে।

ভিশন পরীক্ষায় লাল ও নীল ছবি নিয়ে প্রশ্ন, ছবির উল্টো ক্রম এবং ছবির রঙের সঙ্গে শুরুর ও শেষের মার্কারযুক্ত দীর্ঘ প্রম্পট ছিল। Qwen3.5 35B পরীক্ষায় 256 × 256 লাল PNG ব্যবহার হয়েছে। অনুরোধটি পাস করার আগে ব্রোকারে ছবি-সামগ্রী রূপান্তরের ত্রুটি ঠিক করতে হয়েছে। সিস্টেম E-এর দীর্ঘ 4B ভিশন পরীক্ষায় ইনপুটে দুটি মার্কার ও রঙের ক্রম টিকে থাকা আবশ্যক ছিল।

দীর্ঘ রানগুলোর আশেপাশে GPU মেমরি, মডেল রেসিডেন্সি, তাপমাত্রা, হোস্ট-মেমরি চাপ, OOM ঘটনা ও GPU ত্রুটি পরীক্ষা করেছি। Qwen3.5 35B গার্ড নিয়ন্ত্রিত বিরতির পরে মুক্ত হওয়াও পরীক্ষা করেছে। পরে ক্লায়েন্ট বাতিলকরণ ও কিউতে থাকা অনুরোধের পরীক্ষায় ব্রোকার পথ ব্যবহার হয়েছে। কিউতে থাকা দুটি অনুরোধ পরীক্ষিত চাপে অনুরোধ সামলানোর প্রমাণ, দুটি স্বাধীন একযোগে GPU ব্যাকএন্ডের নয়।

পারফরম্যান্স ফল পড়া

অনুরোধের সময়ে দীর্ঘ ইনপুট প্রিফিল ও ফেরত আসা উত্তর অন্তর্ভুক্ত। এগুলো প্রতি সেকেন্ডে তৈরি টোকেনের মাপ নয়। স্ট্রিমিংয়ে প্রথম বিষয়বস্তু আসতে কত সময় লাগে তা গুরুত্বপূর্ণ, এবং ক্যাশে থাকা প্রিফিক্সের ধাপে ধাপে অগ্রগতির আলাদা ব্যাখ্যা দরকার।

সিস্টেম A ও C-তে বড় মডেলের সফল পরবর্তী রানগুলোতে মাইনিং বন্ধ রেখে আলাদা ইনফারেন্স সময়সীমা ব্যবহার হয়েছে। অনুরোধের পরে মডেল আনলোড হয়েছে। পরীক্ষার সময়সীমা শেষে সাতটি সিস্টেমেই মাইনিং ফিরেছে। এই ফল ইনফারেন্স সময়সীমায় মডেল সার্ভিস বর্ণনা করে, একই সঙ্গে মাইনিং ও ইনফারেন্স নয়।

পরীক্ষায় ব্যবহৃত ব্যাকএন্ড প্রোফাইল

যে কাজ পুনরায় চালাতে চান তার সঙ্গে যুক্ত প্রোফাইল বেছে নিন। কোয়ান্টাইজেশন, রানটাইম প্রসঙ্গ, ক্যাশের ধরন, যুক্তির মোড এবং GPU বণ্টন ফলকে প্রভাবিত করে।

সিস্টেম ও মডেলপরীক্ষিত ব্যাকএন্ড প্রোফাইল
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, f16 KV ক্যাশে, দুটি 16GB RTX 5060 Ti কার্ড, 64 GiB হোস্ট RAM, বড় ধাপের জন্য 262,144 রানটাইম প্রসঙ্গ। নেটিভ অনুরোধে think:false, তাপমাত্রা 0, স্ট্রিমিং এবং ধাপের মাঝে পাঁচ মিনিট keep-alive ছিল। গেটওয়ে অনুরোধে ব্রোকার ও LiteLLM ব্যবহার হয়েছে। অনুরোধ আউটপুট সীমা নেই।
A, Qwen3.8 27Bব্রোকার ও LiteLLM দিয়ে অন-ডিমান্ড llama.cpp, 262,144 রানটাইম প্রসঙ্গ, একটি ইনফারেন্স স্লট, Q4 K/V ক্যাশে এবং দুই RTX 5060 Ti কার্ড। 66,007-টোকেন অনুরোধে আউটপুট সীমা ছিল না।
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, 131,072 প্রসঙ্গ, INT8 KV ক্যাশে, নির্বাচিত একটি GPU, 55 GiB প্রসেস-গ্রুপ মেমরি সীমা, 30 মিনিট রানটাইম সীমা, অলস লোড এবং 60 সেকেন্ড নিষ্ক্রিয় থাকলে আনলোড। পাইলট দীর্ঘ উত্তরে 217 আউটপুট টোকেন। সীমার কাছাকাছি গেটওয়ে উত্তরে 11 আউটপুট টোকেন, অনুরোধ আউটপুট সীমা নেই।
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, 98,304 প্রসঙ্গ, Q4 KV ক্যাশে, 8 GiB রেসিডেন্ট এক্সপার্ট ক্যাশে এবং দুই RTX 5060 Ti। পাইলট মেমরি সীমা 52 GiB, পরের রুটে 54 GiB। পাইলট দীর্ঘ উত্তরে 10 আউটপুট টোকেন। আগের বড় প্রসঙ্গ/ক্যাশে সমন্বয় মেমরি সীমায় থেমেছে।
A, Granite 4.2 8BQ6_K GGUF ওজন, ভাগ করা llama.cpp কর্মী-প্রসেস, 131,072 প্রসঙ্গ, Q4_0 K/V ক্যাশে, --n-predict -1। দীর্ঘ অনুরোধে তাপমাত্রা 0, স্ট্রিমিং ব্যবহার এবং আউটপুট সীমা ছিল না।
A, DeepSeek Coder V2 16BQ4_0 GGUF ওজন, Ollama 0.34.2, দুই RTX 5060 Ti, 64 GiB হোস্ট RAM। আলাদা f16, Q4_0 ও Q8_0 ক্যাশে পরীক্ষায় তুলনা টেবিলের রানটাইম প্রসঙ্গ ব্যবহার হয়েছে। অনুরোধ আউটপুট সীমা নেই।
B, C, D, নিরীক্ষিত Ollama সেবাOllama 0.34.2, 131,072 প্রসঙ্গ, সমান্তরালতা 1, একটি লোড করা মডেল, কিউ আকার 128, keep-alive 0, Flash Attention, Q4_0 KV ক্যাশে।
B, Qwen3.5 9B গেটওয়ে পাইলটLiteLLM রুট টাইমআউট 1,800 সেকেন্ড, পুনরায় চেষ্টা শূন্য, প্রসঙ্গ বা আউটপুট-টোকেন সীমা নেই। 72,265 ইনপুট টোকেনে উভয় মার্কার ধরে রেখেছে। আলাদা মাইনিং পুনরুদ্ধার পরীক্ষায় পাস।
C, Qwen3.5 0.8Bএকটি RTX 2000E Ada-তে 30 W পাওয়ার প্রোফাইলে Q8_0 ওজন। রানটাইম প্রসঙ্গ 131,072। নেটিভ think:false, OpenAI-সামঞ্জস্যপূর্ণ reasoning_effort:"none", আউটপুট সীমা নেই। ব্রোকার অ্যালিয়াস রানটাইম প্রসঙ্গ স্থির করেছে ও চিন্তন-বিহীন মোড বাধ্যতামূলক করেছে।
C, Gemma 4 12B-ITএক GPU-র Ollama প্রোফাইল, 131,072 রানটাইম প্রসঙ্গ, আউটপুট সীমা ছাড়া Aperture স্ট্রিম ও নন-স্ট্রিম অনুরোধ। সরাসরি Aperture রান কনফিগার করা 30 W প্রোফাইলে 75 C ও 30.64 W-এ পৌঁছে, তারপর আনলোড হয়েছে।
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BAperture দিয়ে ঠিক ইনস্টল করা আর্টিফ্যাক্ট পরীক্ষা, 131,072 রানটাইম প্রসঙ্গ, এক GPU-তে পূর্ণ রেসিডেন্সি, অনুরোধ আউটপুট সীমা ছাড়া স্বাভাবিক সমাপ্তি।
E, F, G, llama.cpp চ্যাট প্রসেসBuild 11669, 99 GPU layer, সমান্তরালতা 1, Flash Attention, Q4_0 K/V ক্যাশে, --n-predict -1। মডেল পরিবারের সঙ্গে রানটাইম প্রসঙ্গ বদলেছে।

রেকর্ড করা সেবা প্রোফাইল তাদের নিজস্ব রানটাইম কনফিগারেশন বর্ণনা করে। সিস্টেম A-তে আলাদাভাবে পরীক্ষা করা f16-ক্যাশে Qwen3.5 35B প্রোফাইল ছোট Ollama সিস্টেমের Q4_0 ক্যাশ সেটিং পায় না।

নতুন ইনপুট-ধরে-রাখা পরীক্ষার মডেল ফিঙ্গারপ্রিন্ট

এই মডেল শনাক্তকারীরা একই ধরনের নামের অন্য ডাউনলোড বা অ্যালিয়াস থেকে পরীক্ষিত আর্টিফ্যাক্ট আলাদা করে।

আর্টিফ্যাক্টকোয়ান্টাইজেশনরেকর্ড করা ডাইজেস্ট বা ফাইল SHA-256
Qwen3.5 35B-A3B Ollama ট্যাগQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B বেস Ollama ট্যাগQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF ফাইলQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Ollama ম্যানিফেস্ট ডাইজেস্ট ও ওজন-ফাইলের SHA-256 মান ভিন্ন অবজেক্ট চিহ্নিত করে। টেবিলের আর্টিফ্যাক্টের ধরন অনুযায়ী শনাক্তকারী মিলিয়ে নিন।

Hermes-এর সঙ্গে আমি কী চালাব

দুই RTX 5060 Ti-র সিস্টেমে Qwen3.5 35B-কে প্রধান উচ্চ-প্রসঙ্গ রুট করব। 239,153-টোকেন গেটওয়ে ধরে রাখার ফল, টুল ও ভিশনের আলাদা পাস এবং যাচাইকৃত অনুরোধ-মুক্তি—এসব বড় প্রসঙ্গ উইন্ডোর বিজ্ঞাপিত মডেলের চেয়ে পছন্দটিকে শক্তিশালী করে। একই 66K অনুরোধে দ্রুত উত্তরের জন্য Qwen3.8 27B এবং এক কার্ড ব্যবহারের প্রয়োজন হলে Qwen3.6 রাখব।

RTX 2000E Ada সিস্টেমে পরীক্ষিত দীর্ঘ-ইনপুট প্রতিক্রিয়ার কাজে সিস্টেম C-এর যাচাইকৃত Gemma 3 4B রুট নেব। সীমিত স্মরণ ও এক্সট্রাকশনের জন্য চিন্তন-বিহীন Qwen3.5 0.8B পরীক্ষা করব। চার-পাঁচ মিনিটের পরীক্ষিত প্রাথমিক প্রতিক্রিয়া মানায় এমন কাজে বড় Gemma, Qwen ও GPT-OSS রুট চলবে। সিস্টেম D-এর ব্যর্থ Gemma 3 রুট বাদ দেব।

8GB RTX 3060 Ti ও RTX 3070 কার্ডের জন্য Qwen3.5 2B বা 4B দিয়ে শুরু করব। 65K টেক্সট ফল ও 4B ছবির পরীক্ষা দুই 16GB কার্ড প্রতিটি অনুরোধে না দিয়েও কার্যকর শুরুর কনফিগারেশন সমর্থন করে। পরীক্ষিত প্রোফাইলে Flash Next-এর মেমরি চাপ ও DeepSeek Coder V2-এর অসম্পূর্ণ 65K আচরণ তাদের দুর্বল ডিফল্ট করে।

পরীক্ষাগুলো নির্দিষ্ট কাজের জন্য এই মডেল ও সিস্টেম পছন্দ সমর্থন করে। ইনপুট ধরে রাখা, সঠিক টুল রাউন্ড-ট্রিপ, ছবি চেনা এবং পরিষ্কারভাবে মুক্ত হওয়া—প্রতিটি Hermes-এর উপযোগিতার আলাদা দিক যাচাই করে। নির্ভরযোগ্য সেটআপে এজেন্টের ব্যবহৃত আচরণ এবং উত্তর ও টুল ট্রাফিকের জন্য যথেষ্ট প্রসঙ্গ দরকার।

সূত্র ও সংশ্লিষ্ট পাঠ