Hermes স্থানীয় মডেল বেঞ্চমার্ক: আমি যে GPU ও মডেল সমন্বয় বেছে নেব

Table of Contents
দীর্ঘ প্রসঙ্গের Hermes কাজের জন্য আমি দুটি 16GB RTX 5060 Ti কার্ডে Qwen3.5 35B দিয়ে শুরু করব। পরীক্ষিত রুটটি LiteLLM-এর মাধ্যমে 239,153 ইনপুট টোকেন ধরে রেখেছে এবং টুল, স্ট্রিমিং, ভিশন, কিউতে থাকা অনুরোধ ও বাতিলকরণের আলাদা পরীক্ষা পাস করেছে। এক কার্ডের বিকল্প হিসেবে আমার পছন্দ Qwen3.6। RTX 3060 Ti ও RTX 3070 সিস্টেমে আমি Qwen3.5 2B অথবা 4B দিয়ে শুরু করব।
এই পছন্দগুলো এজেন্টের ব্যবহৃত ইনফারেন্স পথ দিয়ে মডেল চালানোর ফল। আমি দীর্ঘ ইনপুট ধরে রাখা, টুলের সঙ্গে রাউন্ড-ট্রিপ, স্ট্রিম করা প্রতিক্রিয়া, ছবি নিয়ে প্রশ্ন এবং মডেল মুক্ত হওয়া পরীক্ষা করেছি। রুটগুলোর পেছনের মোড ও মেমরি সেটিংসও পরীক্ষা করেছি, কারণ মডেল লোড হওয়া দীর্ঘ এজেন্ট অনুরোধে তার উপযোগিতা সম্পর্কে বেশি কিছু বলে না।
টুলসহ এজেন্ট ব্যবহারের জন্য Hermes-এর অন্তত 64,000 টোকেন প্রসঙ্গ দরকার। দীর্ঘ প্রসঙ্গের যোগ্যতার সীমা হিসেবে আমি 65,536 প্রকৃত ইনপুট টোকেন ব্যবহার করেছি। সার্ভার ঘোষিত প্রসঙ্গের আকারের চেয়ে ইনপুট টোকেনের সংখ্যা বেশি গুরুত্বপূর্ণ। ( Hermes Agent প্রদানকারী ডকুমেন্টেশন )
প্রতিটি সিস্টেমে কোন GPU রয়েছে
ফলাফলে সিস্টেমের অক্ষরগুলো হার্ডওয়্যার সমন্বয় নির্দেশ করে।
| সিস্টেম | এই বেঞ্চমার্কে ব্যবহৃত GPU | আমার প্রাথমিক মডেল পছন্দ |
|---|---|---|
| A | 2 × GeForce RTX 5060 Ti, প্রতিটি 16GB | দুই কার্ডে Qwen3.5 35B, অথবা এক কার্ডে Qwen3.6 |
| B | 1 × RTX 2000E Ada, 16GB | দীর্ঘ ইনপুট প্রক্রিয়ায় কয়েক মিনিট লাগলেও কাজের সঙ্গে মানালে Qwen3.5 9B |
| C | 1 × RTX 2000E Ada, 16GB | পরীক্ষিত দীর্ঘ-ইনপুট পথের জন্য Gemma 3 4B; সীমিত স্মরণ কাজের জন্য চিন্তন বন্ধ রেখে Qwen3.5 0.8B |
| D | 1 × RTX 2000E Ada, 16GB | পরীক্ষিত বড়-মডেল কাজের জন্য Qwen3.5 9B, Gemma 4 12B-IT অথবা GPT-OSS 20B |
| E | 9 × GeForce RTX 3060 Ti, প্রতিটি 8GB | Qwen3.5 2B অথবা 4B |
| F | 8 × GeForce RTX 3060 Ti, প্রতিটি 8GB | Qwen3.5 2B অথবা 4B |
| G | 3 × GeForce RTX 3070 | Qwen3.5 2B অথবা 4B |
ইনস্টল করা কার্ডের সংখ্যা মানে প্রতিটি অনুরোধে সব GPU ব্যবহার হয়েছে এমন নয়। সিস্টেম A-তে Qwen3.5 35B ও Flash Next পরীক্ষায় দুই কার্ডই ব্যবহৃত হয়েছে। Qwen3.6 এক কার্ড ব্যবহার করেছে। সিস্টেম E-তে সফল Qwen3.5 4B ভিশন পুনঃপরীক্ষায় আট কার্ডের পুল থেকে একটি নির্বাচিত কার্ড ব্যবহৃত হয়েছে, আর নবম কার্ড AI কাজে নিষিদ্ধ ছিল।
নিচের সময়গুলোকে পরীক্ষিত মডেল, রানটাইম ও সিস্টেমের সম্মিলিত ফল হিসেবে ধরুন। এগুলো ব্যবহারযোগ্য কনফিগারেশন তুলনা করে। গতির পার্থক্যের কারণ হিসেবে GPU আর্কিটেকচারকে আলাদা করে না।
দুটি RTX 5060 Ti-তে Qwen3.5 35B দীর্ঘ প্রসঙ্গে আমার পছন্দ
এই পরীক্ষায় Qwen3.5 35B সবচেয়ে বেশি ইনপুট ধরে রেখেছে। সরাসরি Ollama ধাপে ধাপে 262,144-টোকেন রানটাইম প্রসঙ্গের মধ্যে 248,279 ইনপুট টোকেন ধরে রেখেছে। আলাদা স্ট্রিম করা গেটওয়ে অনুরোধে 239,153 ইনপুট টোকেন ধরে, শুরুর মার্কার ফেরত দেয় এবং 31 আউটপুট টোকেনের পর 148.12 সেকেন্ডে স্বাভাবিকভাবে শেষ হয়।
Hermes-এর জন্য গেটওয়ে ফল গুরুত্বপূর্ণ, কারণ অনুরোধটি ব্রোকার ও LiteLLM দিয়ে গেছে। পৃথক অনুরোধে টুল রাউন্ড-ট্রিপ সম্পন্ন হয়েছে, লাল ছবি চিনেছে এবং একসঙ্গে পাঠানো হলে দুটি সঠিক উত্তর দিয়েছে। ব্রোকার ওই দুটি অনুরোধ কিউতে রেখেছিল। স্ট্রিম করা অনুরোধ বন্ধ করলে ব্রোকার মুক্ত হয় এবং 60.31 সেকেন্ডের মধ্যে মডেল আনলোড হয়।
| Qwen3.5 35B অনুরোধ | ইনপুট টোকেন | আউটপুট টোকেন | সময় | ফলাফল |
|---|---|---|---|---|
| সরাসরি Ollama, প্রথম ধাপ | 69,429 | 31 | 38.783 s | শুরুর মার্কার হুবহু মেলে |
| সরাসরি Ollama, শেয়ার্ড প্রিফিক্সে ধারাবাহিকতা | 124,179 | 31 | 28.472 s | শুরুর মার্কার হুবহু মেলে |
| সরাসরি Ollama, শেয়ার্ড প্রিফিক্সে ধারাবাহিকতা | 182,579 | 31 | 38.974 s | শুরুর মার্কার হুবহু মেলে |
| সরাসরি Ollama, শেয়ার্ড প্রিফিক্সে ধারাবাহিকতা | 248,279 | 31 | 54.215 s | শুরুর মার্কার হুবহু মেলে |
| ব্রোকারের স্ট্রিম করা অনুরোধ | 69,427 | 29 | 38.872 s | শুরুর মার্কার হুবহু মেলে |
| LiteLLM স্ট্রিম করা অনুরোধ | 239,153 | 31 | 148.12 s | শুরুর মার্কার হুবহু মেলে, পরিষ্কার আনলোড |
ক্রমবর্ধমান সরাসরি অনুরোধগুলো বড় হতে থাকা প্রিফিক্স পুনরায় ব্যবহার করেছে। সময়গুলো উষ্ণ ধারাবাহিকতার আচরণ বর্ণনা করে। 54.215 সেকেন্ড ফলটি নতুন 248K প্রম্পটের স্বাধীন কোল্ড-প্রসেসিং পরিমাপ নয়।
সবচেয়ে বড় সরাসরি ধাপে মডেল দুই GPU জুড়ে প্রায় 27.3 বিলিয়ন বাইট রেসিডেন্ট থাকার কথা জানিয়েছে। প্রতি কার্ডে মেমরির সর্বোচ্চ ব্যবহার ছিল 14,964 ও 12,386 MiB।
সর্বোচ্চ তাপমাত্রা ছিল 62 ও 63 C, এবং কোনো OOM বা Xid ত্রুটি রেকর্ড হয়নি। কনফিগার করা প্রসঙ্গে ইনপুটটি চালিয়ে যাওয়ার জন্য 13,865 টোকেন রেখেছে। সংক্ষিপ্ত মার্কার উত্তরে ওই টোকেনের 31টি ব্যবহার হয়েছে।
প্রাথমিক প্রতিক্রিয়ার গতি থেকে বড় কাজের সেট ধরে রাখা বেশি গুরুত্বপূর্ণ হলে আমি এই রুট ব্যবহার করব। টুল ও ভিশন পরীক্ষা এজেন্টের উপযোগী আচরণ দেখায়, আর দীর্ঘ-ইনপুট পরীক্ষা ধরে রাখার ক্ষমতা দেখায়। এগুলো পৃথক কাজ।
এক কার্ডের বিকল্প Qwen3.6
Qwen3.6-35B-A3B UD-Q4_K_XL এক RTX 5060 Ti-তে 131,000 ইনপুট টোকেন ধরে রেখেছে। পরীক্ষার সময় অন্য কার্ডটি নিষ্ক্রিয় ছিল। একটি মডেলের জন্য দুই কার্ড উৎসর্গ করা অনুচিত হলে এটি সিস্টেমকে কার্যকর বিকল্প দেয়।
| Qwen3.6 গেটওয়ে অনুরোধ | ইনপুট টোকেন | আউটপুট টোকেন | সময় | ফলাফল |
|---|---|---|---|---|
| প্রাথমিক দীর্ঘ অনুরোধ | 66,007 | 167.82 s | শুরুর মার্কার ধরে রেখেছে | |
| আরও দীর্ঘ অনুরোধ | 90,000 | 11 | 159.92 s | শুরুর মার্কার ধরে রেখেছে, ক্যাশে ইনপুট শূন্য |
| আরও দীর্ঘ অনুরোধ | 119,999 | 11 | 250.61 s | শুরুর মার্কার ধরে রেখেছে, ক্যাশে ইনপুট শূন্য |
| রানটাইম সীমার কাছাকাছি | 131,000 | 11 | 287.09 s | শুরুর মার্কার ধরে রেখেছে, ক্যাশে ইনপুট শূন্য |
131,000 টোকেনের অনুরোধ 131,072 রানটাইম সীমার কাছাকাছি পৌঁছেছিল। এজেন্টের জন্য উত্তর ও পরবর্তী টুল বার্তার জায়গা আমি বেশি রাখতাম। সীমার কাছাকাছি ধরে রাখার ফল ইনপুট ব্যবস্থাপনার প্রমাণ দেয়, তবে যুক্তিসংগত ডিফল্ট ইনপুট বাজেট নয়।
চিন্তন বন্ধ রাখলে টুল ব্যবহার পাস করেছে। ডিফল্ট চিন্তন টুল কল দেওয়ার আগেই 512-টোকেন পরীক্ষার বরাদ্দ ব্যবহার করেছে। সফল পাইলট দ্রুত, স্ট্রিম করা ও ভিশন অনুরোধও পাস করেছে। এর প্রাথমিক 65,845-টোকেন প্রসঙ্গ যাচাইয়ে 139.57 সেকেন্ড লেগেছে।
একই 66K প্রতিক্রিয়া তুলনায় Qwen3.8 27B এগিয়ে
সিস্টেম A-তে একই 66,007-টোকেন মার্কার কাজে Qwen3.8 27B সবচেয়ে দ্রুত উত্তর দিয়েছে। পরীক্ষিত ইনপুটের কাছাকাছি অনুরোধে এই রুট রাখব, আর বড় কাজের সেটের জন্য Qwen3.5 35B রাখব।
| সিস্টেম A রুট | ইনপুট টোকেন | সময় | ফলাফল |
|---|---|---|---|
| Qwen3.8 27B | 66,007 | 54.64 s | শুরুর মার্কার ধরে রেখেছে |
| Qwen3.6-35B-A3B UD-Q4_K_XL | 66,007 | 167.82 s | শুরুর মার্কার ধরে রেখেছে |
| Qwen3.8-Flash-Next UD-IQ4_XS | 66,007 | 164.58 s | শুরুর মার্কার ধরে রেখেছে |
| Flash Next IQ4 সামঞ্জস্য অ্যালিয়াস | 66,007 | 213.25 s | মার্কার ধরে রেখেছে |
সমতুল্য Qwen3.6 ও Flash Next অনুরোধের প্রায় এক-তৃতীয়াংশ সময় নিয়েছে Qwen3.8 27B। এগুলো পরীক্ষিত রানটাইমে সম্পূর্ণ অনুরোধের পর্যবেক্ষণ, শুধু হার্ডওয়্যারের তুলনা নয়।
দ্রুত প্রতিক্রিয়া, স্ট্রিমিং ও টুল ব্যবহারও পাস করেছে। চিন্তন বন্ধ মোড পূর্ণ রঙের ধারা ও টুল রাউন্ড-ট্রিপ শেষ করেছে, আর চিন্তন পরীক্ষায় 512-টোকেন বরাদ্দে রঙের ধারার কেবল অংশ ফেরত এসেছে।
মেমরির চাপের কারণে এই সিস্টেমে Flash Next কম আকর্ষণীয় ডিফল্ট। 65,847-টোকেন পাইলট 98,304 রানটাইম প্রসঙ্গে 201.41 সেকেন্ডে পাস করেছে। আগের দুটি 131,072-প্রসঙ্গ প্রোফাইল প্রস্তুত হওয়ার আগে মেমরির সীমায় পৌঁছেছিল।
পরবর্তী রুটটি 54 GiB cgroup সীমায় পৌঁছেছিল। তত্ত্বাবধানহীন কাজে আমি বেশি মেমরি অবকাশসহ রুট বেছে নেব।
flash-iq2 নামে রুটটি Flash Next IQ4 সামঞ্জস্য ব্যাকএন্ড চালিয়েছে। নামটি IQ2 ফল নির্দেশ করে না।
RTX 2000E Ada দীর্ঘ ইনপুট সামলায়, তবে মডেল নির্বাচন অপেক্ষার সময় বদলায়
সিস্টেম C-তে পরীক্ষিত দীর্ঘ-ইনপুট রুটগুলোর মধ্যে Gemma 3 4B আমার পছন্দ। দুটি পথ প্রায় 88 সেকেন্ডে 84K-এর বেশি ইনপুট টোকেন ধরে রেখেছে। বড় মডেলের পথগুলোও কার্যকর ধরে রাখার পরীক্ষা পাস করেছে, তবে অনুরোধে কয়েক মিনিট লেগেছে।
| সিস্টেম | মডেল ও পথ | ইনপুট টোকেন | সময় | ফলাফল |
|---|---|---|---|---|
| B | Qwen3.5 9B, গেটওয়ে | 72,265 | 263 s | দুটি সেন্টিনেলই ধরে রেখেছে, পরে মাইনিং পুনরুদ্ধার পরীক্ষাও পাস করেছে |
| C | Gemma 3 4B, গেটওয়ে | 84,044 | 88.05 s | শুরুর মার্কার ধরে রেখেছে |
| C | Gemma 3 4B, Aperture | 84,045 | 87.68 s | শুরুর মার্কার ধরে রেখেছে |
| C | Gemma 4 12B-IT, গেটওয়ে | 67,254 | 263.07 s | শুরুর মার্কার ধরে রেখেছে |
| C | Gemma 4 12B-IT, Aperture নন-স্ট্রিম | 67,255 | 274.24 s | শুরুর মার্কার ধরে রেখেছে |
| C | Gemma 4 12B-IT, Aperture স্ট্রিম | 67,255 | 282.16 s | শুরুর মার্কার ধরে রেখেছে |
| C | Qwen3.5 9B, গেটওয়ে | 75,648 | 319.36 s | শুরুর মার্কার ধরে রেখেছে, মডেল আনলোড হয়েছে |
| C | GPT-OSS 20B, গেটওয়ে | 84,099 | 315.83 s | শুরুর মার্কার ধরে রেখেছে, মডেল আনলোড হয়েছে |
| D | Qwen3.5 9B, Aperture | 81,051 | 324.07 s | ইনস্টল করা আর্টিফ্যাক্টে ধরে রাখার পরীক্ষা পাস |
| D | Gemma 4 12B-IT, Aperture | 72,057 | 300.67 s | ইনস্টল করা আর্টিফ্যাক্টে ধরে রাখার পরীক্ষা পাস |
| D | GPT-OSS 20B, Aperture | 72,104 | 245.94 s | ইনস্টল করা আর্টিফ্যাক্টে ধরে রাখার পরীক্ষা পাস |
স্ট্রিমিং সিস্টেম C-তে Gemma 4-এর দীর্ঘ প্রিফিল অপেক্ষা দূর করেনি। প্রথম স্ট্রিম করা বিষয়বস্তু 277.49 সেকেন্ডে এসেছে, যা 274.24 সেকেন্ডের সম্পূর্ণ নন-স্ট্রিম প্রতিক্রিয়ার পর। আগের একটি নন-স্ট্রিম প্রচেষ্টার সময় শেষ হয়ে গিয়েছিল, তারপর সফল পুনরায় চেষ্টা হয়েছে। প্রাথমিক প্রক্রিয়ায় কয়েক মিনিট মানায় এমন কাজেই আমি এই পথ রাখব।
Gemma 3 4B দেখায় কেন প্রতিটি পরীক্ষিত সিস্টেম আলাদাভাবে যোগ্যতা যাচাই করা দরকার। সিস্টেম D দুটি 65K স্মরণ পরীক্ষায় শুরুর মার্কার মেলাতে পারেনি, এর মধ্যে 67,252 ইনপুট টোকেনের তাপমাত্রা-শূন্য পুনরাবৃত্তিও ছিল। নির্ধারিত অনুরোধ GPU পুরোপুরি রেসিডেন্ট অবস্থায় 62.07 সেকেন্ডে স্বাভাবিকভাবে শেষ হয়েছিল।
দ্রুত শেষ হওয়া এবং স্বাভাবিক API প্রতিক্রিয়া উত্তর সঠিক হওয়ার প্রমাণ নয়। আমি সিস্টেম C-এর সফল পথ ব্যবহার করব এবং সিস্টেম D-এর ব্যর্থ পথ Hermes নির্বাচনের বাইরে রাখব।
চিন্তন মোড Qwen3.5 0.8B-এর উপযোগিতা নির্ধারণ করে
চিন্তন বন্ধ করার পর Qwen3.5 0.8B সিস্টেম C-তে সীমিত স্মরণ কাজের উপযোগী প্রার্থী হয়েছে। ছোট Q8_0 মডেলটি গেটওয়ে দিয়ে 75,649 ইনপুট টোকেন 65.92 সেকেন্ডে ধরে রেখেছে। এই ফল পরীক্ষিত Q8_0 আর্টিফ্যাক্ট ও চিন্তন-বিহীন পথের, টেবিলের অন্যত্র থাকা পুরোনো 16K-প্রসঙ্গ কনফিগারেশনের নয়।
| সিস্টেম C-তে Qwen3.5 0.8B অনুরোধ | ইনপুট টোকেন | আউটপুট টোকেন | সময় | ফলাফল |
|---|---|---|---|---|
| ডিফল্ট চিন্তন, সংক্ষিপ্ত নির্ণয় | 9,050 | 3,391 | 66.56 s | শুরুর মার্কার হুবহু মেলে |
| চিন্তন বন্ধ, একই ধরনের নির্ণয় | 9,055 | 21 | 7.65 s | শুরুর মার্কার হুবহু মেলে, কোনো যুক্তি-টেক্সট নেই |
| ডিফল্ট চিন্তন, দীর্ঘ চেষ্টা | 600 s-এ সময় শেষ | উত্তর সম্পূর্ণ হয়নি | ||
| চিন্তন বন্ধ, নেটিভ Ollama | 75,656 | 22 | 69.80 s | শুরুর মার্কার হুবহু মেলে |
| চিন্তন ছাড়া OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট | 75,646 | 12 | 69.09 s | শুরুর মার্কার হুবহু মেলে |
| চিন্তন বন্ধ মোড বাধ্যতামূলক করা ব্রোকার | 75,647 | 13 | 66.83 s | শুরুর মার্কার হুবহু মেলে |
| সিস্টেম A থেকে সিস্টেম C-তে LiteLLM | 75,649 | 15 | 65.92 s | শুরুর মার্কার হুবহু মেলে |
একই নির্ণয়ের সময় 66.56 থেকে 7.65 সেকেন্ডে নেমেছে, প্রায় 8.7 গুণ দ্রুত, আর তৈরি আউটপুট 3,391 থেকে 21 টোকেনে নেমেছে। তাই সাধারণ এক্সট্রাকশন ও রাউটিং কাজে আমি চিন্তনের মোড স্পষ্টভাবে নির্ধারণ করব। ডিফল্ট যুক্তি বেশিরভাগ কাজ এমন আউটপুটে ব্যয় করেছে যা কাজটির দরকার ছিল না।
একটি সংক্ষিপ্ত OpenAI-সামঞ্জস্যপূর্ণ প্রোব প্রথমে মার্কার মেলাতে পারেনি, পরে তাপমাত্রা-শূন্য পুনরায় চেষ্টা পাস করেছে। সফল রুট পরীক্ষায় আউটপুট সীমা ছাড়া চিন্তন-বিহীন মোড ও স্বাভাবিক সমাপ্তি ব্যবহার হয়েছে। অন্য তিনটি গেটওয়ে 4.22, 4.37 ও 3.85 সেকেন্ডে সংক্ষিপ্ত মার্কার অনুরোধ পাস করেছে। ওই পরীক্ষাগুলো রাউটিং যাচাই করে, আর 75,649-টোকেন অনুরোধ গেটওয়ে দিয়ে দীর্ঘ ইনপুট ধরে রাখা যাচাই করে।
সীমাবদ্ধ স্মরণ ও এক্সট্রাকশনের কাজে আমি এই রুট পরীক্ষা করব। খোলা ধরনের এজেন্ট যুক্তির জন্য বড় মডেল নেব। একটি কৃত্রিম মার্কার উদ্ধার করা পরিকল্পনা, কোডিং বা একাধিক টুল সমন্বয়ের চেয়ে সীমিত কাজ।
RTX 3060 Ti ও RTX 3070 সিস্টেমে Qwen3.5 2B ও 4B মানানসই
8GB কার্ডের জন্য Qwen3.5 2B ও 4B আমার ব্যবহারিক শুরুর পছন্দ। সিস্টেম E, F ও G-তে পাঠ্য প্রসঙ্গের অনুরোধ 65,579 ইনপুট টোকেনসহ 30.343 থেকে 93.753 সেকেন্ডে পাস করেছে। পরীক্ষিত 4B পথ টুল, স্ট্রিমিং ও ছবি পরীক্ষাও পাস করেছে।
সিস্টেম E-এর 4B ভিশন-প্রসঙ্গ পুনঃপরীক্ষায় 65,637 ইনপুট টোকেনে 44.88 সেকেন্ডে দুটি মার্কার ও ছবির রঙের ক্রম ধরে রেখেছে। সামনে ও উল্টো রঙের ক্রমের অনুরোধও পাস করেছে। একটি কার্ডে Xid 79 লিংক ত্রুটি এবং সিস্টেম পুনরায় চালুর পর পুনঃপরীক্ষায় একটি সুস্থ কার্ড ব্যবহৃত হয়েছে।
| সিস্টেম | Qwen3.5 2B পাঠ্য প্রসঙ্গ | Qwen3.5 4B পাঠ্য প্রসঙ্গ | Qwen3.5 4B ভিশন প্রসঙ্গ |
|---|---|---|---|
| E, RTX 3060 Ti পুল | 65,579 টোকেন, 30.343 s | 65,579 টোকেন, 53.787 s | 65,637 টোকেন, 44.88 s |
| F, RTX 3060 Ti পুল | 65,579 টোকেন, 61.282 s | 65,579 টোকেন, 93.753 s | 65,635 টোকেন, 84.749 s |
| G, RTX 3070 পুল | 65,579 টোকেন, 76.731 s | 65,579 টোকেন, 90.807 s | 65,635 টোকেন, 87.496 s |
এই প্রতিটি সিস্টেমে 29টি পাস করা পরীক্ষা রেকর্ড হয়েছে। দুটি RTX 3060 Ti সিস্টেমের সময়ের ব্যবধানও দেখায় কেন এই অনুরোধের সময় থেকে কার্ডের র্যাঙ্ক না করে পরীক্ষিত সিস্টেম প্রোফাইল বেছে নেওয়া উচিত।
ইনফারেন্সের সময়সীমা শেষে সাতটি সিস্টেমই মাইনিংয়ে ফিরেছে। সিস্টেম B-এর পৃথক বন্ধ-পরবর্তী পুনরুদ্ধার পরীক্ষায় নতুন গৃহীত শেয়ারসহ পাস হয়েছে। সিস্টেম E-এর ত্রুটিযুক্ত কার্ডটি পরে রিবুট ও PCIe লিংক শক্তিশালী করার পর মাইনিংয়ে ফিরেছে, তবে AI পুল থেকে বাদ ছিল। সময়সীমার শেষে মাইনিং ফিরিয়ে আনা এবং প্রতিটি ইনফারেন্স অনুরোধের পর স্বয়ংক্রিয়ভাবে ফেরানো আলাদা ফল।
মডেল লোড করলেই যোগ্য হয় না
পরীক্ষিত 65K Hermes পছন্দ থেকে DeepSeek Coder V2 16B বাদ দেব। এর f16-ক্যাশ পরীক্ষা 50,477 ইনপুট টোকেন ধরে রেখেছে, কিন্তু 65K লক্ষ্যের পরীক্ষা VRAM গার্ডে পৌঁছেছে। Q4 ও Q8 ক্যাশ বিকল্প GPU-তে ওজন লোড করেছে, পরে হোস্ট মেমরির সীমা বা দীর্ঘ প্রম্পটে কম থ্রুপুটে আটকে গেছে।
| DeepSeek Coder V2 ক্যাশ প্রোফাইল | রানটাইম প্রসঙ্গ | পর্যবেক্ষিত ফল | আমার মূল্যায়ন |
|---|---|---|---|
| f16 | 81,920 | 50,477-টোকেন স্মরণ পাস, অতিরিক্ত বড় অনুরোধ প্রত্যাখ্যাত | কম প্রসঙ্গের উপযোগী ফল |
| f16 | 73,728 | 65K-লক্ষ্য প্রিফিল GPU ব্যবহারে 15,802 MiB-তে থেমেছে | 65K-এর যোগ্য নয় |
| Q4_0 | 98,304 | নিয়ন্ত্রিত বিরতির আগে দীর্ঘ প্রিফিল 96.72 টোকেন/সেকেন্ডে নেমেছে | এই কাজের জন্য অনুপযুক্ত |
| Q8_0 | 77,824 | নিয়ন্ত্রিত বিরতির আগে দীর্ঘ প্রিফিল 120.12 টোকেন/সেকেন্ডে নেমেছে | এই কাজের জন্য অনুপযুক্ত |
| Q4_0 / Q8_0, বড় প্রোফাইল | 163,840 / 98,304 | হোস্ট-মেমরি গার্ড পরীক্ষাগুলো থামিয়েছে | পুরো সিস্টেমের মেমরি-সামঞ্জস্য জরুরি |
বাস্তব শিক্ষা হলো যে অনুরোধ পাঠানোর পরিকল্পনা আছে সেটিই পরীক্ষা করা। GPU রেসিডেন্সি, সংক্ষিপ্ত উত্তর ও বড় কনফিগার করা প্রসঙ্গ কাজে লাগার মতো ল্যাটেন্সিতে দীর্ঘ ইনপুট ধরে রাখার প্রমাণ নয়।
সিস্টেম A-তে নির্দিষ্ট রুট-সংক্রান্ত পরবর্তী কাজের পর Granite 4.2 8B ও GPT-OSS 20B উন্নত হয়েছে। Granite-এর Q6_K পথ শূন্য ক্যাশ ইনপুটসহ 88.636 সেকেন্ডে 66,082 ইনপুট টোকেন ধরে রেখেছে। ব্রোকার ঠিক করার পর GPT-OSS টুল রাউন্ড-ট্রিপ সম্পন্ন করেছে, কলের জন্য 9.854 সেকেন্ড এবং ফলো-আপের জন্য 9.849 সেকেন্ড লেগেছে। সফল রুট পরীক্ষাগুলোকে আগের অসম্পূর্ণ প্রচেষ্টা থেকে আলাদা রাখব।
সম্পূর্ণ বেঞ্চমার্ক ফলাফল
তালিকায় 59টি মডেল ও সিস্টেম সমন্বয়ে 295টি পরীক্ষা রয়েছে। ম্যাট্রিক্সে 273টি পাস, একটি ব্যর্থ স্মরণ পরীক্ষা এবং সাতটি অসম্পূর্ণ, অসামঞ্জস্যপূর্ণ বা অসামঞ্জস্যপূর্ণ ফল রয়েছে। 65K যোগ্যতার পরিধির বাইরে 14টি পরীক্ষা। প্রতিটি সারিতে মাপা ফল দেখানো হয়েছে।
আমার সুপারিশ পাস করা রুট ও কাজের জন্য প্রযোজ্য। ব্যর্থ বা অসম্পূর্ণ সারি সংশ্লিষ্ট আচরণকে যোগ্যতা দেয় না।
স্বল্প-প্রসঙ্গ ও এমবেডিং পাস তাদের নিজস্ব কাজের জন্য প্রযোজ্য। 16K বা 32K প্রসঙ্গে পাস করা 65,536 ইনপুট-টোকেনের Hermes কাজের জন্য কোনো রুটকে যোগ্য করে না। এখানে মডেলের নাম রুটের লেবেল। flash-iq2 লেবেলটি IQ4 সামঞ্জস্য ব্যাকএন্ড চালিয়েছে।
সিস্টেম A-এর Qwen3.5 35B প্রসঙ্গ সারিটি উপরের ধাপে ধাপে পরীক্ষার শেষ শেয়ার্ড-প্রিফিক্স ধাপ। প্লাস চিহ্নসহ লেখা টুলের সময় কল ও ফলো-আপ আলাদাভাবে দেখায়।
কনকারেন্সি সারিতে কিউতে থাকা দুটি অনুরোধের সময়। ক্যানসেলেশন সারিতে ক্লায়েন্ট স্ট্রিম বন্ধ করার পর মুক্ত হতে সময়। অতিরিক্ত প্রসঙ্গ অগ্রগতি ও Qwen3.5 0.8B রুট তুলনা তাদের নিজস্ব আগের টেবিলে রয়েছে।
সিস্টেম A
| মডেল রুটের লেবেল | পরীক্ষা | ফলাফল | ইনপুট টোকেন | অনুরোধের সময় |
|---|---|---|---|---|
| bonsai-2-27b | context | পাস | 65,621 | 88.746 s |
| bonsai-2-27b | quick | পাস | 57 | 6.429 s |
| bonsai-2-27b | stream | পাস | 9.371 s | |
| bonsai-2-27b | tools | পাস | 10.478 s | |
| deepseek-coder-v2:16b | context | অসামঞ্জস্যপূর্ণ | 50,477 | |
| deepseek-coder-v2:16b | quick | পাস | 77 | 43.239 s |
| flash-iq2 | context | পাস | 66,007 | 213.25 s |
| flash-iq2 | quick | পাস | 56.03 s | |
| flash-iq2 | stream | পাস | 1.35 s | |
| flash-iq2 | tools | পাস | 16.55 s | |
| gemma-4-12b-it | context | পাস | 65,590 | 51.225 s |
| gemma-4-12b-it | quick | পাস | 21 | 5.166 s |
| gemma-4-12b-it | stream | পাস | 4.653 s | |
| gemma-4-12b-it | tools | পাস | 18.72 s | |
| gemma-4-12b-it | vision | পাস | 115 | 7.222 s |
| gemma-4-12b-it | vision_context | পাস | 65,685 | 56.06 s |
| gemma-4-12b-it | vision_reverse | পাস | 115 | 7.467 s |
| gemma-4-e4b-it | context | পাস | 65,590 | 21.889 s |
| gemma-4-e4b-it | quick | পাস | 21 | 17.919 s |
| gemma-4-e4b-it | stream | পাস | 4.25 s | |
| gemma-4-e4b-it | tools | পাস | 8.734 s | |
| gpt-oss-20b | context | পাস | 65,637 | 159.155 s |
| gpt-oss-20b | quick | পাস | 73 | 10.548 s |
| gpt-oss-20b | stream | পাস | 20.594 s | |
| gpt-oss-20b | tools | পাস | 9.854 + 9.849 s | |
| granite-4.2-3b | context | পাস | 65,589 | 70.968 s |
| granite-4.2-3b | quick | পাস | 20 | 4.009 s |
| granite-4.2-3b | stream | পাস | 5.365 s | |
| granite-4.2-3b | tools | পাস | 6.086 s | |
| granite-4.2-8b | context | পাস | 66,082 | 88.636 s |
| granite-4.2-8b | quick | পাস | 20 | 5.857 s |
| granite-4.2-8b | stream | পাস | 11.826 s | |
| granite-4.2-8b | tools | পাস | 11.852 s | |
| qwen27b | context | পাস | 66,007 | 54.64 s |
| qwen27b | quick | পাস | 57 | 31.5 s |
| qwen27b | stream | পাস | 0.92 s | |
| qwen27b | tools | পাস | 4.25 s | |
| qwen3-embedding-0.6b | context | পাস | 32,767 | 7.736 s |
| qwen3-embedding-0.6b | quick | পাস | 14 | 2.125 s |
| qwen3.5-0.8b | context | পাস | 16,429 | 10.5 s |
| qwen3.5-0.8b | quick | পাস | 17 | 14.316 s |
| qwen3.5-0.8b | stream | পাস | 2.125 s | |
| qwen3.5-0.8b | tools | পাস | 4.416 s | |
| qwen3.5-2b | context | পাস | 65,581 | 11.175 s |
| qwen3.5-2b | quick | পাস | 17 | 4.519 s |
| qwen3.5-2b | stream | পাস | 3.736 s | |
| qwen3.5-2b | tools | পাস | 5.046 s | |
| qwen3.5-4b | context | পাস | 65,579 | 36.451 s |
| qwen3.5-4b | quick | পাস | 15 | 19.935 s |
| qwen3.5-4b | stream | পাস | 17.496 s | |
| qwen3.5-4b | tools | পাস | 7.308 s | |
| qwen3.5-4b | vision | পাস | 70 | 7.848 s |
| qwen3.5-4b | vision_context | পাস | 65,635 | 28.24 s |
| qwen3.5-4b | vision_reverse | পাস | 70 | 4.386 s |
| qwen3.5-9b | context | পাস | 65,581 | 34.139 s |
| qwen3.5-9b | quick | পাস | 17 | 3.88 s |
| qwen3.5-9b | stream | পাস | 3.378 s | |
| qwen3.5-9b | tools | পাস | 10.204 s | |
| qwen3.5-9b | vision | পাস | 72 | 4.441 s |
| qwen3.5-9b | vision_context | পাস | 65,637 | 33.745 s |
| qwen3.5-9b | vision_reverse | পাস | 72 | 3.97 s |
| qwen3.5:35b-a3b-q4_K_M | cancellation | পাস | 60.31 s | |
| qwen3.5:35b-a3b-q4_K_M | concurrency | পাস | 26.23 / 25.33 s | |
| qwen3.5:35b-a3b-q4_K_M | context | পাস | 248,279 | 54.215 s |
| qwen3.5:35b-a3b-q4_K_M | gateway | পাস | 239,153 | 148.12 s |
| qwen3.5:35b-a3b-q4_K_M | quick | পাস | 79 | 10.08 s |
| qwen3.5:35b-a3b-q4_K_M | stream | পাস | 69,429 | 38.783 s |
| qwen3.5:35b-a3b-q4_K_M | tools | পাস | 15.22 + 14.83 s | |
| qwen3.5:35b-a3b-q4_K_M | vision | পাস | 18.39 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | context | পাস | 65,845 | 139.57 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | quick | পাস | 15 | 3.97 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | stream | পাস | 0.45 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | tools | পাস | 293 | 5.48 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | vision | পাস | 38 | 0.59 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | context | পাস | 65,847 | 201.41 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | quick | পাস | 17 | 54.62 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | stream | পাস | 1.2 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | tools | পাস | 22.18 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | vision | পাস | 3.86 s |
সিস্টেম B
| মডেল রুটের লেবেল | পরীক্ষা | ফলাফল | ইনপুট টোকেন | অনুরোধের সময় |
|---|---|---|---|---|
| gemma-4-12b-it | context | পাস | 65,590 | 299.163 s |
| gemma-4-12b-it | quick | পাস | 21 | 15.261 s |
| gemma-4-12b-it | stream | পাস | 148.792 s | |
| gemma-4-12b-it | tools | পাস | 34.124 s | |
| gemma-4-12b-it | vision | পাস | 120 | 61.455 s |
| gemma-4-12b-it | vision_context | পাস | 65,690 | 295.581 s |
| gemma-4-12b-it | vision_reverse | পাস | 120 | 32.511 s |
| gemma3-4b | context | পাস | 65,584 | 67.382 s |
| gemma3-4b | quick | পাস | 15 | 6.329 s |
| gemma3-4b | stream | পাস | 24.138 s | |
| gemma3-4b | vision | পাস | 306 | 7.018 s |
| gemma3-4b | vision_context | পাস | 65,876 | 70.912 s |
| gemma3-4b | vision_reverse | পাস | 306 | 5.762 s |
| gpt-oss-20b | context | পাস | 65,637 | 206.767 s |
| gpt-oss-20b | quick | পাস | 72 | 16.583 s |
| gpt-oss-20b | stream | পাস | 32.075 s | |
| gpt-oss-20b | tools | পাস | 28.102 s | |
| nomic-embed-text | context | অসম্পূর্ণ | 2,048 | |
| nomic-embed-text | quick | পাস | 7.117 s | |
| qwen3-14b | context | অসম্পূর্ণ | 1800.09 s | |
| qwen3-14b | quick | পাস | 15 | 37.199 s |
| qwen3-14b | stream | পাস | 35.471 s | |
| qwen3-14b | tools | পাস | 87.554 s | |
| qwen3-8b | context | 65K-এর নিচে, বাদ | ||
| qwen3-8b | quick | 65K-এর নিচে, পাস | 15 | 21.059 s |
| qwen3-8b | stream | 65K-এর নিচে, বাদ | ||
| qwen3-8b | tools | 65K-এর নিচে, বাদ | ||
| qwen3.5-9b | context | পাস | 65,579 | 282.796 s |
| qwen3.5-9b | litellm_long_route | পাস | 72,265 | 263 s |
| qwen3.5-9b | post_external_stop_mining | পাস | ||
| qwen3.5-9b | quick | পাস | 15 | 25.881 s |
| qwen3.5-9b | stream | পাস | 143.44 s | |
| qwen3.5-9b | tools | পাস | 31.812 s | |
| qwen3.5-9b | vision | পাস | 75 | 32.015 s |
| qwen3.5-9b | vision_context | পাস | 65,640 | 396.288 s |
| qwen3.5-9b | vision_reverse | পাস | 75 | 28.626 s |
সিস্টেম C
| মডেল রুটের লেবেল | পরীক্ষা | ফলাফল | ইনপুট টোকেন | অনুরোধের সময় |
|---|---|---|---|---|
| gemma-4-12b-it | aperture_context | পাস | 67,255 | 274.24 s |
| gemma-4-12b-it | aperture_short | পাস | 35 | 39.32 s |
| gemma-4-12b-it | aperture_stream_context | পাস | 67,255 | 282.16 s |
| gemma-4-12b-it | context | পাস | 65,670 | 313.661 s |
| gemma-4-12b-it | gateway_context | পাস | 67,254 | 263.07 s |
| gemma-4-12b-it | gateway_short | পাস | 27 | 20.98 s |
| gemma-4-12b-it | quick | পাস | 21 | 16.447 s |
| gemma-4-12b-it | stream | পাস | 15.175 s | |
| gemma-4-12b-it | tools | পাস | 37.821 s | |
| gemma-4-12b-it | vision | পাস | 120 | 58.52 s |
| gemma-4-12b-it | vision_context | পাস | 65,690 | 308.759 s |
| gemma-4-12b-it | vision_reverse | পাস | 120 | 31.25 s |
| gemma3-4b | aperture_context | পাস | 84,045 | 87.68 s |
| gemma3-4b | aperture_after_system_d_route_change | পাস | 24 | 5.42 s |
| gemma3-4b | aperture_short | পাস | 22 | 5.45 s |
| gemma3-4b | aperture_stream | পাস | 3.72 s | |
| gemma3-4b | context | পাস | 65,664 | 67.543 s |
| gemma3-4b | gateway_context | পাস | 84,044 | 88.05 s |
| gemma3-4b | gateway_short_via_system_a | পাস | 3.16 s | |
| gemma3-4b | gateway_short_via_system_e | পাস | ||
| gemma3-4b | gateway_short_via_system_f | পাস | 4.15 s | |
| gemma3-4b | gateway_short_via_system_g | পাস | 6.06 s | |
| gemma3-4b | quick | পাস | 15 | 5.163 s |
| gemma3-4b | stream | পাস | 24.691 s | |
| gemma3-4b | vision | পাস | 306 | 7.318 s |
| gemma3-4b | vision_context | পাস | 65,876 | 72.476 s |
| gemma3-4b | vision_reverse | পাস | 306 | 5.831 s |
| gpt-oss-20b | context | পাস | 65,716 | 216.594 s |
| gpt-oss-20b | gateway_context | পাস | 84,099 | 315.83 s |
| gpt-oss-20b | gateway_short | অসংগত | ||
| gpt-oss-20b | quick | পাস | 72 | 21.603 s |
| gpt-oss-20b | stream | পাস | 31.957 s | |
| gpt-oss-20b | tools | পাস | 26.096 s | |
| nomic-embed-text | context | 65K-এর নিচে, অসম্পূর্ণ | 2,048 | |
| nomic-embed-text | quick | 65K-এর নিচে, পাস | 4.178 s | |
| qwen3-14b | context | 65K-এর নিচে, অসম্পূর্ণ | 1800.06 s | |
| qwen3-14b | quick | 65K-এর নিচে, পাস | 15 | 35.809 s |
| qwen3-14b | stream | 65K-এর নিচে, পাস | 35.43 s | |
| qwen3-14b | tools | 65K-এর নিচে, পাস | 87.723 s | |
| qwen3-8b | context | 65K-এর নিচে, বাদ | ||
| qwen3-8b | quick | 65K-এর নিচে, পাস | 15 | 21.293 s |
| qwen3-8b | stream | 65K-এর নিচে, অসম্পূর্ণ | 900.01 s | |
| qwen3-8b | tools | 65K-এর নিচে, বাদ | ||
| qwen3.5-9b | context | পাস | 65,662 | 287.984 s |
| qwen3.5-9b | gateway_context | পাস | 75,648 | 319.36 s |
| qwen3.5-9b | gateway_short | পাস | 21 | 72.14 s |
| qwen3.5-9b | quick | পাস | 15 | 24.635 s |
| qwen3.5-9b | stream | পাস | 143.157 s | |
| qwen3.5-9b | tools | পাস | 30.395 s | |
| qwen3.5-9b | vision | পাস | 75 | 27.756 s |
| qwen3.5-9b | vision_context | পাস | 65,640 | 398.797 s |
| qwen3.5-9b | vision_reverse | পাস | 75 | 28.645 s |
সিস্টেম D
| মডেল রুটের লেবেল | পরীক্ষা | ফলাফল | ইনপুট টোকেন | অনুরোধের সময় |
|---|---|---|---|---|
| gemma-4-12b-it | context | পাস | 65,590 | 275.395 s |
| gemma-4-12b-it | exact_digest_aperture_65k | পাস | 72,057 | 300.67 s |
| gemma-4-12b-it | exact_digest_broker_short | পাস | 34 | 30.74 s |
| gemma-4-12b-it | quick | পাস | 21 | 15.05 s |
| gemma-4-12b-it | stream | পাস | 14.722 s | |
| gemma-4-12b-it | tools | পাস | 33.869 s | |
| gemma-4-12b-it | vision | পাস | 120 | 56.315 s |
| gemma-4-12b-it | vision_context | পাস | 65,690 | 282.174 s |
| gemma-4-12b-it | vision_reverse | পাস | 120 | 29.978 s |
| gemma3-4b | context | পাস | 65,584 | 63.564 s |
| gemma3-4b | exact_digest_65k_recall | ব্যর্থ | 67,252 | 62.07 s |
| gemma3-4b | quick | পাস | 15 | 5.151 s |
| gemma3-4b | stream | পাস | 22.552 s | |
| gemma3-4b | vision | পাস | 306 | 8.276 s |
| gemma3-4b | vision_context | পাস | 65,876 | 67.575 s |
| gemma3-4b | vision_reverse | পাস | 306 | 5.651 s |
| gpt-oss-20b | context | পাস | 65,637 | 189.07 s |
| gpt-oss-20b | exact_digest_aperture_65k | পাস | 72,104 | 245.94 s |
| gpt-oss-20b | exact_digest_broker_short | পাস | 84 | 15.96 s |
| gpt-oss-20b | quick | পাস | 72 | 15.431 s |
| gpt-oss-20b | stream | পাস | 31.052 s | |
| gpt-oss-20b | tools | পাস | 23.65 s | |
| nomic-embed-text | context | অসম্পূর্ণ | 2,048 | |
| nomic-embed-text | quick | পাস | 2.798 s | |
| qwen3-14b | context | অসম্পূর্ণ | 40,939 | 872.209 s |
| qwen3-14b | quick | পাস | 15 | 36.021 s |
| qwen3-14b | stream | পাস | 33.491 s | |
| qwen3-14b | tools | পাস | 82.471 s | |
| qwen3-8b | context | অসম্পূর্ণ | 1800.07 s | |
| qwen3-8b | quick | পাস | 15 | 19.283 s |
| qwen3-8b | stream | পাস | 19.401 s | |
| qwen3-8b | tools | পাস | 65.054 s | |
| qwen3.5-9b | context | পাস | 65,579 | 258.048 s |
| qwen3.5-9b | exact_digest_aperture_65k | পাস | 81,051 | 324.07 s |
| qwen3.5-9b | exact_digest_broker_short | পাস | 29 | 94.48 s |
| qwen3.5-9b | quick | পাস | 15 | 27.16 s |
| qwen3.5-9b | stream | পাস | 28.62 s | |
| qwen3.5-9b | tools | পাস | 28.129 s | |
| qwen3.5-9b | vision | পাস | 75 | 25.047 s |
| qwen3.5-9b | vision_context | পাস | 65,640 | 369.477 s |
| qwen3.5-9b | vision_reverse | পাস | 75 | 27.602 s |
সিস্টেম E
| মডেল রুটের লেবেল | পরীক্ষা | ফলাফল | ইনপুট টোকেন | অনুরোধের সময় |
|---|---|---|---|---|
| gemma-4-e4b-it | context | পাস | 65,590 | 49.086 s |
| gemma-4-e4b-it | quick | পাস | 21 | 23.911 s |
| gemma-4-e4b-it | stream | পাস | 28.136 s | |
| gemma-4-e4b-it | tools | পাস | 56.756 s | |
| granite-4.0-h-tiny | context | পাস | 65,566 | |
| granite-4.0-h-tiny | quick | পাস | 35 | 10.408 s |
| granite-4.0-h-tiny | stream | পাস | 27.798 s | |
| granite-4.0-h-tiny | tools | পাস | 43.304 s | |
| granite-4.2-3b | context | পাস | 65,589 | 1014.03 s |
| granite-4.2-3b | quick | পাস | 20 | 14.569 s |
| granite-4.2-3b | stream | পাস | 6.948 s | |
| granite-4.2-3b | tools | পাস | 56.376 s | |
| qwen3-embedding-0.6b | context | পাস | 32,767 | 20.387 s |
| qwen3-embedding-0.6b | quick | পাস | 14 | 9.592 s |
| qwen3.5-0.8b | context | পাস | 16,429 | 9.128 s |
| qwen3.5-0.8b | quick | পাস | 17 | 452.417 s |
| qwen3.5-0.8b | stream | পাস | 11.163 s | |
| qwen3.5-0.8b | tools | পাস | 39.214 s | |
| qwen3.5-2b | context | পাস | 65,579 | 30.343 s |
| qwen3.5-2b | quick | পাস | 15 | 12.509 s |
| qwen3.5-2b | stream | পাস | 26.165 s | |
| qwen3.5-2b | tools | পাস | 42.056 s | |
| qwen3.5-4b | context | পাস | 65,579 | 53.787 s |
| qwen3.5-4b | quick | পাস | 15 | 26.736 s |
| qwen3.5-4b | stream | পাস | 26.02 s | |
| qwen3.5-4b | tools | পাস | 57.293 s | |
| qwen3.5-4b | vision | পাস | 72 | 10.09 s |
| qwen3.5-4b | vision_context | পাস | 65,637 | 44.88 s |
| qwen3.5-4b | vision_reverse | পাস | 72 | 9.96 s |
সিস্টেম F
| মডেল রুটের লেবেল | পরীক্ষা | ফলাফল | ইনপুট টোকেন | অনুরোধের সময় |
|---|---|---|---|---|
| gemma-4-e4b-it | context | পাস | 65,590 | 98.443 s |
| gemma-4-e4b-it | quick | পাস | 21 | 27.51 s |
| gemma-4-e4b-it | stream | পাস | 28.042 s | |
| gemma-4-e4b-it | tools | পাস | 73.891 s | |
| granite-4.0-h-tiny | context | পাস | 65,599 | 19.692 s |
| granite-4.0-h-tiny | quick | পাস | 35 | 43.818 s |
| granite-4.0-h-tiny | stream | পাস | 27.296 s | |
| granite-4.0-h-tiny | tools | পাস | 75.377 s | |
| granite-4.2-3b | context | পাস | 65,589 | 145.179 s |
| granite-4.2-3b | quick | পাস | 20 | 15.703 s |
| granite-4.2-3b | stream | পাস | 35.482 s | |
| granite-4.2-3b | tools | পাস | 52.539 s | |
| qwen3-embedding-0.6b | context | পাস | 32,767 | 20.656 s |
| qwen3-embedding-0.6b | quick | পাস | 14 | 8.122 s |
| qwen3.5-0.8b | context | পাস | 16,429 | 13.326 s |
| qwen3.5-0.8b | quick | পাস | 17 | 445.22 s |
| qwen3.5-0.8b | stream | পাস | 13.266 s | |
| qwen3.5-0.8b | tools | পাস | 40.825 s | |
| qwen3.5-2b | context | পাস | 65,579 | 61.282 s |
| qwen3.5-2b | quick | পাস | 15 | 16.738 s |
| qwen3.5-2b | stream | পাস | 25.29 s | |
| qwen3.5-2b | tools | পাস | 47.444 s | |
| qwen3.5-4b | context | পাস | 65,579 | 93.753 s |
| qwen3.5-4b | quick | পাস | 15 | 33.039 s |
| qwen3.5-4b | stream | পাস | 25.658 s | |
| qwen3.5-4b | tools | পাস | 71.731 s | |
| qwen3.5-4b | vision | পাস | 70 | 43.053 s |
| qwen3.5-4b | vision_context | পাস | 65,635 | 84.749 s |
| qwen3.5-4b | vision_reverse | পাস | 70 | 27.518 s |
সিস্টেম G
| মডেল রুটের লেবেল | পরীক্ষা | ফলাফল | ইনপুট টোকেন | অনুরোধের সময় |
|---|---|---|---|---|
| gemma-4-e4b-it | context | পাস | 65,590 | 92.696 s |
| gemma-4-e4b-it | quick | পাস | 21 | 38.329 s |
| gemma-4-e4b-it | stream | পাস | 43.549 s | |
| gemma-4-e4b-it | tools | পাস | 66.616 s | |
| granite-4.0-h-tiny | context | পাস | 65,599 | 69.777 s |
| granite-4.0-h-tiny | quick | পাস | 35 | 33.17 s |
| granite-4.0-h-tiny | stream | পাস | 31.751 s | |
| granite-4.0-h-tiny | tools | পাস | 63.338 s | |
| granite-4.2-3b | context | পাস | 65,589 | 100.849 s |
| granite-4.2-3b | quick | পাস | 20 | 23.355 s |
| granite-4.2-3b | stream | পাস | 28.75 s | |
| granite-4.2-3b | tools | পাস | 44.226 s | |
| qwen3-embedding-0.6b | context | পাস | 32,767 | 23.055 s |
| qwen3-embedding-0.6b | quick | পাস | 14 | 8.924 s |
| qwen3.5-0.8b | context | পাস | 16,429 | 16.74 s |
| qwen3.5-0.8b | quick | পাস | 17 | 504.813 s |
| qwen3.5-0.8b | stream | পাস | 15.095 s | |
| qwen3.5-0.8b | tools | পাস | 36.672 s | |
| qwen3.5-2b | context | পাস | 65,579 | 76.731 s |
| qwen3.5-2b | quick | পাস | 15 | 20.949 s |
| qwen3.5-2b | stream | পাস | 25.194 s | |
| qwen3.5-2b | tools | পাস | 37.552 s | |
| qwen3.5-4b | context | পাস | 65,579 | 90.807 s |
| qwen3.5-4b | quick | পাস | 15 | 41.84 s |
| qwen3.5-4b | stream | পাস | 40.812 s | |
| qwen3.5-4b | tools | পাস | 54.999 s | |
| qwen3.5-4b | vision | পাস | 70 | 29.619 s |
| qwen3.5-4b | vision_context | পাস | 65,635 | 87.496 s |
| qwen3.5-4b | vision_reverse | পাস | 70 | 26.283 s |
Hermes কার্যকর কি না আমি যেভাবে পরীক্ষা করেছি
দীর্ঘ প্রম্পটের শুরুর কাছে একটি কৃত্রিম মার্কার রেখেছি এবং ফিলার লেখার পরে মার্কারটি চেয়েছি। উত্তরে প্রত্যাশিত মান ফেরত দিতে হয়েছে। সার্ভার-প্রদত্ত ইনপুট টোকেনের সংখ্যা অনুরোধের আকার নির্ধারণ করেছে। বড় প্রম্পটের পর মডেল স্বাভাবিকভাবে উত্তর দিলেও শুরুর মার্কার ভুল হলে পরীক্ষায় ব্যর্থ হয়েছে।
Qwen3.5 35B ধাপে ধাপে পরীক্ষায় নম্বরযুক্ত ফিলার রেকর্ড, তাপমাত্রা 0 এবং ক্রমবর্ধমান 3,800, 6,800, 10,000 ও 13,600 রেকর্ড ব্যবহার হয়েছে। ধাপগুলো যথাক্রমে 69,429, 124,179, 182,579 ও 248,279 প্রম্পট টোকেন ফেরত দিয়েছে। ধাপের মধ্যে মডেল লোড ছিল, ফলে প্রিফিক্স পুনর্ব্যবহার সম্ভব হয়। আলাদা Qwen3.6 সীমা-ঘেঁষা পরীক্ষায় ক্যাশে থাকা টোকেন শূন্য দেখিয়েছে।
0.8B-এর দীর্ঘ প্রম্পটে river stone lantern orchard circuit velvet compass marble বাক্যাংশটি শুরুর উত্তর-চাবি ও শেষের স্মরণ প্রশ্নের মাঝে 8,400 বার পুনরাবৃত্তি হয়েছে। নেটিভ রান think:false, num_ctx:131072, stream:false ও keep_alive:0 পাঠিয়েছে। OpenAI-সামঞ্জস্যপূর্ণ রুটে reasoning_effort:"none" ব্যবহার হয়েছে। ব্রোকার তার রুটে চিন্তন-বিহীন মোড বাধ্যতামূলক করেছে, তাই গেটওয়ে ব্যবহারকারীর ক্লায়েন্ট থেকে আলাদা করে সেটিং দিতে হয়নি।
টুল, ভিশন ও মুক্তকরণ পরীক্ষা
টুল পরীক্ষায় অনুরোধ এবং টুল ফল ফেরার পরের উত্তর যাচাই হয়েছে। একটি সহজ পরীক্ষায় add_numbers(7, 11) দিয়ে 18 আশা করা হয়েছে। Qwen3.5 35B পরীক্ষায় lookup_square ব্যবহার করে 49 আশা করা হয়েছে। GPT-OSS একটি ইনভেন্টরি অনুসন্ধান করেছে এবং ফেরত পাওয়া ইনভেন্টরি ফল ব্যবহার করেছে।
ভিশন পরীক্ষায় লাল ও নীল ছবি নিয়ে প্রশ্ন, ছবির উল্টো ক্রম এবং ছবির রঙের সঙ্গে শুরুর ও শেষের মার্কারযুক্ত দীর্ঘ প্রম্পট ছিল। Qwen3.5 35B পরীক্ষায় 256 × 256 লাল PNG ব্যবহার হয়েছে। অনুরোধটি পাস করার আগে ব্রোকারে ছবি-সামগ্রী রূপান্তরের ত্রুটি ঠিক করতে হয়েছে। সিস্টেম E-এর দীর্ঘ 4B ভিশন পরীক্ষায় ইনপুটে দুটি মার্কার ও রঙের ক্রম টিকে থাকা আবশ্যক ছিল।
দীর্ঘ রানগুলোর আশেপাশে GPU মেমরি, মডেল রেসিডেন্সি, তাপমাত্রা, হোস্ট-মেমরি চাপ, OOM ঘটনা ও GPU ত্রুটি পরীক্ষা করেছি। Qwen3.5 35B গার্ড নিয়ন্ত্রিত বিরতির পরে মুক্ত হওয়াও পরীক্ষা করেছে। পরে ক্লায়েন্ট বাতিলকরণ ও কিউতে থাকা অনুরোধের পরীক্ষায় ব্রোকার পথ ব্যবহার হয়েছে। কিউতে থাকা দুটি অনুরোধ পরীক্ষিত চাপে অনুরোধ সামলানোর প্রমাণ, দুটি স্বাধীন একযোগে GPU ব্যাকএন্ডের নয়।
পারফরম্যান্স ফল পড়া
অনুরোধের সময়ে দীর্ঘ ইনপুট প্রিফিল ও ফেরত আসা উত্তর অন্তর্ভুক্ত। এগুলো প্রতি সেকেন্ডে তৈরি টোকেনের মাপ নয়। স্ট্রিমিংয়ে প্রথম বিষয়বস্তু আসতে কত সময় লাগে তা গুরুত্বপূর্ণ, এবং ক্যাশে থাকা প্রিফিক্সের ধাপে ধাপে অগ্রগতির আলাদা ব্যাখ্যা দরকার।
সিস্টেম A ও C-তে বড় মডেলের সফল পরবর্তী রানগুলোতে মাইনিং বন্ধ রেখে আলাদা ইনফারেন্স সময়সীমা ব্যবহার হয়েছে। অনুরোধের পরে মডেল আনলোড হয়েছে। পরীক্ষার সময়সীমা শেষে সাতটি সিস্টেমেই মাইনিং ফিরেছে। এই ফল ইনফারেন্স সময়সীমায় মডেল সার্ভিস বর্ণনা করে, একই সঙ্গে মাইনিং ও ইনফারেন্স নয়।
পরীক্ষায় ব্যবহৃত ব্যাকএন্ড প্রোফাইল
যে কাজ পুনরায় চালাতে চান তার সঙ্গে যুক্ত প্রোফাইল বেছে নিন। কোয়ান্টাইজেশন, রানটাইম প্রসঙ্গ, ক্যাশের ধরন, যুক্তির মোড এবং GPU বণ্টন ফলকে প্রভাবিত করে।
| সিস্টেম ও মডেল | পরীক্ষিত ব্যাকএন্ড প্রোফাইল |
|---|---|
| A, Qwen3.5 35B-A3B Q4_K_M | Ollama 0.34.2, f16 KV ক্যাশে, দুটি 16GB RTX 5060 Ti কার্ড, 64 GiB হোস্ট RAM, বড় ধাপের জন্য 262,144 রানটাইম প্রসঙ্গ। নেটিভ অনুরোধে think:false, তাপমাত্রা 0, স্ট্রিমিং এবং ধাপের মাঝে পাঁচ মিনিট keep-alive ছিল। গেটওয়ে অনুরোধে ব্রোকার ও LiteLLM ব্যবহার হয়েছে। অনুরোধ আউটপুট সীমা নেই। |
| A, Qwen3.8 27B | ব্রোকার ও LiteLLM দিয়ে অন-ডিমান্ড llama.cpp, 262,144 রানটাইম প্রসঙ্গ, একটি ইনফারেন্স স্লট, Q4 K/V ক্যাশে এবং দুই RTX 5060 Ti কার্ড। 66,007-টোকেন অনুরোধে আউটপুট সীমা ছিল না। |
| A, Qwen3.6-35B-A3B UD-Q4_K_XL | Strata 0.1.48, 131,072 প্রসঙ্গ, INT8 KV ক্যাশে, নির্বাচিত একটি GPU, 55 GiB প্রসেস-গ্রুপ মেমরি সীমা, 30 মিনিট রানটাইম সীমা, অলস লোড এবং 60 সেকেন্ড নিষ্ক্রিয় থাকলে আনলোড। পাইলট দীর্ঘ উত্তরে 217 আউটপুট টোকেন। সীমার কাছাকাছি গেটওয়ে উত্তরে 11 আউটপুট টোকেন, অনুরোধ আউটপুট সীমা নেই। |
| A, Qwen3.8-Flash-Next UD-IQ4_XS | Strata 0.1.48, 98,304 প্রসঙ্গ, Q4 KV ক্যাশে, 8 GiB রেসিডেন্ট এক্সপার্ট ক্যাশে এবং দুই RTX 5060 Ti। পাইলট মেমরি সীমা 52 GiB, পরের রুটে 54 GiB। পাইলট দীর্ঘ উত্তরে 10 আউটপুট টোকেন। আগের বড় প্রসঙ্গ/ক্যাশে সমন্বয় মেমরি সীমায় থেমেছে। |
| A, Granite 4.2 8B | Q6_K GGUF ওজন, ভাগ করা llama.cpp কর্মী-প্রসেস, 131,072 প্রসঙ্গ, Q4_0 K/V ক্যাশে, --n-predict -1। দীর্ঘ অনুরোধে তাপমাত্রা 0, স্ট্রিমিং ব্যবহার এবং আউটপুট সীমা ছিল না। |
| A, DeepSeek Coder V2 16B | Q4_0 GGUF ওজন, Ollama 0.34.2, দুই RTX 5060 Ti, 64 GiB হোস্ট RAM। আলাদা f16, Q4_0 ও Q8_0 ক্যাশে পরীক্ষায় তুলনা টেবিলের রানটাইম প্রসঙ্গ ব্যবহার হয়েছে। অনুরোধ আউটপুট সীমা নেই। |
| B, C, D, নিরীক্ষিত Ollama সেবা | Ollama 0.34.2, 131,072 প্রসঙ্গ, সমান্তরালতা 1, একটি লোড করা মডেল, কিউ আকার 128, keep-alive 0, Flash Attention, Q4_0 KV ক্যাশে। |
| B, Qwen3.5 9B গেটওয়ে পাইলট | LiteLLM রুট টাইমআউট 1,800 সেকেন্ড, পুনরায় চেষ্টা শূন্য, প্রসঙ্গ বা আউটপুট-টোকেন সীমা নেই। 72,265 ইনপুট টোকেনে উভয় মার্কার ধরে রেখেছে। আলাদা মাইনিং পুনরুদ্ধার পরীক্ষায় পাস। |
| C, Qwen3.5 0.8B | একটি RTX 2000E Ada-তে 30 W পাওয়ার প্রোফাইলে Q8_0 ওজন। রানটাইম প্রসঙ্গ 131,072। নেটিভ think:false, OpenAI-সামঞ্জস্যপূর্ণ reasoning_effort:"none", আউটপুট সীমা নেই। ব্রোকার অ্যালিয়াস রানটাইম প্রসঙ্গ স্থির করেছে ও চিন্তন-বিহীন মোড বাধ্যতামূলক করেছে। |
| C, Gemma 4 12B-IT | এক GPU-র Ollama প্রোফাইল, 131,072 রানটাইম প্রসঙ্গ, আউটপুট সীমা ছাড়া Aperture স্ট্রিম ও নন-স্ট্রিম অনুরোধ। সরাসরি Aperture রান কনফিগার করা 30 W প্রোফাইলে 75 C ও 30.64 W-এ পৌঁছে, তারপর আনলোড হয়েছে। |
| D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20B | Aperture দিয়ে ঠিক ইনস্টল করা আর্টিফ্যাক্ট পরীক্ষা, 131,072 রানটাইম প্রসঙ্গ, এক GPU-তে পূর্ণ রেসিডেন্সি, অনুরোধ আউটপুট সীমা ছাড়া স্বাভাবিক সমাপ্তি। |
| E, F, G, llama.cpp চ্যাট প্রসেস | Build 11669, 99 GPU layer, সমান্তরালতা 1, Flash Attention, Q4_0 K/V ক্যাশে, --n-predict -1। মডেল পরিবারের সঙ্গে রানটাইম প্রসঙ্গ বদলেছে। |
রেকর্ড করা সেবা প্রোফাইল তাদের নিজস্ব রানটাইম কনফিগারেশন বর্ণনা করে। সিস্টেম A-তে আলাদাভাবে পরীক্ষা করা f16-ক্যাশে Qwen3.5 35B প্রোফাইল ছোট Ollama সিস্টেমের Q4_0 ক্যাশ সেটিং পায় না।
নতুন ইনপুট-ধরে-রাখা পরীক্ষার মডেল ফিঙ্গারপ্রিন্ট
এই মডেল শনাক্তকারীরা একই ধরনের নামের অন্য ডাউনলোড বা অ্যালিয়াস থেকে পরীক্ষিত আর্টিফ্যাক্ট আলাদা করে।
| আর্টিফ্যাক্ট | কোয়ান্টাইজেশন | রেকর্ড করা ডাইজেস্ট বা ফাইল SHA-256 |
|---|---|---|
| Qwen3.5 35B-A3B Ollama ট্যাগ | Q4_K_M | 72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567 |
| Qwen3.5 0.8B বেস Ollama ট্যাগ | Q8_0 | de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c |
| Granite 4.2 8B GGUF ফাইল | Q6_K | 5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21 |
Ollama ম্যানিফেস্ট ডাইজেস্ট ও ওজন-ফাইলের SHA-256 মান ভিন্ন অবজেক্ট চিহ্নিত করে। টেবিলের আর্টিফ্যাক্টের ধরন অনুযায়ী শনাক্তকারী মিলিয়ে নিন।
Hermes-এর সঙ্গে আমি কী চালাব
দুই RTX 5060 Ti-র সিস্টেমে Qwen3.5 35B-কে প্রধান উচ্চ-প্রসঙ্গ রুট করব। 239,153-টোকেন গেটওয়ে ধরে রাখার ফল, টুল ও ভিশনের আলাদা পাস এবং যাচাইকৃত অনুরোধ-মুক্তি—এসব বড় প্রসঙ্গ উইন্ডোর বিজ্ঞাপিত মডেলের চেয়ে পছন্দটিকে শক্তিশালী করে। একই 66K অনুরোধে দ্রুত উত্তরের জন্য Qwen3.8 27B এবং এক কার্ড ব্যবহারের প্রয়োজন হলে Qwen3.6 রাখব।
RTX 2000E Ada সিস্টেমে পরীক্ষিত দীর্ঘ-ইনপুট প্রতিক্রিয়ার কাজে সিস্টেম C-এর যাচাইকৃত Gemma 3 4B রুট নেব। সীমিত স্মরণ ও এক্সট্রাকশনের জন্য চিন্তন-বিহীন Qwen3.5 0.8B পরীক্ষা করব। চার-পাঁচ মিনিটের পরীক্ষিত প্রাথমিক প্রতিক্রিয়া মানায় এমন কাজে বড় Gemma, Qwen ও GPT-OSS রুট চলবে। সিস্টেম D-এর ব্যর্থ Gemma 3 রুট বাদ দেব।
8GB RTX 3060 Ti ও RTX 3070 কার্ডের জন্য Qwen3.5 2B বা 4B দিয়ে শুরু করব। 65K টেক্সট ফল ও 4B ছবির পরীক্ষা দুই 16GB কার্ড প্রতিটি অনুরোধে না দিয়েও কার্যকর শুরুর কনফিগারেশন সমর্থন করে। পরীক্ষিত প্রোফাইলে Flash Next-এর মেমরি চাপ ও DeepSeek Coder V2-এর অসম্পূর্ণ 65K আচরণ তাদের দুর্বল ডিফল্ট করে।
পরীক্ষাগুলো নির্দিষ্ট কাজের জন্য এই মডেল ও সিস্টেম পছন্দ সমর্থন করে। ইনপুট ধরে রাখা, সঠিক টুল রাউন্ড-ট্রিপ, ছবি চেনা এবং পরিষ্কারভাবে মুক্ত হওয়া—প্রতিটি Hermes-এর উপযোগিতার আলাদা দিক যাচাই করে। নির্ভরযোগ্য সেটআপে এজেন্টের ব্যবহৃত আচরণ এবং উত্তর ও টুল ট্রাফিকের জন্য যথেষ্ট প্রসঙ্গ দরকার।
সূত্র ও সংশ্লিষ্ট পাঠ
- Hermes Agent প্রদানকারী সেটআপ ও প্রসঙ্গের শর্ত
- NVIDIA GeForce RTX 3060 Ti-এর বিবরণ
- NVIDIA GeForce RTX 5060 Ti-এর বিবরণ
- Hermes Agent পরিচিতি
- স্থানীয় মডেল ব্যাকএন্ড নির্বাচন






