সেন্সরবিহীন স্থানীয় AI মডেল কীভাবে বাছবেন

Table of Contents
মডেল বাছাই: প্রতিটি সংস্করণকে বিচার করুন এটি কতগুলো কাজে লাগার মতো উত্তর শেষ করে, কতটা গুণমান ধরে রাখে এবং আপনার কাজের জন্য কত মেমরি লাগে। কম প্রত্যাখ্যান বা জনপ্রিয় মডেল কার্ড এসব ফলের প্রমাণ নয়।
সেন্সরবিহীন কথাটির কোনো মানক কর্মক্ষমতা-স্কেল নেই। মডেল প্রকাশকেরা ওজনের সম্পাদনা, ফাইন-টিউন এবং চ্যাট টেমপ্লেটের বিভিন্ন ধরন বোঝাতে এটি ব্যবহার করেন। প্রতিটি প্রার্থীকে মূল মডেলের সঙ্গে তুলনা করুন এবং আপনার সম্ভাব্য কাজগুলো দিয়ে পরীক্ষা করুন।
লেবেলটি কী বোঝায়
অ্যাবলিটেরেটেড মডেল হলো এমন মডেল যার ওজন সম্পাদনা করে প্রত্যাখ্যানের কিছু আচরণ বদলানো হয়েছে। 2024 সালের প্রত্যাখ্যান-দিকবিষয়ক গবেষণাপত্রে 13টি উন্মুক্ত চ্যাট মডেলে একটি পদ্ধতি দেখানো হয়েছিল। নতুন টুলে আরও পদ্ধতি রয়েছে। উদাহরণস্বরূপ, Heretic 2-তে ইচ্ছামতো র্যাঙ্ক অ্যাবলেশন এবং দিকনির্দেশক অ্যাবলেশন দুটোই নথিভুক্ত। মডেল কার্ডের লেবেল থেকে বোঝা যায় না কোন আচরণ বদলেছে বা সম্পাদনার প্রভাব কী হয়েছে।
মডেল তুলনার সময় চারটি বৈশিষ্ট্য আলাদা রাখুন:
| বৈশিষ্ট্য | কী পরীক্ষা করবেন |
|---|---|
| প্রত্যাখ্যানের আচরণ | কোন অনুরোধে প্রত্যাখ্যান, আংশিক উত্তর বা সম্পূর্ণ উত্তর আসে? |
| সক্ষমতা ধরে রাখা | তথ্য, যুক্তি, কোডিং এবং ফরম্যাটিংয়ের কাজগুলো মূল মডেলের তুলনায় কেমন? |
| উত্তর সম্পূর্ণ হওয়া | টোকেন বা সময়সীমা শেষ হওয়ার আগে কতবার উত্তর তৈরি শেষ হয়? |
| রানটাইমে মানানসই হওয়া | নির্দিষ্ট কোয়ান্টাইজড ফাইলটি কি আপনার প্রয়োজনীয় কনটেক্সটের জন্য যথেষ্ট মেমরিতে চলে? |
সম্পাদিত মডেলও সম্ভাবনাভিত্তিক। গুণমানের যাচাই আলাদা করুন: নির্ভুলতা, নির্ভরযোগ্যতা এবং নিরাপদ ব্যবহার। যেখানে সুরক্ষার ব্যবস্থা দরকার, সেখানে সাধারণভাবে অ্যালাইন করা মডেলও রাখুন।
প্রত্যাখ্যানের সংখ্যা দুর্বল র্যাঙ্কিং কেন
প্রত্যাখ্যানের স্কোর একটি অনুরোধের সেটে একটি ফল মাপে। তথ্যগত নির্ভুলতা, উত্তরের দৈর্ঘ্য অথবা জেনারেশন বাজেট শেষ হওয়ার আগে মডেল চূড়ান্ত উত্তর দেয় কি না, সে সম্পর্কে এটি খুব কম বলে।
Sapwell-এর 2026 সালের সেপ্টেম্বরের Qwen3.8-27B তুলনায় একই সার্ভিং সেটআপে বেস মডেল এবং আটটি সংস্করণ পরীক্ষা করা হয়। 13টি কাজের সক্ষমতা-সেটে জ্ঞান, গণিত, কোডিং এবং সত্যতা মাপা হয়। আলাদা HarmBench সেটে 400টি ক্ষতিকর অনুরোধ ছিল, আর একটি LLM বিচারক সম্পূর্ণ উত্তরগুলো পর্যালোচনা করেন। ফলগুলো একটি মডেল-পরিবার, একটি GPU এবং একটি মূল্যায়ন নকশার জন্য প্রযোজ্য।
| গবেষণায় থাকা Qwen3.8-27B সংস্করণ | 400টির মধ্যে স্পষ্ট প্রত্যাখ্যান | অসম্পূর্ণ যুক্তিসহ উত্তর |
|---|---|---|
| বেস মডেল | 381 | 0% |
| OrcaRouter | 2 | 38% |
| Trohrbaugh | 122 | 15% |
বেস মডেলের বেশি প্রত্যাখ্যানের সঙ্গে অসম্পূর্ণ আউটপুট কম ছিল। OrcaRouter-এর কম প্রত্যাখ্যানের সঙ্গে অসম্পূর্ণ উত্তরের হার বেশি ছিল। Trohrbaugh বেশি প্রত্যাখ্যান ধরে রেখেছে এবং অসম্পূর্ণ উত্তর কম দিয়েছে। নিজের কাজ এবং গ্রহণযোগ্য সমঝোতা অনুযায়ী বেছে নিন।
Gemma 4 E4B-এর 23টি সংস্করণ নিয়ে গবেষণায় সবচেয়ে বেশি ডাউনলোড হওয়া সংস্করণে কিছু সক্ষমতা-পরিমাপে উল্লেখযোগ্য ক্ষতি দেখা গেছে। ছোট সম্পাদনার সংস্করণটি পরীক্ষায় বেস মডেলের কাছাকাছি ছিল। জনপ্রিয়তা ও ডাউনলোড সংখ্যা গ্রহণযোগ্যতা বোঝায়, গুণমান নয়।
এই মাপগুলো এক স্কোরে মেলাবেন না। পরিমাপগুলো আলাদা রাখুন: প্রত্যাখ্যান, সম্পূর্ণতা, সঠিকতা এবং বিলম্ব। অনুরোধের সেট, মডেল রিভিশন, চ্যাট টেমপ্লেট, রানটাইম, কনটেক্সট এবং আউটপুট সীমাও লিখে রাখুন। এসব সেটিংয়ের যেকোনোটি বদলালে তুলনার অর্থ বদলে যায়।
মডেল বদলানোর আগে ফাঁকা উত্তর নির্ণয় করুন
যুক্তির টোকেন দৃশ্যমান লেখা আসার আগেই আউটপুট সীমা খরচ করে। ভেতরের যুক্তি চলার সময় সীমা শেষ হলে কিছু রানটাইম ফাঁকা বা কাটা উত্তর দেয়। এটি প্রত্যাখ্যান বা সম্পূর্ণ কিন্তু ভুল উত্তরের মতো ফল নয়।
Sapwell-এর Qwen3.6-27B বেঞ্চমার্কে দেখা গেছে, এই বিষয়টি প্রধান স্কোরে কীভাবে প্রভাব ফেলে। কিছু রান চূড়ান্ত উত্তর পর্যন্ত পৌঁছায়নি, তাই কাঁচা গণিতের স্কোরে বড় পার্থক্য ছিল। সম্পূর্ণ উত্তরের মধ্যে মাপা নির্ভুলতার মানগুলো অনেক কাছাকাছি ছিল। বেঞ্চমার্কটি উত্তর দেওয়ার সক্ষমতা এবং যুক্তির বাজেট শেষ হওয়া আলাদা করে দেখেছে।
উত্তর ফাঁকা হলে রানটাইমের থামার কারণ ও লগ পরীক্ষা করুন। অনুরোধের দৈর্ঘ্য, কনটেক্সট বরাদ্দ, আউটপুট টোকেনের সীমা, কেটে যাওয়া সময় এবং চূড়ান্ত-উত্তরের চিহ্ন তৈরি হয়েছিল কি না, তা লিখুন। হার্ডওয়্যারে জায়গা থাকলে বেশি আউটপুট সীমা দিয়ে একই অনুরোধ আবার চালান।
| ফলাফল | সম্ভাব্য যে বিষয়টি পরীক্ষা করবেন |
|---|---|
| প্রত্যাখ্যানের লেখা | মডেল অনুরোধটি প্রত্যাখ্যান করেছে। |
| টোকেন-সীমায় ফাঁকা আউটপুট | চূড়ান্ত উত্তর আসার আগে জেনারেশন বাজেট শেষ হয়েছে। |
| কাটা আউটপুট | জেনারেশন সীমা অসম্পূর্ণ উত্তর থামিয়ে দিয়েছে। |
| রানটাইম ত্রুটি | সার্ভার, মডেল ফাইল বা মেমরি বরাদ্দে সমস্যা হয়েছে। |
| সম্পূর্ণ কিন্তু ভুল উত্তর | মডেল লেখা দিয়েছে, কিন্তু নির্ভুলতার যাচাইয়ে ব্যর্থ হয়েছে। |
ফাঁকা আউটপুট: প্রতিটি ঘটনাকে মডেলের ত্রুটি বলার আগে রানটাইমের ফল নিশ্চিত করুন। বড় কনটেক্সট উইন্ডো ছোট আউটপুট সীমা, ভুল টেমপ্লেট বা অ্যাপ্লিকেশনের টাইমআউট নিজে থেকে ঠিক করে না।
ওজন ও কনটেক্সটের জন্য VRAM রাখুন
মডেল ফাইল মেমরির একমাত্র ব্যবহারকারী নয়। সক্রিয় অনুরোধ এবং উত্তরের অ্যাটেনশন অবস্থা রাখার KV ক্যাশে, গণনার বাফার এবং অন্য লোড করা প্রক্রিয়ার জন্যও রানটাইমে জায়গা লাগে। কনটেক্সটের দৈর্ঘ্য বাড়ালে মেমরি ব্যবহার বাড়ে।
Ollama-এর বর্তমান নথি 24 GiB-এর কম VRAM-এ 4K, 24 থেকে 48 GiB-এ 32K এবং 48 GiB বা তার বেশি হলে 256K ডিফল্ট কনটেক্সট উইন্ডোর কথা বলে। এগুলো রানটাইমের ডিফল্ট আচরণ। বরাদ্দ করা কনটেক্সট ও প্রসেসর কোথায় চলছে তা ollama ps দিয়ে দেখুন।
Linux উদাহরণ: এই কমান্ড নতুন Ollama সার্ভার সেশনে 16K ডিফল্ট কনটেক্সট দেয়:
OLLAMA_CONTEXT_LENGTH=16384 ollama serve
লোড করা মডেলে বরাদ্দ কনটেক্সট সাধারণ ইনপুট ও উত্তরের আকারের সঙ্গে মিলিয়ে যাচাই করুন:
ollama ps
CONTEXT এবং PROCESSOR কলাম বরাদ্দ এবং মডেল GPU-তে চলছে নাকি আংশিকভাবে বাইরে সরানো হয়েছে তা দেখায়। কনটেক্সট বরাদ্দ: তালিকায় থাকা সীমা পুরো উইন্ডো VRAM-এ ধরবে, এমন নিশ্চয়তা দেয় না।
GPU মেমরি অনুযায়ী শুরুর বিকল্প
শুরুর প্রার্থী: 2026 সালের সংস্করণ-তুলনায় এই মডেল-পরিবারগুলো এসেছে। ফাইলের আকার নির্দিষ্ট কোয়ান্টাইজড রিপোজিটরি থেকে নেওয়া। কোনো প্রার্থী মানাবে ধরে নেওয়ার আগে নির্দিষ্ট ফাইল, রানটাইম সমর্থন এবং মাপা মেমরি যাচাই করুন।
| GPU মেমরি | শুরুর প্রার্থী | প্রধান সীমাবদ্ধতা |
|---|---|---|
| 8 GB | Gemma 4 E4B, যেমন coder3101 সংস্করণ | ওজনের ফাইল ছোট রাখে। কনটেক্সট ও রানটাইম বাফারের জন্য মেমরি রাখুন। |
| 12 GB | Gemma 4 12B, যেমন TrevorJS-এর 7.4 GB GGUF Q4 ফাইল | মডেলের সক্ষমতা বাড়ায়, কিন্তু ছোট সংস্করণের তুলনায় দীর্ঘ কনটেক্সটের জন্য জায়গা কমায়। |
| 16 GB | ছোট মডেল অথবা Qwen3.8-27B-এর Q3 ফাইল | Qwen রিপোজিটরিতে Q3_K_S-এর আকার 13.72 GB। প্রকাশক ফাইলটিকে নিম্নমানের বলেছেন। কনটেক্সটের জায়গা সীমিত থাকবে। |
| 24 GB | Qwen3.8-27B Q4_K_S অথবা Q4_K_M | বর্তমান রিপোজিটরিতে 16.71 GB ও 17.77 GB ফাইল আছে। ক্যাশ ও বাফারের জন্য জায়গা রাখুন। |
| 32 GB | Qwen3.8-27B Q6_K | বর্তমান রিপোজিটরিতে 23.46 GB ফাইল আছে। বড় ফাইল ছোট কোয়ান্টের তুলনায় কনটেক্সটের জন্য কম মেমরি রাখে। |
এগুলোকে শুরুর বিকল্প হিসেবে নিন। রিপোজিটরি ও সংস্করণ বদলায়, আর ফাইলের আকার একা রানটাইমের মেমরি বরাদ্দ বা উত্তরের গুণমান বলে না।
GGUF কোয়ান্টাইজেশন লেবেল এনকোডিংয়ের ধরন সংক্ষেপে জানায়। রিপোজিটরির পার্থক্য: একই নামমাত্র বিট-গভীরতার ফাইলেও সমান গুণমান নিশ্চিত হয় না। একটি Qwen রিপোজিটরি Q3_K_S-কে নিম্নমানের এবং Q4_K_M-কে ডিফল্ট বিকল্প বলে। ডাউনলোডের আগে সঠিক ফাইলের আকার, মডেল কার্ড, অনুরোধের ফরম্যাট এবং পরীক্ষার ফল দেখুন।
ক্যাশের আকার ও স্থানীয় GPU-তে মানানসই হওয়া দেখতে সাইটের স্থানীয় মডেল, GPU ও কনটেক্সট নির্দেশিকা পড়ুন। সেখানকার সুপারিশ কোডিং কাজকে কেন্দ্র করে। এই পৃষ্ঠা সম্পাদিত প্রত্যাখ্যান আচরণ ও মূল্যায়ন নিয়ে।
চ্যাট টেমপ্লেট ও মডেলের উৎস পরীক্ষা করুন
চ্যাট টেমপ্লেট বার্তাকে মডেলের প্রত্যাশিত টোকেন ও নির্দেশনার মধ্যে সাজায়। মডেল প্যাকেজে কাস্টম টেমপ্লেট বা সিস্টেম অনুরোধ থাকতে পারে। মূল ওজন একই থাকলেও এসব পরিবর্তন মাপা আচরণে প্রভাব ফেলে।
টেমপ্লেটের প্রভাব: Sapwell এমন Qwen3.8 সংস্করণ পেয়েছেন, যার প্যাকেজে মডেলকে কখনো প্রত্যাখ্যান বা সতর্ক না করার ব্যক্তিত্ব নির্দেশ ছিল। কম প্রত্যাখ্যানের দাবি ওই টেমপ্লেটের ওপর নির্ভর করেছিল। ওজনের পার্থক্য পরীক্ষা করতে তাঁর তুলনায় টেমপ্লেট এক রাখা হয়েছিল। এই নিয়ন্ত্রণ থেকে বোঝা যায় না যে দেওয়া টেমপ্লেটটি ক্ষতিকর বা ব্যবহার-অযোগ্য।
ইনস্টল করার আগে: প্রকাশক, বেস মডেল, লাইসেন্স, রূপান্তর পদ্ধতি, কোয়ান্টাইজার, টেমপ্লেট এবং রিভিশনের ইতিহাস যাচাই করুন। একই টেমপ্লেট ও রানটাইমে মূল মডেলের সঙ্গে তুলনা করুন। মডেল কার্ডে পদ্ধতি বা পরীক্ষার সেটআপ না থাকলে উৎসকে অজানা হিসেবে লিখুন।
নিজের কাজের জন্য ছোট মূল্যায়ন চালান
বারবার চালানো যায় এমন অনুরোধের সেট তৈরি করুন আপনার মালিকানাধীন বা পরীক্ষা করার অনুমতি আছে এমন সাধারণ কাজ দিয়ে। মডেলের কাজ, জানা উত্তরসহ তথ্যভিত্তিক প্রশ্ন এবং স্পষ্ট পাস-শর্তসহ ফরম্যাটিং অনুরোধ রাখুন। নিরাপদ সীমার কয়েকটি উদাহরণও যোগ করুন, যাতে প্রত্যাখ্যান আচরণ সিদ্ধান্তে থাকে।
মূল মডেল ও সম্পাদিত সংস্করণে পরীক্ষার সেটিং একই রাখুন। সিস্টেম অনুরোধ, টেমপ্লেট, কোয়ান্টাইজেশন, রানটাইম সংস্করণ, কনটেক্সট, আউটপুট সীমা এবং স্যাম্পলিং সেটিং বদলাবেন না। ফলাফলের সঙ্গে মডেল রিভিশন বা ফাইল হ্যাশ রাখুন।
প্রতিটি ফল আলাদা করে লিখুন:
- সম্পূর্ণতা: চূড়ান্ত উত্তর, প্রত্যাখ্যান, ফাঁকা আউটপুট, কাটা উত্তর অথবা রানটাইম ত্রুটি।
- নির্ভুলতা: প্রত্যাশিত উত্তর বা রুব্রিক অনুযায়ী পাস বা ফেল।
- উপযোগিতা: উত্তরটি কাজের প্রয়োজন পূরণ করে কি না।
- বিলম্ব: প্রথম টোকেন আসতে সময় এবং মোট জেনারেশন সময়।
- মেমরি: বরাদ্দ কনটেক্সট, GPU অবস্থান এবং সর্বোচ্চ VRAM।
- নিরাপত্তার আচরণ: প্রতিটি সীমার ক্ষেত্রে যথাযথ প্রত্যাখ্যান বা চালিয়ে যাওয়া।
একটি চলক বদলে সেটটি আবার চালান। আউটপুট সীমা বাড়ানোর পর উত্তর সম্পূর্ণ হলে প্রথম ব্যর্থতা বাজেট-সংক্রান্ত ছিল। উত্তর অসম্পূর্ণ থাকলে মডেল টেমপ্লেট, যুক্তির মোড, রানটাইম এবং মডেল রিভিশন পরীক্ষা করুন। নির্ভুলতা বা নিরাপত্তায় অগ্রহণযোগ্য ক্ষতি না করে লক্ষ্যকাজ উন্নত করলেই শুধু সংস্করণটি রাখুন।
ডিপ্লয়মেন্ট সীমাবদ্ধ রাখুন
গোপনীয়তা: স্থানীয় ইনফারেন্স পুরো স্ট্যাকের ওপর নির্ভর করে। ফ্রন্ট এন্ড, লগ, এক্সটেনশন, টেলিমেট্রি এবং নেটওয়ার্ক পথ পরীক্ষা করুন। অবিশ্বস্ত ওজন ও কাস্টম টেমপ্লেটকে তৃতীয় পক্ষের কোড ও কনফিগারেশন হিসেবে ধরুন।
সর্বজনীন প্রবেশাধিকার: মডেল এন্ডপয়েন্ট কখনো সরাসরি সর্বজনীন ইন্টারনেটে খুলবেন না। টুলের প্রবেশাধিকার আলাদা রাখুন এবং সম্পাদিত সংস্করণ কেবল অনুমোদিত কাজে ব্যবহার করুন। দূর থেকে প্রবেশের জন্য এন্ডপয়েন্টকে প্রমাণীকরণ, অনুরোধের সীমা এবং নেটওয়ার্ক বিচ্ছিন্নতাসহ ব্যক্তিগত গেটওয়ের পেছনে রাখুন। প্রত্যাখ্যান-দিকবিষয়ক মূল গবেষণাপত্রে প্রত্যাখ্যান সরিয়ে দেওয়ার নিরাপত্তাগত প্রভাব উল্লেখ আছে।
উপসংহার
সিদ্ধান্তের নিয়ম: আপনার নিজের কাজের সেটে সবচেয়ে ভালো যাচাইকৃত ফল দেয় এমন মডেল বেছে নিন। প্রত্যাখ্যানের সংখ্যাকে একটি মাপ হিসেবে নিন, তারপর উত্তর সম্পূর্ণ হওয়া, নির্ভুলতা, টেমপ্লেটের আচরণ এবং VRAM-এর বাড়তি জায়গা পরীক্ষা করুন। GPU-র সঙ্গে মানানসই ফাইল দিয়ে শুরু করুন, কাজ অনুযায়ী কনটেক্সট ঠিক করুন এবং একই সেটিংয়ে মূল মডেলের সঙ্গে তুলনা করুন।
GPU-এর আকার বাছতে এই ফলগুলো সাইটের Qwen 27B GPU ভাড়া বেঞ্চমার্কের সঙ্গে তুলনা করুন। নির্দিষ্ট মডেল ফাইল বা কনটেক্সট লক্ষ্য নিয়ে অনিশ্চয়তা থাকলে কেনার আগে হার্ডওয়্যার ভাড়া নিন বা ধার করুন।
উৎস
- Qwen3.8-27B অ্যাবলিটেরেশন বেঞ্চমার্ক , Nathan Sapwell, 6 সেপ্টেম্বর 2026।
- Qwen3.6-27B অ্যাবলিটেরেশন বেঞ্চমার্ক , Nathan Sapwell, 2026-05-17।
- Gemma 4 E4B সংস্করণ বেঞ্চমার্ক , Nathan Sapwell, 1 আগস্ট 2026।
- Gemma 4 12B সংস্করণ বেঞ্চমার্ক , Nathan Sapwell, 28 আগস্ট 2026।
- ভাষা মডেলে প্রত্যাখ্যান একটি নির্দিষ্ট দিকের মাধ্যমে ঘটে , Arditi এবং অন্যান্য, 2024।
- Heretic প্রকল্পের নথি .
- Qwen3.8-27B-এর সরকারি মডেল কার্ড .
- কনটেক্সটের দৈর্ঘ্য নিয়ে Ollama-এর নথি .
- Gemma 4 E4B
coder3101মডেল কার্ড . - TrevorJS-এর Gemma 4 12B GGUF ফাইল .
- OrcaRouter Qwen3.8-27B GGUF ফাইল .
- GGUF ফরম্যাট ও কোয়ান্টাইজেশনের ধরন , Hugging Face-এর নথি।
- ভিডিও উৎস: আমি সব সেন্সরবিহীন স্থানীয় AI মডেল পরীক্ষা করেছি (8GB থেকে 32GB VRAM) .
This article refers to other articles we've written:
- কোন স্থানীয় AI মডেল চালাবেন? অক্টোবর ২০২৬-এর GPU কনটেক্সট ও কোডিং গাইড
কোডিং এজেন্টের জন্য স্থানীয় AI মডেল বাছাইয়ের অক্টোবর ২০২৬-এর ব্যবহারিক গাইড। GPU মেমরি, KV-cache বৃদ্ধি, কনটেক্সট আকার, quantization quality, prompt processing, reasoning settings এবং cloud rental cost তুলনা করুন।






