স্থানীয় AI বনাম ChatGPT: আমরা আসলে কতটা কাছাকাছি?

স্থানীয় AI স্পষ্ট যাচাইসহ সীমিত কাজের জন্য ব্যবহারিক বিকল্প। ChatGPT বা Claude-কে দেওয়া কাজ প্রতিস্থাপন করতে মডেলের সক্ষমতা, ব্যবহারযোগ্য মেমরি এবং আউটপুট পরীক্ষা ও যাচাই করতে পারে এমন এজেন্টকে একসঙ্গে মিলতে হবে।

ওয়ার্কস্টেশনে মডেলটি ফিট করলেও পুনরাবৃত্ত চেষ্টার জন্য উপযুক্ত টুল ও পর্যাপ্ত গতি দরকার। এই নিবন্ধে বেঞ্চমার্ক ফল, মেমরি অনুমান এবং সম্পন্ন কাজের প্রমাণ আলাদা করে দেখা হয়েছে।

মূল বিষয় #

• সক্ষমতা: রেফারেন্স স্কোর নির্দিষ্ট পরীক্ষার পরিবেশ বোঝায়, স্থানীয় কোয়ান্টাইজড বিল্ড নয়।
• মেমরি: ওজন, কনটেক্সট ক্যাশ এবং রানটাইম ওভারহেড একসঙ্গে হিসাব করুন।
• গতি: এজেন্টের কথোপকথন পুনরায় চালানো সার্ভিং মাপে, সঠিকতা নয়।
• যাচাই: অনুরোধ করা ফলের সঙ্গে মিলিয়ে এজেন্টের পরীক্ষা দরকার।
• নির্বাচন: হার্ডওয়ার কেনার আগে পুনরাবৃত্ত কাজ, মেরামতের সময় এবং মোট খরচ তুলনা করুন।

প্রসঙ্গসহ স্কোর পড়ুন #

Artificial Analysis Intelligence Index একাধিক মূল্যায়নকে একটি রেফারেন্স স্কোরে একত্র করে। মডেল লিডারবোর্ড এবং স্থানীয় হার্ডওয়্যার ফলাফলে ৬ অক্টোবর ২০২৬-এ যাচাই করা নির্বাচিত এন্ট্রিগুলি নিচে আছে।

ইনডেক্স পয়েন্ট বুদ্ধিমত্তা বা কাজের সাফল্যের শতাংশ নয়। GLM ও Claude-এর ১৩ পয়েন্ট ব্যবধান আপনার কোডিং ফলাফলে ১৩% ব্যবধান প্রমাণ করে না। একই মডেলের এন্ট্রি তুলনায় reasoning সেটিংও গুরুত্বপূর্ণ।

প্রকাশিত মূল্যায়ন পদ্ধতি পরীক্ষার পরিবেশ ব্যাখ্যা করে। কিছু পরীক্ষায় টুল ও এজেন্ট অবকাঠামো থাকে। অন্য অ্যাপ্লিকেশনে চলা সংকুচিত স্থানীয় কপিতে স্কোর সরাসরি প্রয়োগ করবেন না।

ChatGPT এবং Claude পণ্য, এই টেবিলে নির্বাচিত ভিত্তি মডেল তুলনা করা হয়েছে। সাবস্ক্রিপশন, মডেল, টুল এবং কাজের প্রসঙ্গ অতিরিক্ত পার্থক্য তৈরি করে। পুনরাবৃত্ত একটি কাজ দিয়ে সম্পূর্ণ সেটআপ পরীক্ষা করুন।

পুরো অনুরোধের বাজেট করুন #

মেমরি ফিট তিনটি বরাদ্দ দিয়ে শুরু হয়। মডেল ওজন শেখা প্যারামিটার রাখে। কী-ভ্যালু ক্যাশ, বা KV ক্যাশ, ইনফারেন্সে ব্যবহৃত attention তথ্য ধরে রাখে। রানটাইম বাফার ও সফটওয়্যার বাকি জায়গা ব্যবহার করে।

প্রয়োজনীয় মেমরি = resident weights + context cache + runtime allowance
উপলভ্য মেমরি = physical capacity - operating system and application reserve

কোয়ান্টাইজেশন মডেল ওজনের সংরক্ষণ নির্ভুলতা কমায়। কম নির্ভুলতায় মেমরি কম লাগে, তবে মান মডেল ও কোয়ান্টাইজড বিল্ডের উপর নির্ভর করে। ক্যাশের নির্ভুলতা আলাদা সেটিং। Q4 ওজন ফাইল চার-বিট ক্যাশ প্রমাণ করে না।

২৭ বিলিয়ন প্যারামিটারে ১৬ বিটে প্রায় ৫০.৩ GiB, ৮ বিটে ২৫.১ GiB এবং ৪ বিটে ১২.৬ GiB লাগে। প্রকাশিত ফাইলের আকার মেটাডেটা, প্যাকিং এবং মিশ্র নির্ভুলতাও ধরে। পরিকল্পনায় নির্দিষ্ট ফাইল ব্যবহার করুন।

Qwen3.8-27B মডেল কার্ড এবং GLM-5.3 মডেল কার্ড আলাদা আর্কিটেকচার বর্ণনা করে। Mixture-of-experts মডেল প্রতি টোকেনে প্যারামিটারের একটি অংশ সক্রিয় করে, কিন্তু বাকি ওজন সংরক্ষণে লাগে। Offloading স্থান ও latency বদলায়, ওজন বাদ দেয় না।

প্রকাশিত ফাইল দিয়ে শুরু করুন #

ডাউনলোড আকার প্যারামিটার সংখ্যার তুলনায় বেশি ব্যবহারিক শুরু। Unsloth-এর প্রকাশিত Qwen ও GLM বিল্ড নির্বাচিত কোয়ান্টাইজেশনের প্রভাব দেখায়।

ফাইলের উৎস: Qwen Q4_0 , Qwen Q8_0 , GLM UD-Q4_K_XL shards , এবং GLM UD-IQ2_M shards । মানগুলি ৬ অক্টোবর ২০২৬-এর যাচাই করা rounded listing। GiB রূপান্তরে দশমিক bytes-কে 2³⁰ দিয়ে ভাগ করা হয়েছে।

এগুলি ওজন ফাইলের আকার, মোট resident-memory মাপ নয়। লোডিং, ক্যাশ, অস্থায়ী বাফার এবং অন্যান্য মডেল অংশ চলমান প্রক্রিয়াকে প্রভাবিত করে। একক রূপান্তর ছাড়া ২৯ GB ডাউনলোডকে ৩০ GiB বরাদ্দের সঙ্গে তুলনা করবেন না।

কনটেক্সট ফিট বদলে দেয় #

Qwen attention cache একটি হিসাবের উদাহরণ। এর প্রকাশিত কনফিগারেশন -এ ৬৪ স্তর, প্রতি চতুর্থ স্তরে full attention, চারটি key-value head এবং ২৫৬ head dimension আছে।

Full-attention KV bytes per token:
16 layers × 4 KV heads × 256 dimensions × 2 (K and V) × 2 bytes
= 65,536 bytes

8,192 tokens  = 0.5 GiB
32,768 tokens = 2.0 GiB

এই হিসাব করা cache component একটি sequence-এর ১৬-বিট key ও value ধরে। Linear-attention state, runtime buffer, allocator overhead এবং ঐচ্ছিক vision বা speculative-decoding component এতে নেই। সেগুলোর জন্যও reserve দরকার।

উদাহরণ পরিকল্পনা বাজেটে rounded weight size-এর সঙ্গে বাকি বরাদ্দের জন্য ৩–৫ GiB যোগ করুন। নির্বাচিত runtime-এর মাপ দিয়ে এই অনুমান বদলান।

৩০ GiB ব্যবহারযোগ্য বরাদ্দ Q4 উদাহরণের জন্য যথেষ্ট জায়গা রাখে, কিন্তু এই অনুমানে Q8 পরিস্থিতি তা অতিক্রম করে। ছোট prompt সফল হওয়া দীর্ঘ coding session-এর ক্ষমতা প্রমাণ করে না।

একসঙ্গে চলা অনুরোধ আরও একটি মাত্রা যোগ করে। Ollama parallel request-এ context-memory বৃদ্ধি এবং আলাদা cache-precision control নথিভুক্ত করে। Q8 cache প্রায় F16 cache-এর অর্ধেক মেমরি এবং Q4 প্রায় এক-চতুর্থাংশ ব্যবহার করে। মডেলভেদে মানের সমঝোতা থাকে। Ollama runtime FAQ দেখুন।

হার্ডওয়ার বরাদ্দের সঙ্গে মেলান #

RTX 5090-এ ৩২ GB dedicated graphics memory আছে। ১২৮ GB-এর DGX Spark shared memory ব্যবহার করে। Artificial Analysis দুই কনফিগারেশনই নথিভুক্ত করে। বেশি capacity বড় allocation দেয়, সার্ভিং গতি প্রমাণ করে না।

GLM UD-Q4_K_XL cache যোগ করার আগেই তিন capacity অতিক্রম করে। প্রায় ২২২.৬ GiB IQ2 weight set-ও ১২৮ GB system-এর চেয়ে বড়। ২৫৬ GB Mac-এ কার্যকারিতা GPU-accessible allocation এবং বাকি overhead-এর উপর নির্ভর করে। Apple specifications hardware option বলে, guaranteed inference allocation নয়।

২৪০ GiB ব্যবহারযোগ্য বাজেট IQ2 weight-এর পরে প্রায় ১৭.৪ GiB রাখে। ১৯২ GiB বাজেট weights-only পর্যায়েই ব্যর্থ। কোনওটিই OS default, compressed-cache support, useful throughput বা গ্রহণযোগ্য IQ2 quality প্রমাণ করে না। কেনার আগে চালু runtime configuration দেখুন।

গতি আলাদা ফল #

Artificial Analysis local inference benchmark ১৬৮ model turn-এর recorded workload replay করে। Laptop এবং workstation results পরীক্ষিত Qwen3.8 27B configuration-এর সময় দেখায়।

RTX ফল Spark সময়ের প্রায় এক-পঞ্চমাংশ। Serving configuration গুরুত্বপূর্ণ, তাই এটি universal hardware ratio নয়। পরীক্ষিত serving build-ও উপরের GGUF planning example থেকে আলাদা।

Replay timing tool execution বাদ দেয় এবং recorded response length চাপিয়ে দেয়। এটি উত্তরটি মূল কাজ সমাধান করেছে কি না মাপে না। MacBook measurement Mac Studio performance প্রমাণ করে না।

এজেন্টকে feedback দিন #

একটি agent execution system tool, context, action loop এবং verification দেয়। মডেল ওই ব্যবস্থার মধ্যে action লেখে বা বেছে নেয়। CSV export-এ project file পড়া, code বদলানো, test চালানো এবং error পাওয়া দরকার।

একটি illustrative export task বিবেচনা করুন, measured experiment নয়। এজেন্ট download feature লেখে কিন্তু ভুল date format ব্যবহার করে। Visual review ভুলটি দেখে না। Test exported file খুলে তার date required format-এর সঙ্গে তুলনা করে। এজেন্ট failure পায়, formatter বদলায় এবং check আবার চালায়।

LangChain reports GPT-5.2-Codex স্থির রেখে Terminal Bench 2.0-এ ৫২.৮% থেকে ৬৬.৫%-এ পরিবর্তন। Agent engineering report -এ verification guidance, environment context, repeated-edit detection এবং reasoning-budget change বর্ণিত।

এটি vendor-reported evidence, ছোট local model frontier model-এর সমান এমন প্রমাণ নয়। সীমিত সিদ্ধান্ত হলো model selection একা agent outcome ব্যাখ্যা করে না। LangChain maximum reasoning সব সময় চালালে timeout-এর কারণে খারাপ ফলও জানায়।

কাজের সঙ্গে checks মেলান #

একটি passing check কেবল তার coverage প্রমাণ করে। Column name যাচাই করা CSV test date format, quoting, Unicode এবং access control পরীক্ষা করে না। কী ফল চাই তা আগে নির্ধারণ করুন।

τ-bench study tool, user এবং domain rule-এর সঙ্গে কাজ করা agent পরীক্ষা করে। Research paper final database state expected outcome-এর সঙ্গে মিলিয়ে দেখে। তাই transaction-এর জন্য fluent confirmation যথেষ্ট নয়।

Local মানে offline নয় #

Local inference মডেল কোথায় চলে তা নিয়ন্ত্রণ করে। চারপাশের application এখনও ঠিক করে document, search query, trace এবং tool result কোথায় যায়। Remote search বা cloud tool-এ যুক্ত local coding model networked system।

Ollama বলে local execution-এ prompt বা answer পায় না এবং cloud feature বন্ধ করার পদ্ধতি নথিভুক্ত করে। এটি runtime-specific statement, প্রতিটি connected agent-এর privacy guarantee নয়। Runtime documentation দেখে endpoint ও integration যাচাই করুন।

একটি hybrid workflow-এর স্পষ্ট handoff rule দরকার। Private document extraction local রাখুন, approved aggregate result-ই hosted analysis-এ পাঠান। বাইরে যাওয়া উপাদান পরীক্ষা করুন। Name, customer detail বা confidential finding থাকলে summary-ও sensitive।

কেনার আগে পরীক্ষা করুন #

স্পষ্ট finish condition-সহ repeated task বেছে নিন। Tool-সহ local setup-কে ব্যবহৃত hosted product-এর সঙ্গে তুলনা করুন। একই input ও acceptance criteria দিন, কয়েকটি representative example-এ কাজটি পুনরাবৃত্তি করুন।

1. Configuration record করুন: exact model file, quantization, backend version, context limit এবং reasoning setting।
2. Success define করুন: expected artifact, required behavior এবং forbidden side effect।
3. Completion মাপুন: elapsed time, passed check, failed attempt এবং manual repair।
4. Ownership cost যোগ করুন: hardware, electricity, API fee, maintenance এবং আপনার সময়।
5. Failure classify করুন: reasoning error, memory limit, latency, missing context অথবা missing verification।

Local inference উপযুক্ত যখন measured quality ও latency আপনার চাহিদা পূরণ করে। অতিরিক্ত capability failure বা review effort কমালে hosted model উপকারী থাকে। কোন data machine-এর বাইরে যাবে তা ঠিক করে hybrid workflow task ভাগ করে।

Accepted result প্রতি খরচ গুনুন #

Human repair time অর্থনীতিকে বদলে দেয়। দশ মিনিট correction দরকার এমন দ্রুত local response, review পাস করা ধীর response-এর চেয়ে বেশি কাজের সময় খরচ করে। Inference expense-এর সঙ্গে accepted result গুনুন।

Cost per accepted task =
(hardware allocation + electricity + service fees + maintenance + review time)
÷ accepted tasks

Illustrative review cost: ঘণ্টায় ৩০ ডলার ধরে আট মিনিট correction প্রতি task-এ ৪ ডলার। এমন ১০০ task-এ review time ৪০০ ডলার। এগুলি arithmetic example, measured local-model failure rate নয়।

সমতুল্য outcome তুলনা করুন। rejected attempt-ও time ও cost-এ রাখুন। Owned hardware-এর purchase cost বাস্তব service period ও task volume-এ ভাগ করুন। Hosted service-এ subscription বা API expense এবং বাকি review work যোগ করুন।

Hardware-এর জন্য local model, GPU এবং context guide পড়ুন। Capacity ও pricing-এর জন্য DGX Spark memory comparison পড়ুন। Quality, speed এবং data requirement পূরণ করা সবচেয়ে ছোট setup বেছে নিতে task result ব্যবহার করুন।

রেফারেন্স ভিডিও #

তথ্যসূত্র #

• AI Mechanics: স্থানীয় AI বনাম ChatGPT: আমরা আসলে কতটা কাছাকাছি? ।
• Artificial Analysis: মডেল ফল , মূল্যায়ন পদ্ধতি , এবং স্থানীয় ইনফারেন্স ফল ।
• মডেল প্রকাশক: Qwen3.8-27B এবং GLM-5.3 ।
• Unsloth: Qwen GGUF বিল্ড এবং GLM GGUF বিল্ড ।
• Ollama: runtime, memory এবং privacy documentation ।
• LangChain: agent engineering ফল ।
• τ-bench: tool-agent-user evaluation research ।