যখন একটি বৃহৎ ভাষা মডেলের অন্তর্নিহিত

নিউরাল নেটওয়ার্ককে শক্তি প্রদানকারী সংখ্যাসূচক ওজন সংরক্ষণের কথা আসে , তখন বেশিরভাগ আধুনিক AI মডেল 16- বা 32-বিট ফ্লোটিং পয়েন্ট সংখ্যার নির্ভুলতার উপর নির্ভর করে । কিন্তু এই স্তরের নির্ভুলতা বৃহৎ মেমরি ফুটপ্রিন্টের (বৃহৎ মডেলের জন্য শত শত গিগাবাইটে) এবং প্রম্পটে সাড়া দেওয়ার সময় ব্যবহৃত জটিল ম্যাট্রিক্স গুণনের জন্য প্রয়োজনীয় উল্লেখযোগ্য প্রক্রিয়াকরণ সংস্থানগুলির মূল্য দিতে পারে।

এখন, মাইক্রোসফটের জেনারেল আর্টিফিশিয়াল

ইন্টেলিজেন্স গ্রুপের গবেষকরা একটি নতুন নিউরাল নেটওয়ার্ক মডেল প্রকাশ করেছেন যা মাত্র তিনটি স্বতন্ত্র ওজন মান নিয়ে কাজ করে: -1, 0, অথবা 1। ২০২৩ সালে প্রকাশিত মাইক্রোসফট রিসার্চের পূর্ববর্তী কাজের উপরে ভিত্তি করে , নতুন মডেলের "ত্রিমুখী" স্থাপত্য সামগ্রিক জটিলতা এবং "গণনা দক্ষতায় উল্লেখযোগ্য সুবিধা" হ্রাস করে, গবেষকরা লিখেছেন, যা এটিকে একটি সাধারণ ডেস্কটপ সিপিইউতে কার্যকরভাবে চালানোর অনুমতি দেয় । এবং ওজন নির্ভুলতার ব্যাপক হ্রাস সত্ত্বেও, গবেষকরা দাবি করেছেন যে মডেলটি "বিস্তৃত কাজের ক্ষেত্রে একই আকারের শীর্ষস্থানীয় ওপেন-ওজন, পূর্ণ-নির্ভুল মডেলের সাথে তুলনীয় কর্মক্ষমতা অর্জন করতে পারে।"

তোমার ওজন দেখছি

মডেল ওজন সরলীকরণের ধারণাটি AI গবেষণায় সম্পূর্ণ নতুন নয়। বছরের পর বছর ধরে, গবেষকরা কোয়ান্টাইজেশন কৌশল নিয়ে পরীক্ষা-নিরীক্ষা করে আসছেন যা তাদের নিউরাল নেটওয়ার্ক ওজনকে ছোট মেমরি এনভেলপেলে সঙ্কুচিত করে। সাম্প্রতিক বছরগুলিতে, সবচেয়ে চরম কোয়ান্টাইজেশন প্রচেষ্টা তথাকথিত "বিটনেট" এর উপর দৃষ্টি নিবদ্ধ করেছে যা প্রতিটি ওজনকে একক বিটে উপস্থাপন করে (+1 বা -1 প্রতিনিধিত্ব করে)।

নতুন BitNet b1.58b মডেলটি খুব বেশি দূর এগিয়ে যায় না

—টার্নারি সিস্টেমটিকে "1.58-বিট" বলা হয়, কারণ এটি তিনটি মান (log(3)/log(2)) উপস্থাপনের জন্য প্রয়োজনীয় বিটের গড় সংখ্যা। কিন্তু এটি "প্রথম ওপেন-সোর্স, নেটিভ 1-বিট LLM স্কেলে প্রশিক্ষিত" হওয়ার মাধ্যমে পূর্ববর্তী গবেষণা থেকে নিজেকে আলাদা করে, যার ফলে 4 ট্রিলিয়ন টোকেনের প্রশিক্ষণ ডেটাসেটের উপর ভিত্তি করে 2 বিলিয়ন টোকেন মডেল তৈরি হয়, গবেষকরা লিখেছেন।