Perplexity কীভাবে ফ্রন্টিয়ার এআই-এ নির্ভুলতা তৈরি করে

আমাদের লক্ষ্য হল কৌতূহলকে জাগিয়ে তোলা, সেই সমস্ত মানুষের জন্য যারা বিশ্বের জ্ঞান দিয়ে আরও বেশি কিছু জানতে ও করতে চান। এটি করার জন্য, আমাদের মূল ফোকাস সবসময়ই সেরা ফ্রন্টিয়ার এআই মডেলগুলোকে Perplexity-তে আরও নির্ভুল করে তোলা।দু

এই প্রথমবার, আমরা এটি অর্জনের পেছনের একটি প্রযুক্তি সবার সাথে শেয়ার করছি। আজ আমাদের গবেষণা দল সার্চ-অগমেন্টেড এলএলএম-এর একটি প্রযুক্তিগত বিশ্লেষণ প্রকাশ করেছে।

নির্ভুলতা উন্নত করতে আমরা ডজন ডজন প্রক্রিয়া ব্যবহার করি, এবং এটি তার মধ্যে একটির খুব ভেতরের চিত্র: Search, Comet, এবং Computer-এর মতো Perplexity পণ্যের নির্ভুলতা মানের সাথে সামঞ্জস্য রেখে পারফর্ম করতে ফ্রন্টিয়ার এআই মডেলগুলোকে পোস্ট-ট্রেনিং করা।

আমরা সার্চের আগে আচরণের প্রশিক্ষণ দিই

একটি অ্যানসার ইঞ্জিন বা উত্তর প্রদানকারী এআই-এর অন্তর্নিহিত মডেলগুলোর কেবল সাবলীল পাঠ্য জেনারেট করার চেয়েও বেশি কিছু করার ক্ষমতা থাকা প্রয়োজন। সেগুলোকে প্রমাণ খুঁজে বের করতে হয়, ব্যবহারকারীর অনুরোধ অনুসরণ করতে হয়, সঠিকভাবে টুল ব্যবহার করতে হয় এবং সেই কাজটিকে একটি সুনির্দিষ্ট উত্তরে রূপান্তর করতে হয়।

এর জন্য আমরা দুটি ধাপে পোস্ট-ট্রেনিং করি। প্রথমে, আমরা মডেলটিকে শেখাই কীভাবে পণ্যের ভেতরে আচরণ করতে হয়, যার মধ্যে রয়েছে নির্দেশাবলী অনুসরণ করা, সামঞ্জস্য বজায় রাখা এবং সঠিক উপায়ে টুল ব্যবহার করা। এরপর আমরা এটিকে আরও কঠিন সার্চ টাস্ক বা কাজের ওপর প্রশিক্ষণ দিই যাতে এটি প্রমাণ খুঁজে বের করা, সেগুলোর সঠিক ব্যবহার করা এবং আরও দক্ষতার সাথে উত্তর প্রদানে আরও দক্ষ হয়ে ওঠে।

এই ধাপে ধাপে এগোনোর পদ্ধতিটিই Perplexity এবং মডেল ও ওয়েব অ্যাক্সেসসহ একটি ঐতিহ্যবাহী র‍্যাপার সেটআপের মধ্যে অন্যতম সহজ পার্থক্য। এই কারণেই একই মডেল বিভিন্ন পণ্যে ভিন্ন ফলাফল তৈরি করতে পারে এবং কেন এটি সহজ কোনো ডিপ্লয়মেন্টের তুলনায় Perplexity-তে আরও ভালোভাবে কাজ করতে পারে।

যে প্রশ্নগুলোর জন্য সিন্থেসিস বা সংশ্লেষণ প্রয়োজন

কিছু প্রশ্ন খুব সহজেই খুঁজে বের করা যায়। আবার কিছু প্রশ্নের ক্ষেত্রে মডেলটিকে বিভিন্ন উৎসের প্রমাণগুলোকে সংযুক্ত করতে হয়।

যে প্রশ্নগুলোর জন্য মডেলটিকে বিভিন্ন উৎসের প্রমাণ সংযুক্ত করতে হয়, আমরা সেগুলোর ওপর প্রশিক্ষণ দিই। তথ্যামূলক প্রশ্নগুলোর জন্য, আমরা এমন টাস্ক ব্যবহার করি যা মডেলটিকে কোনো একটি স্পষ্ট ক্লু থেকে তাড়াহুড়ো করে উত্তরে পৌঁছানোর পরিবর্তে সার্চ করতে, যুক্তি দিয়ে ভাবতে এবং যাচাই করতে বাধ্য করে। অনেক প্রশ্নের ক্ষেত্রে একাধিক উৎস জুড়ে তথ্য সংযুক্ত করার প্রয়োজন হয়। এগুলোর জন্য মডেলটিকে একটি প্রমাণের অংশ থেকে অন্যটিতে যেতে হয় এবং সেই শৃঙ্খল থেকে উত্তর তৈরি করতে হয়।

আমরা বিভিন্ন রেসপন্স ফরম্যাটের ওপরও প্রশিক্ষণ দিই, যাতে ব্যবহারকারী একটি প্যারাগ্রাফ, তালিকা, টেবিল বা অন্য কোনো কাঠামো যা-ই চান না কেন, মডেলটি নির্ভুল থাকে। এর ফলে আরও ভালো সিন্থেসিস তৈরি হয়, যার মধ্যে এমন উত্তর থাকে যা বিচ্ছিন্ন তথ্য পুনরুদ্ধার করার পরিবর্তে বিভিন্ন উৎসের প্রমাণগুলোকে সংযুক্ত করে।

ওপেন-এন্ডেড কাজের জন্য মানদণ্ড প্রয়োজন

Perplexity কেবল তথ্যামূলক তথ্য খোঁজার চেয়েও বেশি কাজে ব্যবহৃত হয়। এর বেশিরভাগ কাজই ওপেন-এন্ডেড, যার মধ্যে রয়েছে রিরাইটিং বা পুনর্লিখন, এডিটিং, সামারি বা সারসংক্ষেপ তৈরি, ব্যাখ্যা করা এবং পরিকল্পনা করা।

সেই কাজগুলোর কোনো নির্দিষ্ট সঠিক উত্তর থাকে না, তবুও সেগুলোর জন্য মানদণ্ডের প্রয়োজন হয়। ওপেন-এন্ডেড কাজের জন্য, আমরা রুব্রিক ব্যবহার করি যা একটি রেসপন্স বা উত্তর আসলেই কাজটি করেছে কি না তা যাচাই করার জন্য কাঠামোগত চেক। এটি কি নির্দেশাবলী অনুসরণ করেছে? এটি কি অর্থ ঠিক রেখেছে? এটি কি ব্যবহারকারীর সমস্যার সমাধান করেছে?

এর ফলে আমরা ওপেন-এন্ডেড কাজগুলোকে ফ্রি-ফর্ম রাইটিং হিসেবে না দেখে স্পষ্ট মানদণ্ডের সাথে প্রশিক্ষণ দিতে পারি।

পছন্দের চেয়ে নির্ভুলতা আগে আসে

তথ্যভিত্তিক কাজের জন্য, কোনো উত্তর আরও সহায়ক বা ভালোভাবে লেখা হওয়ার ক্রেডিট পাওয়ার আগে সেটিকে সঠিক হতে হবে। ওপেন-এন্ডেড কাজের ক্ষেত্রে, অন্যান্য গুণাবলী আসার আগে উত্তরটিকে রুব্রিকের শর্ত পূরণ করতে হবে।

এটি সিস্টেমটিকে স্টাইলের চেয়ে সারবস্তুর ওপর ফোকাস রাখতে সাহায্য করে। এটি এমন সব উত্তরের একটি সাধারণ ব্যর্থতার মোড প্রতিরোধ করতে সাহায্য করে যা বাস্তবে ভালো না হয়েও শুনতে ভালো লাগে। এর ফলস্বরূপ এমন পালিশ করা উত্তর কম থাকে যা একটু যাচাই করলেই ভেঙে পড়ে।

দক্ষতা উত্তরের মান বাড়াতে অবদান রাখে

আমরা মডেলটিকে শৃঙ্খলার সাথে সার্চ ব্যবহার করার প্রশিক্ষণও দিই।

যেকোনো অতিরিক্ত সার্চ স্টেপ বা ধাপের উদ্দেশ্য হওয়া উচিত উত্তরের মান উন্নত করা, এবং একটি দীর্ঘ উত্তরের ক্ষেত্রে তার দৈর্ঘ্য যৌক্তিক হওয়া উচিত। যখন অতিরিক্ত অনুসন্ধান বা অতিরিক্ত শব্দ কোনো সাহায্য করে না, তখন সিস্টেমটির থেমে যাওয়া উচিত।

এর ফলে এমন উত্তর তৈরি হয় যা ব্যবহার করা সহজ এবং মডেলটি যখন দীর্ঘ কর্মশৃঙ্খল নিয়ে কাজ করে যেখানে ছোট ছোট ভুলগুলো বড় হয়ে দেখা দেয়, তখন এটি তার ফোকাস বজায় রাখতে সাহায্য করে।

উন্নত উত্তরের জন্য অবিরাম কাজের প্রয়োজন হয়

সার্চের মান নির্ভর করে পণ্যটি কীভাবে মডেলটিকে প্রমাণ সংগ্রহ করতে, শৃঙ্খলার সাথে উত্তর দিতে, ওপেন-এন্ডেড কাজ পরিচালনা করতে এবং পর্যাপ্ত সমর্থন পেলে থেমে যেতে প্রশিক্ষণ দেয় তার ওপর।

এআই সিস্টেমগুলো যখন দীর্ঘ এবং আরও স্বাধীন কাজ হাতে নেয়, তখন সেই প্রশিক্ষণটি স্বতন্ত্র উত্তর এবং তার ওপর তৈরি হওয়া সমস্ত কিছুর মানকে রূপ দেয়। আমরা কখনো দাবি করিনি যে Perplexity ১০০% নির্ভুল, তবে আমরা অবশ্যই এমন এআই কোম্পানি হওয়ার দাবি করি যারা এটি নিয়ে সবচেয়ে বেশি পরোয়া করে এবং নিরলসভাবে কাজ করে যায়। আমরা সমস্ত ব্যবহারকারীকে তাদের Perplexity উত্তর সম্পর্কে ফিডব্যাক দেওয়ার জন্য উৎসাহিত করি, কারণ আমরা ক্রমাগত পুনরাবৃত্তি করছি এবং উন্নতি করছি।