Brain: জ্ঞান উইকি হিসেবে এজেন্টিক মেমরি
একটি কাঠামোগত, ট্রেস করা যায় এমন, স্বয়ংক্রিয়ভাবে উন্নত হওয়া Markdown ফাইলসিস্টেম, যা অফলাইনে কম্পাইল করা হয় এবং চাহিদামতো নেভিগেট করা হয়।
Computer ব্যবহারকারীরা এমন কাজ করেন যা মাস এবং শত শত সেশন জুড়ে বিস্তৃত। দশম সেশনের নাগাদ, সিস্টেমের প্রথম সেশনের চেয়ে অনেক বেশি উৎপাদনশীল হওয়া উচিত। এটির ব্যবহারকারী, তাদের পছন্দ এবং ইতিমধ্যে সম্পন্ন করা কাজের ওপর কনটেক্সট জমা করা উচিত।
উদাহরণস্বরূপ, ব্যবহারকারী পূর্বে ব্যাখ্যা করেছেন এমন একটি ওয়ার্কফ্লোর ডায়াগ্রাম আঁকতে বলা হলে, Computer-এর বিবরণগুলো স্মরণ করা উচিত এবং ব্যবহারকারীর পছন্দের স্টাইলে একটি ফিগার তৈরি ও আউটপুট করতে সেগুলোর ব্যবহার করা উচিত। ব্যবহারকারীর ওয়ার্কফ্লোর বিবরণ পুনরায় ব্যাখ্যা করার বা PNG আর্টিফ্যাক্টের চেয়ে PDF-এর প্রতি তাদের পছন্দ পুনর্ব্যক্ত করার প্রয়োজন হবে না; সিস্টেমের অতীত সেশন থেকে সেই কনটেক্সট সঠিকভাবে পুনরুদ্ধার করতে এবং এটি স্বয়ংক্রিয়ভাবে প্রয়োগ করতে সক্ষম হওয়া উচিত।
মেমরি হলো ক্রমাগত এজেন্ট উন্নতির ভিত্তি। একটি কার্যকর মেমরি সিস্টেম কাঠামোগত, ট্রেস করা যায় এমন এবং অভিযোজিত হওয়া উচিত, যা প্রতিটি কাজের জন্য সঠিক প্রস্থ এবং গভীরতায় অনুসন্ধান করতে এজেন্টদের সক্ষম করে এবং সবচেয়ে বর্তমান তথ্যের ওপর প্রতিটি সিদ্ধান্ত ভিত্তি করে।
ভূমিকা
এজেন্টদের সাথে প্রাসঙ্গিক কনটেক্সট যুক্ত করা একটি বহুবিধ সমস্যা। প্রথমত, এজেন্টদের জানতে হবে কী বিদ্যমান এবং কীভাবে এটি অ্যাক্সেস করতে হয়। দ্বিতীয়ত, যখন তারা সহায়ক তথ্যের একটি অংশ খুঁজে পায়, তখন তাদের নিশ্চিত হতে হবে যে এটি সম্পূর্ণ, সঠিক এবং আপ-টু-ডেট। একটি বিচ্ছিন্ন তথ্য সীমিত মানের হয় যদি না এজেন্ট সম্পর্কিত তথ্য খুঁজে পায়, এটি একটি বিশ্বস্ত উৎস থেকে এসেছে কিনা তা যাচাই করে এবং এটি আরও সাম্প্রতিক পর্যবেক্ষণ দিয়ে আপডেট করার প্রয়োজন নেই তা নিশ্চিত করে।
মডেল কনটেক্সটে সরাসরি স্ট্যাটিক মেমরি ফাইল স্টাফ করা এজেন্টদের কাছে অ্যাক্সেসিবিলিটি সর্বাধিক করে, কিন্তু একটি ক্লাসিক প্রিসিশন-রিকল ট্রেডঅফ উপস্থাপন করে। খুব বেশি তথ্য ক্রমবর্ধমানভাবে কম প্রাসঙ্গিকতার আইটেম দিয়ে এজেন্টের কনটেক্সট উইন্ডো স্যাচুরেট করবে, অন্যদিকে খুব কম প্রাসঙ্গিক কনটেক্সটের অভাবের কারণে উত্তরের গুণমান হ্রাস করবে। বিপরীতে, বাহ্যিক ডাটাবেসে অন-ডিমান্ড অ্যাক্সেস বেশি নমনীয়, কিন্তু এজেন্টের ওপর নেভিগেশনের বোঝা চাপিয়ে দেয়। ভেক্টর ডাটাবেসগুলো প্রায়শই বিচ্ছিন্ন ফ্র্যাগমেন্ট সংরক্ষণ করে এবং গ্রাফ ডাটাবেসগুলোর জন্য এজেন্টদের কার্যকরভাবে কোয়েরি করতে জানার প্রয়োজন হয়।
সম্প্রতি, আমরা Brain প্রবর্তন করেছি, যা Computer-এর মেমরি সিস্টেমের একটি মূল উপাদান যা উভয় জগতের সেরা প্রদান করে। Brain হলো একটি কাঠামোগত জ্ঞান উইকি যা স্ট্যাটিক মেমরি ফাইল এবং প্রমাণের ওপর অবস্থান করে। সাইটেশনগুলো দাবিগুলোকে তাদের উৎসের সাথে লিঙ্ক করে এবং তথ্যের সম্পর্কিত অংশগুলো পাশ থেকে সংযুক্ত থাকে। গোছানো উইকি চাহিদামতো কনটেক্সট নেভিগেটযোগ্য করে তোলে, অন্যদিকে বিস্তারিত আর্টিফ্যাক্টগুলো এর নিচের স্তরে সংরক্ষিত থাকে।
Brain তিনটি মূল উপাদান সহ একটি ব্যাপক মেমরি সিস্টেমের সাথে সংযুক্ত: টেকসই মেমরি স্টোরেজ, ফোরগ্রাউন্ড এজেন্ট যারা প্রশ্নের উত্তর দিতে মেমরি ব্যবহার করে এবং ব্যাকগ্রাউন্ড এজেন্ট যারা মেমরি আপডেট ও উন্নত করে। নিম্নলিখিত চিত্রটি Brain-এর সামগ্রিক সিস্টেম আর্কিটেকচারের মধ্যে অবস্থিত এই উপাদানগুলোকে চিত্রিত করে।
এই নিবন্ধে, আমরা প্রতিটি স্তর গভীরভাবে বর্ণনা করেছি, Brain কীভাবে মেমরি সংগঠিত করে, এজেন্টরা কীভাবে এটি ব্যবহার করে এবং ব্যাকগ্রাউন্ড প্রসেসগুলো কীভাবে এটিকে আপ টু ডেট রাখে তা ব্যাখ্যা করেছি। আমরা অভ্যন্তরীণ মূল্যায়নের ফলাফলও উপস্থাপন করেছি যা Brain-এর ডিজাইনকে বৈধতা দেয়, এটি প্রদর্শন করে যে এটি কম খরচে এজেন্টের কার্যক্ষমতা উন্নত করে।
মেমরি সংগঠন এবং স্টোরেজ
মেমরির এমন একটি উপস্থাপনা প্রয়োজন যা প্রতিটি কনটেক্সট অংশকে প্রম্পটে বাধ্য না করে ব্যবহারকারীর সম্পূর্ণ ইতিহাসে স্কেল করে। Computer-এর মেমরি সিস্টেম স্থায়ী কনটেক্সটকে একটি ফাইলসিস্টেম হিসেবে উপস্থাপন করে। Brain কাঁচা উৎস জুড়ে জ্ঞান সংশ্লেষণ করে, সম্পর্কিত বিষয়গুলোকে সংযুক্ত করে এবং দাবিগুলোকে সেগুলোকে সমর্থনকারী সেশন এবং ফাইলের সাথে ফিরিয়ে সংযুক্ত করে। এই কাঠামোটি, নিচে বিস্তারিত দেওয়া হয়েছে, আমাদের এজেন্টদের জন্য বিশেষভাবে উপযুক্ত ফর্মে মেমরি সংগঠিত করার অনুমতি দেয়।
ফাইলসিস্টেম-ভিত্তিক মেমরি
কম্পিউটার সেশনগুলো ইতিমধ্যেই একটি ফাইলসিস্টেম, একটি শেল এবং I/O ইউটিলিটি সহ একটি স্যান্ডবক্সে লাইভ থাকে। Brain ডিজাইন করার সময়, আমরা মডেল এবং এজেন্ট মেমরির মধ্যবর্তী ইন্টারফেসে যতটা সম্ভব কম নতুন যন্ত্রপাতি প্রবর্তন করতে চেয়েছিলাম। এই কারণেই আমরা ফাইলসিস্টেম-নেটিভ কন্টেন্ট লেয়ারের ওপর Brain তৈরি করেছি। মেমরিটি স্যান্ডবক্সের মধ্যে একটি memory/ ডিরেক্টরির নিচে ফাইল হিসেবে মেটেরিয়ালাইজ করা হয় এবং এজেন্ট মেমরি ফাইলগুলোতে ঠিক একই টুল ব্যবহার করে যা সে অন্য সবকিছুর জন্য ইতিমধ্যে ব্যবহার করে।
মেমরি ট্রির মূল অংশে তিনটি শীর্ষ-স্তরের ডিরেক্টরি রয়েছে যা বিভিন্ন স্তরের বিমূর্ততায় কনটেক্সট রক্ষণাবেক্ষণ করে। knowledge/ হলো Brain নিজেই, একটি সংশ্লেষিত জ্ঞান উইকি যা সত্তা, ধারণা, সক্রিয় প্রজেক্ট এবং অতীতের শিক্ষাগুলোকে লিঙ্ক করে; notes/-এ বিষয়ভিত্তিক ফোল্ডার হিসেবে সংগঠিত পাতলা স্নিপেট থাকে; এবং sessions/ কাঁচা ইতিহাস হিসেবে ইনডেক্স, সারাংশ এবং সম্পূর্ণ ট্রান্সক্রিপ্ট ধারণ করে। নিচের চিত্রটি লেআউটের একটি সরলীকৃত ভিউ দেখায়।
সারফেসগুলো ইচ্ছাকৃতভাবে অপ্রয়োজনীয়। সহজ, একক-হপ প্রশ্নের জন্য, একটি কী ওয়ার্ডের জন্য /notes-এর মধ্যে স্নিপেট অনুসন্ধান করা প্রায়ই যথেষ্ট, অন্যদিকে /knowledge স্তরটি এমন প্রশ্নগুলোর জন্য সবচেয়ে বেশি দরকারী যেগুলোর Computer সেশনের সপ্তাহ বা মাস জুড়ে প্রমাণ স্টিচ করার প্রয়োজন হয়।
Brain: দ্য নলেজ উইকি
Brain একটি LLM উইকি হিসেবে ফর্ম্যাট করা হয়েছে, যা লিঙ্ক করা Markdown ফাইলের একটি সিস্টেম। সামান্য কাঠামোগত এই Markdown ফর্মটি বিদ্যমান কনটেক্সটের একটি সামগ্রিক ভিউ প্রদান করে, যাতে এজেন্টরা সহজেই বুঝতে পারে কোন রেকর্ডগুলো উপলব্ধ, কীভাবে তারা সম্পর্কিত এবং কোথায় সেগুলো খুঁজে পাওয়া যায়। প্রতিটি পেজ এক বিষয়ের একটি রক্ষণাবেক্ষণ করা ভিউ; লিঙ্কের মাধ্যমে আরও অন্বেষণ সহজ করার সময় এটি একা পড়ার সময় দরকারী থাকা উচিত।
লিংক দুই প্রকারের হয়। [[wikilinks]] হলো কনটেক্সট এজ। এগুলো পেজগুলোকে পাশ থেকে সংযুক্ত করে; একটি প্রজেক্ট এর মালিক, এর ক্লায়েন্ট বা এটি যে ধারণাগুলোর ওপর নির্ভর করে তার সাথে লিঙ্ক করতে পারে। সেগুলোকে অনুসরণ করলে "আমার আর কী জানা দরকার?" এর উত্তর দেয়। [cite:N] রেফারেন্স হলো প্রমাণের এজ। এগুলো দাবিগুলোকে নিচের দিকে কাঁচা সেশন বা কানেক্টর উৎসের সাথে সংযুক্ত করে যা সেগুলোকে সমর্থন করে। সেগুলোকে অনুসরণ করলে "আমি কীভাবে জানি এটি সত্য?" এর উত্তর দেয়।
নিচের চিত্রগুলো চিত্রিত করে যে একটি কৃত্রিম ব্যক্তির জন্য Brain-এর একটি অংশ কেমন দেখতে হবে, যা নাদিয়া নামের একজন অ্যাক্সেসিবিলিটি গবেষক। তার Brain-এ একটি নমুনা প্রজেক্টের একটি পেজ রয়েছে, জাপানে একটি ইউনিভার্সাল ডিজাইন স্প্রিন্ট, সেশন এবং কানেক্টর থেকে জ্ঞান সংশ্লেষণ করা। গ্রাফ ভিউ প্রদর্শন করে কীভাবে পেজে উপস্থিত কনটেক্সট এবং প্রমাণের এজ সম্পর্কিত সত্তা এবং উৎসগুলোকে লিঙ্ক করে।
সংস্করণ ইতিহাস সংরক্ষণ করতে Brain গিট-ব্যাকড, যা এর ক্রমাগত বিকশিত প্রকৃতিকে সমর্থন করে। সময়ের সাথে সাথে পেজগুলো এডিট করা যেতে পারে, অন্যদিকে চেঞ্জলগগুলো মূল আপডেটগুলো রেকর্ড করে এবং এজেন্টদের সহজেই অতীতের সংস্করণ এবং ডিফগুলো পরিদর্শন করতে দেয়। এটি এজেন্টিক সমন্বয়কেও সমর্থন করে, যা অত্যন্ত গুরুত্বপূর্ণ কারণ একাধিক এজেন্ট একই সাথে Brain ব্যবহার এবং আপডেট করতে পারে।
Brain ব্যবহার করা
ব্যবহারকারীর প্রশ্নের উত্তর দেওয়ার সময়, এজেন্টদের সঠিক স্তরে সঠিক কনটেক্সট খুঁজে পাওয়ার ক্ষমতা থাকতে হবে। Brain-এর গঠন এজেন্টদের জন্য মেমরি অন্বেষণ করা সহজ করে তোলে। এজেন্টরা সম্পর্কিত তথ্য খোঁজার জন্য কনটেক্সট লিংক অনুসরণ করা, দাবি যাচাই করার জন্য প্রমাণের লিংক অনুসরণ করা, বা অতিরিক্ত কনটেক্সট প্রাপ্ত এবং সংশ্লেষণ করার জন্য একটি সাবএজেন্টকে কল করার মতো কার্যোপযোগী পদক্ষেপগুলোর মধ্যে বেছে নিতে পারে। আমরা প্রাসঙ্গিক তথ্যে এজেন্টদের সহজে অ্যাক্সেস সর্বাধিক করার লক্ষ্যে বিভিন্ন উপায়ে এজেন্টিক এক্সপ্লোরেশন প্রক্রিয়া পরিচালনা করি।
অন্বেষণ কৌশল
আমরা প্রাথমিক ব্যবহারকারী বার্তার মধ্যে Brain-এর একটি কমপ্যাক্ট ইনডেক্স অন্তর্ভুক্ত করি, যাতে এজেন্ট ইতিমধ্যে যা বিদ্যমান তার কার্যজ্ঞান দিয়ে শুরু করে। এজেন্ট তখন পরিচিত অপারেশন ব্যবহার করে Brain-এর সাথে ইন্টারঅ্যাক্ট করে: ইনডেক্স দ্বারা রেফারেন্স করা নির্দিষ্ট আইটেম পড়া, পেজ জুড়ে অনুসন্ধান করতে grep ব্যবহার করা, লিঙ্ক অনুসরণ করা এবং সাইটেশন পরিদর্শন করা, গিট রিভিশন তুলনা করা এবং সেশন বা কাঁচা ট্র্যাজেক্টরিতে নেমে যাওয়া। নিচের কোড ব্লকটি একটি কৃত্রিম ব্যক্তির জন্য নমুনা কমান্ড চিত্রিত করে।
# 1. Orient: the index is a map of everything known
cat memory/knowledge/index.md
# 2. Target: find pages that touch the question
grep -Ril "kyoto\|sendai" memory/knowledge/
# 3. Read the page; follow context edges as needed
cat memory/knowledge/projects/japan-universal-design-sprint.md
cat memory/knowledge/entities/sora-city-laboratory.md # via [[wikilink]]
cat memory/knowledge/entities/sapphir-mobility-coop.md # via [[wikilink]]
# 4. Only if the claim must be verified: resolve evidence
# city bases → [cite:1], [cite:10] → pplx://sessions/<id>
#
# Example (pseudo, replace with your real tool):
# pplx-session-fetch 1eaf53d4-09e0-5823-bb96-c8662f582708 --slice <slice-id>
# 5. Some evidence lives outside the sessions
# meeting slots → [cite:15] → connector://google-calendar
#
# pplx-connector-fetch google-calendar --query "japan-sprint"এজেন্টরা একটি নির্দিষ্ট পাইপলাইনের পরিবর্তে একটি স্ব-নির্দেশিত লুপের মাধ্যমে এই কনটেক্সট অন্বেষণ করে। অতএব, এজেন্ট খুঁজে পাওয়া কনটেক্সটে সন্তুষ্ট না হওয়া পর্যন্ত অনুসন্ধান চালিয়ে যেতে পারে। বিবরণ খুঁজে পেতে বা যাচাই করতে কখন সাইটেশন এবং প্রমাণ পরিদর্শন করতে হবে তাও এজেন্ট বেছে নিতে পারে। পছন্দের একটি ছোট বিষয় সরাসরি একটি একক Brain পেজ থেকে গৃহীত হতে পারে, অন্যদিকে একটি গুরুত্বপূর্ণ সিদ্ধান্ত বা উৎসের মধ্যে দ্বন্দ্ব সাইটেশন অনুসরণ করা এবং আসল রেকর্ড পড়ার যৌক্তিকতা প্রমাণ করতে পারে। গ্রাফ-ভিত্তিক কাঠামো এজেন্টকে সম্পর্কিত তথ্যের জন্য লক্ষ্যহীনভাবে অনুসন্ধান করার পরিবর্তে সুনির্দিষ্ট পরবর্তী পদক্ষেপগুলোর মধ্যে বেছে নিতে দেয়।
ফাইল মেটেরিয়ালাইজেশন
এজেন্টিক এক্সপ্লোরেশন কাজ করার জন্য, এজেন্টকে স্যান্ডবক্স ফাইলসিস্টেমের মাধ্যমে সম্পূর্ণ memory/ ট্রি-তে অ্যাক্সেস থাকতে হবে। স্যান্ডবক্স বুট হওয়ার প্রতিবার সম্পূর্ণ ট্রি স্থানীয়ভাবে কপি করা ব্যয়বহুল এবং অপ্রয়োজনীয়, কারণ এজেন্ট ওই ফাইলগুলোর বিশাল সংখ্যাগরিষ্ঠ অংশ স্পর্শ করবে না। আরেকটি বিকল্প হতে পারে একটি রিমোট ফাইলসিস্টেম ব্যবহার করা, যাতে এজেন্টরা স্থানীয়ভাবে কপি না করেই যেকোনো ফাইল অ্যাক্সেস করতে পারে। তবে, এজেন্টরা প্রায়শই একটি একক কমান্ডে হাজার হাজার ফাইলসিস্টেম অপারেশন সম্পাদন করে; প্রতিটি যদি একটি নেটওয়ার্ক অনুরোধে পরিণত হয়, তবে রাউন্ড-ট্রিপ খরচ এক্সপ্লোরেশন লুপে প্রভাব বিস্তার করতে শুরু করে। অভ্যন্তরীণ টেস্টিংয়ে, একটি রিমোট FUSE-ব্যাকড পাথের ওপর সাধারণ grep কাজের চাপ স্থানীয় ফাইলের ওপর সমতুল্য অপারেশনগুলোর তুলনায় প্রায় ৪০০ থেকে ৫০০ গুণ ধীর ছিল।
এর পরিবর্তে, আমরা মেটেরিয়ালাইজড ফাইলের একটি স্থানীয় ওয়ার্কিং সেট তৈরি করি, অন্যদিকে বৃহত্তর কর্পাস একটি মেমরি রিট্রিভাল সিস্টেমের পেছনে থাকে। Computer যখন বুট হয় তখন এটি স্যান্ডবক্সে একটি প্রাথমিক মানচিত্র (সাম্প্রতিক মেমরি, সেশন, সারাংশ এবং উপলব্ধ জ্ঞান থেকে নেওয়া) প্রিলোড করে। Computer এজেন্টদের একটি মেমরি এজেন্টে অ্যাক্সেস থাকে, যা একটি সাবএজেন্ট যা সিমান্টিক সার্চ সম্পাদন করতে এবং ফাইলের একটি নতুন সেট লোড করতে পারে। প্রয়োজনীয় কনটেক্সট অনুপস্থিত থাকলে, Computer প্রয়োজনীয় তথ্যের বিবরণ সহ মেমরি এজেন্টকে কল করতে পারে। মেমরি এজেন্ট ফাইলগুলো জুড়ে অনুসন্ধান করে, একটি তাত্ক্ষণিক টেক্সট সংশ্লেষণ প্রদান করে এবং মেমরি ট্রির অধীনে ফাইল হিসেবে সমর্থনকারী রেকর্ডগুলো মেটেরিয়ালাইজ করে। এইভাবে, ওয়ার্কিং সেটটি সময়ের সাথে সাথে স্বাভাবিক এবং ক্রমান্বয়ে প্রসারিত হয়, ইতিমধ্যে উপস্থিত প্রমাণের জন্য স্থিতিশীল পাথ এবং উৎসের সম্পর্ক সংরক্ষণ করে।
এই ডিজাইনটি লেটেন্সি বটলনেকের সমাধান করে। স্থানীয়ভাবে প্রাসঙ্গিক ফাইলগুলো সংরক্ষণ করা নিশ্চিত করে যে অন্বেষণের জন্য প্রয়োজনীয় ফাইলসিস্টেম অপারেশনগুলো দ্রুত থাকে, এবং ব্যাচড রিট্রিভালের ফলে প্রতিটি ফাইলের জন্য আলাদা কলের প্রয়োজন ছাড়াই বা প্রচুর সংখ্যক অপ্রাসঙ্গিক ফাইল লোড না করেই মেটেরিয়ালাইজড ফাইলের পুল বৃদ্ধি পেতে পারে। নেস্টেড-এজেন্ট ডিজাইনটি মূল এজেন্টকে প্রতিবার সরাসরি সম্পূর্ণ ব্যাকএন্ড কর্পাস অনুসন্ধান না করেই এজেন্টিক রিট্রিভালের সুবিধা Computer-কে দেয়, যা সর্বোচ্চ মানের তথ্যের জন্য এর নিজস্ব কনটেক্সট উইন্ডো সংরক্ষণ করে।
Brain রক্ষণাবেক্ষণ
ব্যবহারকারীরা ক্রমাগত তাদের করা কাজ এবং তাদের করা কথোপকথন থেকে শিখছেন, তাই এজেন্টিক মেমরিরও একই কাজ করা প্রয়োজন। Brain দরকারী থাকার জন্য, এটি সবচেয়ে গুরুত্বপূর্ণ জ্ঞানের একটি সংক্ষিপ্ত উপস্থাপনা হওয়া উচিত। গুরুত্বপূর্ণ নতুন সত্তার জন্য নতুন পেজ তৈরি করা উচিত, প্রাসঙ্গিক Brain পেজে নতুন তথ্য যোগ করা উচিত এবং পুরোনো কনটেক্সট সময়মতো মুছে ফেলা উচিত। উদাহরণস্বরূপ, যদি একজন ব্যবহারকারীর চাকরি পরিবর্তিত হয়, তবে Brain-এ সেই পরিবর্তন প্রতিফলিত হওয়া উচিত; এতে ব্যবহারকারীর নতুন চাকরি থাকা উচিত এবং তাদের নতুন দায়িত্ব ও প্রজেক্ট সম্পর্কিত তথ্যকে অগ্রাধিকার দেওয়া উচিত।
Brain ব্যাকগ্রাউন্ড এজেন্টদের দ্বারা রক্ষণাবেক্ষণ করা হয় যাদের আমরা Dream বলি। Dream এজেন্টরা ফাইল-ভিত্তিক মেমরির ওপর অফলাইনে রান করে, নতুন তথ্যকে Brain আপডেটে সংশ্লেষণ করে। Brain আপডেটগুলো সামঞ্জস্যপূর্ণ এবং সঠিক তা নিশ্চিত করতে Dream-নির্দিষ্ট গার্ডরেলসহ আমরা এই কাজটি দক্ষতার সাথে সম্পাদন করার জন্য Dream এজেন্টদের সুযোগ এবং আচরণ সাবধানে সংজ্ঞায়িত করেছি।
Dream: মেমরি পরিমার্জনের জন্য ব্যাকগ্রাউন্ড এজেন্ট
Dream এজেন্টরা একই ফাইলসিস্টেম এবং রিড-ওনি টুলের অ্যাক্সেস সহ স্যান্ডবক্সে রান করে যা একটি ইন্টারেক্টিভ Computer সেশনের থাকত, কিন্তু তাদের একমাত্র লক্ষ্য ভবিষ্যতের সেশনের জন্য কনটেক্সট উন্নত করা। ব্যবহারকারীর কনটেক্সট শুরু থেকে পুনর্নির্মাণ করার পরিবর্তে প্রতিটি রান আগের রান দ্বারা উৎপাদিত Brain থেকে শুরু হয়। এটি তখন নিজেকে অভিমুখী করতে বর্তমান Brain ব্যবহার করে এবং ভবিষ্যতের রানগুলোর ব্যবহারের জন্য একটি আপডেট করা Brain তৈরি করে।
একটি Dream এজেন্ট একটি পরিবেশ পায় এবং একটি একক প্রম্পটে ফ্ল্যাট করা একটি নির্দিষ্ট ইনপুট পাওয়ার পরিবর্তে এটি কীভাবে অন্বেষণ করতে হবে তা নির্ধারণ করে। এটি ফাইল-ভিত্তিক মেমরি নেভিগেট করতে পারে, জ্ঞানের একটি অংশ যাচাই করতে অনুমোদিত রিড-ওনি কানেক্টর টুল ব্যবহার করতে পারে এবং মেমরি এজেন্ট সহ সাবএজেন্টদের কাজের সীমাবদ্ধ অংশ অর্পণ করতে পারে। Dream এজেন্টের সুযোগ এবং দায়িত্বগুলো একটি দক্ষতা হিসেবে নির্দিষ্ট করা হয়।
সাধারণভাবে, একটি Dream রানিংয়ে ৪টি ধাপ থাকে:
- ওরিয়েন্ট: এজেন্ট একটি আদেশকৃত ওরিয়েন্টেশন পদ্ধতি সম্পন্ন করে। এটি কর্তৃত্বমূলক সুযোগ, স্থায়ী নির্দেশাবলী, মুছে ফেলার লগ, অতিরিক্ত ইনপুট এবং থামার শর্তগুলো চিহ্নিত করে।
- সেশনগুলোর সারাংশ তৈরি করুন: শেষ আপডেটের পর থেকে নতুন (বা নতুন টার্ন রয়েছে এমন) প্রতিটি সেশনের জন্য, এজেন্ট সেশনের একটি সংক্ষিপ্ত সারাংশ লেখে (বা আপডেট করে)।
- বিষয়ের সাথে তথ্য সংযুক্ত করুন: এজেন্ট তার যথাযথ হোমে যে প্রতিটি পর্যবেক্ষণ গুরুত্বপূর্ণ বলে মনে করে তা যোগ করে, যা সাধারণত একটি উইকি পেজ। উপলব্ধ থাকাকালীন এটি প্রমাণীকৃত কানেক্টরগুলো প্রোব এবং কোয়েরি করে।
- জ্ঞান উইকি আপডেট করুন: এজেন্ট তার ফলাফলের ওপর ভিত্তি করে উইকি আপডেট করে। এটি টেকসই বিষয়ের জন্য নতুন পেজ তৈরি করতে পারে, বর্তমান সংশ্লেষণ পরিবর্তিত হলে পেজ সংশোধন করতে পারে, বা একটি তথ্যগত দাবি সমর্থনকারী নতুন লিঙ্ক বা সাইটেশন যোগ করতে পারে। বর্তমান গ্রাফটি ইতিমধ্যে সঠিক হলে এটি কোনো পরিবর্তন না করার বিকল্পও বেছে নিতে পারে।
Brain-এর যেকোনো আপডেট সম্পূর্ণ এবং সামঞ্জস্যপূর্ণ তা নিশ্চিত করতে, এজেন্টরা একটি স্টেজড আউটপুট ট্রিতে প্রস্তাবিত অবস্থা লেখে। এজেন্ট তার প্রয়োজনীয় মনে করা সমস্ত আপডেট না করা পর্যন্ত কোনো স্থায়ী পরিবর্তন করা হয় না। একটি এজেন্টিক প্রক্রিয়ায় সেই সিদ্ধান্তগুলোর সমন্বয় করা এটিকে সম্পর্কহীন পেজ হিসেবে না করে সামগ্রিকভাবে গ্রাফ আপডেট করা সম্ভব করে তোলে।
যেকোনো পরিবর্তনে অবশ্যই দুই ধরনের যাচাইকরণ চেক পাস করতে হবে। ডিটারমিনিস্টিক ভ্যালিডেশন চেকগুলো নিশ্চিত করে যে পেজগুলো সুগঠিত এবং উদ্দেশ্যমূলক মানদণ্ড পূরণ করে, যেমন প্রয়োজনীয় ফ্রন্টম্যাটার এবং সাইটেশন ফর্ম্যাট। সিমান্টিক ভেরিফিকেশন চেকগুলো নিশ্চিত করে যে প্রস্তাবিত সংশ্লেষণটি সংগৃহীত প্রমাণ দ্বারা সমর্থিত এবং গ্রাফের বাকি অংশের সাথে সামঞ্জস্যপূর্ণ থাকে। এজেন্ট সফলভাবে শেষ করার পরে, একটি নিয়ন্ত্রিত সিঙ্ক্রোনাইজেশন ধাপ পূর্ববর্তী অবস্থার বিরুদ্ধে স্টেজড আউটপুট তুলনা করে এবং রিপোজিটরিতে পরিবর্তনগুলো প্রয়োগ করে। যখন একটি সিঙ্ক্রোনাইজেশন ধাপ সম্পন্ন হয়, তখন সম্পাদনার চূড়ান্ত সেটটি গিট সংস্করণ ইতিহাসের মাধ্যমে পরিদর্শনযোগ্য।
Brain যাচাই করা
একটি দরকারী মেমরি সিস্টেম অবশ্যই প্রাসঙ্গিক প্রমাণ সংরক্ষণ করবে, প্রয়োজনের সময় তা সামনে আনবে এবং এজেন্টকে সেই প্রমাণটিকে সঠিক উত্তরে রূপান্তর করতে সহায়তা করবে। তাই আমরা একাধিক স্তরে Brain মূল্যায়ন করি: নিয়ন্ত্রিত অফলাইন অ্যাবলেশন, ক্রমাগত জোড়া রিপ্লে, এবং র্যান্ডমাইজড প্রোডাকশন পরীক্ষা।
অফলাইন মূল্যায়ন
আমাদের প্রাথমিক অফলাইন মূল্যায়নে ৪৪টি কৃত্রিম ব্যক্তির ওপর ৬৪০টি প্রশ্নের একটি অভ্যন্তরীণ ডেটাসেট ব্যবহার করা হয়েছে। ব্যবহারকারীর গোপনীয়তা রক্ষা করার জন্য কোনো প্রোডাকশন কোয়েরি টেক্সট না রেখে, ব্যক্তিগুলো সেশন ক্যাডেন্স, টার্ন কাউন্ট, টপিক মিক্স এবং ফ্যাক্ট ডেনসিটিতে প্রোডাকশন-উত্পন্ন প্যাটার্নগুলো পুনরুত্পাদন করে। মেমরি নিষ্কাশন, কথোপকথনের সারাংশ এবং জ্ঞান উইকির Dream সংকলন সহ প্রোডাকশন মেমরি পাইপলাইনের মাধ্যমে প্রতিটি অ্যাকাউন্ট পূরণ করা হয়। প্রতিটি প্রশ্নের জন্য, সঠিক উত্তরটি যান্ত্রিকভাবে অ্যাকাউন্টের ইতিহাসে উপস্থিত নির্দিষ্ট প্রমাণের সাথে আবদ্ধ।
উদাহরণস্বরূপ, নাদিয়ার জন্য, পূর্বে প্রবর্তিত অ্যাক্সেসিবিলিটি গবেষক কৃত্রিম ব্যক্তি, ডেটাসেটে প্রশ্নটি অন্তর্ভুক্ত রয়েছে, "আমি কিয়োটো এবং সেনদাইতে কোন কোন সংস্থার সাথে মিটিং করছি?" উত্তর (কিয়োটোতে সোরা সিটি ল্যাব এবং সেনদাইতে সাপ্হির মোবিলিটি কো-অপ) সংশ্লিষ্ট উইকি পেজে সরাসরি প্রদর্শিত হয়।
আমরা কম্পাইল করা জ্ঞান উইকি সক্ষম বনাম নিষ্ক্রিয় অবস্থায় একই প্রশ্ন এবং অ্যাকাউন্টগুলো তুলনা করি। উভয় অবস্থাতেই অন্যান্য মেমরি সারফেস উপলব্ধ থাকে। এটি মেমরির বিপরীতে মেমরি তুলনা করার পরিবর্তে Brain-এর অতিরিক্ত অবদানকে আলাদা করে। সামগ্রিকভাবে, Brain উত্তর সঠিকতা ০.৬০০ থেকে বাড়িয়ে ০.৬৬১ করেছে, যা ৬.১ শতাংশ পয়েন্টের বৃদ্ধি, এবং প্রমাণ পুনরুদ্ধার ০.৫৭৩ থেকে বাড়িয়ে ০.৬২৫ করেছে, যা ৫.২ শতাংশ পয়েন্টের বৃদ্ধি। পছন্দ (+১০.২ পিপি), টেম্পোরাল রিজনিং (+৮.৬ পিপি) এবং পূর্ববর্তী কার্যকলাপ থেকে বিবরণ বের করার (+৬.৯ পিপি) প্রশ্নগুলোর ক্ষেত্রে প্রভাব সবচেয়ে বেশি ছিল। ৮৪% প্রশ্নে, এজেন্ট যাচাইযোগ্যভাবে গোল প্রমাণের সাথে আবদ্ধ একটি উৎস স্পর্শ করেছে।
আমরা দুটি পাবলিক বেঞ্চমার্কের সাবসেটের ওপর ম্যাচড Brain অ্যাবলেশনও চালিয়েছি। LoCoMo-তে, উইকি অপসারণ করলে বিভিন্ন মডেলের সাথে তিনটি রান জুড়ে গড়ে ৪.৬ শতাংশ পয়েন্ট উত্তর সঠিকতা হ্রাস পায়। LongMemEval-S-এ এটি কোনো পরিসংখ্যানগতভাবে উল্লেখযোগ্য পরিবর্তন তৈরি করেনি। এই ফলাফল Brain-এর উদ্দিষ্ট ভূমিকার সাথে সামঞ্জস্যপূর্ণ। LongMemEval-S মূলত পৃথক সেশন থেকে তথ্য পুনরুদ্ধার পরীক্ষা করে, যেখানে অন্তর্নিহিত ট্রান্সক্রিপ্টগুলো উত্তরের একটি অপ্রয়োজনীয় পথ প্রদান করে। LoCoMo কথোপকথন, স্পিকার এবং তারিখ জুড়ে ছড়িয়ে থাকা প্রমাণের ওপর বেশি জোর দেয়, উইকির ক্রস-সেশন সংশ্লেষণের অবদান রাখার জন্য আরও সুযোগ তৈরি করে।
সামগ্রিকভাবে, Brain সক্ষম অবস্থায়, প্রোডাকশন এজেন্ট LongMemEval-S-এ ০.৯১ উত্তর সঠিকতা এবং LoCoMo-তে ০.৮৩ অর্জন করেছে। যেহেতু এই পরীক্ষাগুলো বেঞ্চমার্ক সাবসেট ব্যবহার করেছে, তাই এগুলো নিশ্চিত বেঞ্চমার্ক ফলাফল নয়। তা সত্ত্বেও, অ্যাবলেশনগুলো এখনও শক্তিশালী সংকেত প্রদান করে যে উইকি পারফরম্যান্স উন্নত করে, বিশেষ করে যখন কথোপকথন জুড়ে প্রমাণ একত্রিত করতে হয়। যেহেতু Brain প্রোডাকশন ওয়ার্কফ্লোর সাথে ঘনিষ্ঠভাবে সাদৃশ্যপূর্ণ এমন টাস্কগুলোর সাথে প্রতিযোগিতামূলকতা কেবল বৃদ্ধি পাবে বলে আমরা বিশ্বাস করি, এটি অপ্টিমাইজ করা কোনো বেঞ্চমার্ক-নির্দিষ্ট রিট্রিভাল সিস্টেমের পরিবর্তে Computer-এর অংশ।
অনলাইন মূল্যায়ন
অফলাইন ডেটাসেটগুলো প্রকৃত ব্যবহারকারীর ইতিহাসের প্রতিটি বৈশিষ্ট্য ক্যাপচার করতে পারে না, তাই আমরা তাজা প্রোডাকশন-উত্পন্ন কোহোর্টের ওপর একটি দৈনিক জোড়া মূল্যায়নও চালাই। Brain সক্ষম এবং নিষ্ক্রিয় করা ম্যাচড ব্যবহারকারী অবস্থার বিরুদ্ধে একই নির্দিষ্ট প্রশ্নের উত্তর দেওয়া হয়, তারপর সঠিকতা, বর্তমানতা এবং রিকলের জন্য বিচার করা হয়।
১৮ জুনে রিপোর্ট করা প্রাথমিক ফলাফল প্রদর্শন করেছে যে Brain উত্তর সঠিকতা ২৫% এবং রিকল ১৬% বৃদ্ধি করে। এই পারফরম্যান্সের লাভগুলো অব্যাহত রয়েছে; গত ৩০ দিনে, Brain-সক্ষম সেশনগুলো প্রতিটি রান এবং প্রতিটি বিচারকৃত মেইলে কন্ট্রোলকে ছাড়িয়ে গেছে। পরম অর্থে, Computer ব্যবহারকারীরা সঠিকতায় ৯.৩ পয়েন্ট, বর্তমানতায় ৮.০ পয়েন্ট এবং রিকলে ৮.৯ পয়েন্টের উন্নতি উপভোগ করেছেন। Brain-সক্ষম ট্র্যাজেক্টরিগুলো আনুমানিক ১৫% কম টোকেন ব্যবহার করেছে, ১০% কম খরচ হয়েছে এবং ১০% দ্রুত জেনারেশন সম্পন্ন করেছে।
ক্রমাগত উন্নতি
ব্যবহারকারীদের সেরা মেমরি অভিজ্ঞতা প্রদানের জন্য আমরা Brain পরিমার্জন চালিয়ে যাচ্ছি। একটি সাম্প্রতিক পরিবর্তন এজেন্টকে পরে এটি আবিষ্কার এবং পড়ার প্রয়োজন হওয়ার পরিবর্তে Brain-এর কমপ্যাক্ট ইনডেক্স সরাসরি এজেন্টের প্রাথমিক কনটেক্সটে রাখে। একটি র্যান্ডমাইজড পরীক্ষায়, এই প্রিফিল ট্রিটমেন্ট Brain-এর ব্যবহার বাড়িয়েছে এবং মেমরি-সম্পর্কিত অসন্তুষ্টি ৬.৯% কমিয়েছে।
অফলাইন মূল্যায়ন হার্নেসটি একটি স্বায়ত্তশাসিত উন্নতি পাইপলাইনের অংশ হিসেবেও দ্বিগুণ কাজ করে। Brain-এর মেমরি সাবএজেন্ট, রিট্রিভাল স্কিল এবং প্রম্পটে প্রস্তাবিত পরিবর্তনগুলো আমাদের অভ্যন্তরীণ ডেটাসেট এবং পাবলিক বেঞ্চমার্কের ম্যাচড অ্যাবলেশনের মাধ্যমে চালানো হয়। Computer এজেন্টরা স্বায়ত্তশাসিতভাবে ফলাফলের ওপর পুনরাবৃত্তি করতে পারে, প্রতিটি পুনরাবৃত্তির পরিবর্তন, ডেল্টা এবং খরচ একটি টেকসই রেকর্ড হিসেবে সংরক্ষণ করতে পারে এবং কেবল সংখ্যা পরিবর্তন করে এমন পরিবর্তনগুলো রাখতে পারে। ফলাফলটি এমন একটি ব্যবস্থা যেখানে Brain-এর মূল্যায়নকারীরা এর অপ্টিমাইজারও বটে, যা ভবিষ্যতের উন্নতিগুলোকে চালিত করে।
উপসংহার
সপ্তাহ এবং মাস ধরে কাজ করে এমন এজেন্ট সিস্টেম তৈরির জন্য অবিচ্ছিন্ন শেখা হলো নির্ধারিত চ্যালেঞ্জগুলোর মধ্যে একটি। আমরা বিশ্বাস করি মেমরি আর্কিটেকচারগুলো এমন পরিবেশ হিসেবে প্রকাশ করা ভালো যা এজেন্টরা তাদের সাধারণ টুলসেট ব্যবহার করে সরাসরি অন্বেষণ করতে পারে। ফাইলের ওপর Brain-কে একটি কাঠামোগত জ্ঞান উইকি হিসেবে রেখে মেমরিকে একটি ফাইলসিস্টেম হিসেবে প্রকাশ করা, সাধারণ এবং পরিচিত টুলের মাধ্যমে কনটেক্সটকে দক্ষতার সাথে নেভিগেটযোগ্য করে তোলে।
Brain স্ব-উন্নতির জন্য ডিজাইন করা হয়েছে, যাতে ব্যবহারের বৃদ্ধির সাথে সাথে মেমরি সিস্টেম আরও ভালো হতে পারে। Dream ব্যাকগ্রাউন্ড এজেন্টরা নতুন তথ্য Brain আপডেটে ডিস্টিল করে, এটি নিশ্চিত করে যে ফোরগ্রাউন্ড এজেন্টরা সর্বদা সাম্প্রতিক কনটেক্সটের একটি গোছানো ভিউ সহ একটি নতুন সেশন শুরু করে। ইভ্যালুয়েশন হার্নেস মূল মেমরি আর্কিটেকচার এবং এজেন্ট-মুখী ইন্টারফেসগুলোর ওপর অটোরিসার্চ লুপের জন্য একটি টেস্টিং গ্রাউন্ড হিসেবেও দ্বিগুণ কাজ করে।
ইতিমধ্যেই, Brain খরচ হওয়া টোকেন কমানোর পাশাপাশি আরও সঠিক এবং পারফর্মেন্ট এজেন্ট সেশন প্রদান করেছে। Computer-এর প্রোডাকশন স্ট্যাকের সাথে আমাদের সতর্ক কো-ডিজাইন নিশ্চিত করে যে এই লাভগুলো সরাসরি ব্যবহারকারীদের বাস্তব উপকারে রূপান্তরিত হয়।
আমরা Computer-এর মেমরির গুণমান উন্নত করার জন্য আরও ক্ষমতা তৈরি করে চলেছি। ইতিমধ্যে, Brain সক্ষম করা ব্যবহারকারীদের জন্য, প্রতিটি সেশনের সাথে মেমরি উন্নত হবে।