தனிப்பட்ட மற்றும் செலவு குறைந்த அறிவு வேலைக்கான உள்ளூர்-முதல் ஏஜெண்ட்
உள்ளூர் அறிவு வேலைக்காக இணை-வடிவமைக்கப்பட்ட ஹார்னஸ் மற்றும் மாடல், சாதனத்தில் இயங்குகிறது மற்றும் தேவைக்கேற்ப தொலைதூரத் திறன்களை அணுகுகிறது.
Perplexity Portable Computer என்பது உள்ளூர்-முதல் ஏஜெண்ட் ஆகும்.
முழுமையான ஸ்டாக் இயல்பாகவே உள்ளூரில் இயங்கும். மாடல், ஹார்னஸ், உரையாடல் மற்றும் டிரேஜெக்டரி ஆகியவை பயனரின் கணினியிலேயே வாழ்கின்றன. வலைத் தேடல், இணைப்பான்கள் அல்லது கிளவுட்டில் உள்ள வலுவான ஆலோசக மாடலுக்கான அதிகரிப்பு போன்ற வெளிப்புற உலகம் தேவைப்படும் வேலை, தேவைப்படும்போது மட்டுமே அழைக்கப்படும் மற்றும் எப்போதும் பயனரால் கட்டுப்படுத்தப்படும். எனவே உணர்திறன் வாய்ந்த தரவு அனுமதியின்றி சாதனத்தை விட்டு வெளியேறாது, மேலும் உள்ளூர் மாடல்கள் எந்தவொரு அனுமானக் கட்டணத்தையும் கொண்டிருக்காது: அமைப்பு வடிவமைப்பால் தனிப்பட்டது மற்றும் செலவு குறைந்ததாகும்.
செயல்திறனுள்ள உள்ளூர்-முதல் ஏஜெண்டிற்கு மாடலும் ஹார்னஸும் இணைந்து வடிவமைக்கப்பட வேண்டும். பொது நோக்க ஹார்னஸ்கள் நீண்ட சூழல்களை உறிஞ்சக்கூடிய, பரந்த கருவி மேற்பரப்பில் செல்லக்கூடிய மற்றும் நீண்ட எல்லைகளில் திட்டமிடக்கூடிய எல்லை மாடலைக் கருதுகின்றன. அந்தத் தேவைகளின் கீழ் உள்ளூர் மாடல்கள் நம்பகத்தன்மை குறைவானவை. பெரியவருக்காக உருவாக்கப்பட்ட ஹார்னஸை நிர்வகிக்குமாறு சிறிய மாடலைக் கேட்பதை விட, இரண்டையும் ஒன்றை ஒன்று சுற்றி வடிவமைத்துள்ளோம்: மாடலின் திறன் சுயவிவரத்திற்கு ஏற்ப வடிவமைக்கப்பட்ட ஹார்னஸ் மற்றும் அந்த ஹார்னஸை திறம்பட பயன்படுத்த பிந்தைய பயிற்சி அளிக்கப்பட்ட மாடல்.
அறிமுகம்
சமீபத்திய மாதங்களில் ஏஜென்டிக் திறன்கள் பரந்த அளவிலான அறிவுசார் வேலைப் பணிகளில் விரைவாக முன்னேறியுள்ளன. இந்த முன்னேற்றங்கள் உற்பத்தித்திறன் மற்றும் செயல்திறனில் பெரிய லாபத்தைக் கொண்டு வந்தாலும், அவை இரண்டு சவால்களையும் ஏற்படுத்துகின்றன.
டோக்கன் நுகர்வு வேகமாக அதிகரித்து வருகிறது, அதனுடன் ஒட்டுமொத்த செலவும் அதிகரிக்கிறது. ரிமோட் கிளஸ்டர்களில் இயங்கும் க்ளோஸ்டு-சோர்ஸ் மாடல்களின் ஏபிஐக்கள் மூலம் நுண்ணறிவு அணுகப்படும்போது, ஒவ்வொரு கோரிக்கையுடனும் தனிப்பட்ட தகவல்களும் அறிவுசார் சொத்துக்களும் பயனரின் சாதனத்தை விட்டு வெளியேறுகின்றன. தனிப்பட்ட பணிப்பாய்வுகள் மற்றும் முழு நிறுவனங்களிலும் ஏஜெண்டுகள் அளவிடப்படுவதால், டோக்கன் செலவினமும் தரவு நகர்வும் நிர்வகிப்பதற்கு கடினமாகி வருகின்றன.
அதே நேரத்தில், ஓபன்-சோர்ஸ் மாடல்கள் இன்னும் வேகமான விகிதத்தில் மேம்பட்டுள்ளன. NVIDIA Nemotron 3.5 Lightning (30B மொத்த அளவுருக்கள்), Qwen 3.6 (35B), மற்றும் Qwen 3.8 (27B) போன்ற மிகச் சிறிய மற்றும் திறமையான மாடல்களில் முன்னேற்றம் மிகவும் தெளிவாகத் தெரிகிறது. இந்தச் சிறிய மாடல்கள் அவற்றின் எடையை விட அதிகமாகச் செயல்படுகின்றன மற்றும் இப்போது சிக்கலான ஏஜென்டிக் பணிப்பாய்வுகளுக்கு திறன் கொண்டவை. உள்ளூர்-அனுமான வன்பொருள் இணையாக முன்னேறி வருகிறது: NVIDIA DGX Spark போன்ற அமைப்புகள் இப்போது இந்த மாடல்களை உள்ளூரில் இயக்க முடியும். ஒட்டுமொத்தமாக, இந்த போக்குகள் வலைத் தேடல், இணைப்பான்கள் அல்லது கிளவுட்-மாடல் அதிகரிப்பு போன்ற வெளிப்புறத் திறன்களை தேவைப்படும்போது பயனர்கள் தேர்வு செய்ய அனுமதிக்கின்ற அதே வேளையில், முழுமையான ஆன்-டிவைஸ் செயல்பாட்டை நடைமுறைப்படுத்துகின்றன.
இந்த உள்ளூர்-முதல் அணுகுமுறை குறிப்பிடத்தக்க செலவு சேமிப்பை செயல்படுத்துகிறது, ஏனெனில் உள்ளூர் அனுமானம் ஒரு டோக்கனுக்கான ஏபிஐ கட்டணங்களைத் தவிர்க்கிறது. இது தனியுரிமை மற்றும் அறிவுசார் சொத்து கவலைகளை இயல்பாகவே தீர்க்கிறது: தனிப்பட்ட டோக்கன்கள் ரிமோட் கிளஸ்டர்களுக்கு அனுப்பப்பட வேண்டிய அவசியமில்லை மற்றும் உள்ளூர் சாதனத்தின் எல்லைக்குள் பாதுகாப்பாக இருக்கும்.
ஜூன் மாதத்தில், எந்த வேலை சாதனத்தில் இயங்க வேண்டும் மற்றும் எந்த வேலை கிளவுட்டில் உள்ள ஏஜெண்டுகளுக்குச் செல்ல வேண்டும் என்பதைத் தீர்மானிக்கும் முதல் ஹைப்ரிட் உள்ளூர்-சர்வர் அனுமான ஆர்கெஸ்ட்ரேட்டரை அறிமுகப்படுத்தினோம். ஹார்னஸ் மற்றும் ஒன்றுக்கொன்று இணை-உகந்ததாக்கப்பட்ட மாடல்கள் உட்பட அத்தகைய உள்ளூர்-முதல் ஏஜெண்டை எவ்வாறு உருவாக்கினோம் என்பதை இங்கே விளக்குகிறோம்.
முக்கிய வடிவமைப்பு தேர்வுகளின் மேலோட்டத்தை நாங்கள் வழங்குகிறோம், மூன்று பொது பெஞ்ச்மார்க்குகள் மற்றும் எங்கள் உள் உள்ளூர் அறிவு வேலை பெஞ்ச்மார்க் முழுவதும் பிரபலமான ஓபன்-சோர்ஸ் பொது-நோக்க ஹார்னஸ்களுக்கு (Hermes மற்றும் Pi) எதிராக Computer ஐ மதிப்பீடு செய்கிறோம். எங்கள் பெஞ்ச்மார்க்கில், NVIDIA DGX Spark இல் இயங்கும் Qwen 3.8 27B மாடலுடன், Computer மிக உயர்ந்த மதிப்பெண்ணைப் பெறுகிறது, Pi க்கு 77.6% மற்றும் Hermes க்கு 74.0% உடன் ஒப்பிடும்போது 82.6%. Qwen 3.8 27B இன் மேல் பிந்தைய பயிற்சி அளிக்கப்பட்ட எங்கள் மாடலான PPLX 27B, மதிப்பெண்ணை மேலும் 85.4% ஆக உயர்த்துகிறது.
உள்ளூர் மாடலைச் சுற்றி ஹார்னஸை வடிவமைக்கவும்
சுருக்கமான ஆன்-டிவைஸ் மாடல்கள் ஏற்கனவே மிகவும் திறமையானவை என்றாலும், அவை செயல்திறனில் பெரிய எல்லை மாடல்களை விட பின்தங்கியுள்ளன. இந்த மாடல்களை திறம்பட வழிநடத்தவும் அவற்றின் வரம்புகளை நிவர்த்தி செய்யவும் கவனமாக வடிவமைக்கப்பட்ட ஹார்னஸ் தேவைப்படுகிறது.
Pi மற்றும் Hermes போன்ற பிரபலமான ஓபன்-சோர்ஸ் ஹார்னஸ்கள் பொதுவானவை என நிரூபிக்கப்பட்டுள்ளன: அவை அளவுகள் மற்றும் வகுப்புகள் முழுவதும் பல்வேறு வகையான மாடல்களுடன் நன்றாக வேலை செய்கின்றன. ஆனால் அவை ஆன்-டிவைஸ் மாடல்களின் திறன்களுக்காக உகந்ததாக இல்லை. உள்ளூர் ஹார்னஸை குறிப்பாக இந்த அமைப்புக்காக, சில முக்கிய கொள்கைகளைச் சுற்றி வடிவமைத்துள்ளோம்.
சூழல் செயல்திறன்
எங்கள் ஹார்னஸை வடிவமைப்பதில் உள்ள முக்கிய கவனம் மாடலின் சூழலை சிறப்பாகப் பயன்படுத்துவதாகும்.
Qwen 3.8 27B போன்ற ஆன்-டிவைஸ் மாடல்கள் 260K டோக்கன்களின் சூழல் சாளரங்களை வழங்கினாலும், அவை 100K டோக்கன்களுக்கு அப்பால் சிரமப்படத் தொடங்குவதை அனுபவ ரீதியாகக் கண்டறிந்தோம். எனவே மைய ஹார்னஸை சுருக்கமாக வைத்திருக்கிறோம்: குறைந்தபட்ச கணினி ப்ராம்ப்ட் மற்றும் சிறிய அளவிலான மைய கருவிகள்.
மற்ற அனைத்து திறன்களும் டிரேஜெக்டரி முழுவதும் ஏற்றப்படும் மற்றும் இறக்கப்படும் தேவைக்கேற்ப திறன்களாக மாடுலரைஸ் செய்யப்படுகின்றன. ஆராய்ச்சி, தரவு அறிவியல், தரவு காட்சிப்படுத்தல், ஆவண உருவாக்கம், மென்பொருள் பொறியியல் மற்றும் பல பொதுவான அறிவு-வேலைப் பணிகளுக்காக இந்தத் திறன்களை வடிவமைத்துள்ளோம்.
ஹார்னஸ் சூழல் சுருக்கத்தையும் ஆதரிக்கிறது, டிரேஜெக்டரி நீளமாக வளரும்போது பழைய சூழலைச் சுருக்கி மாடல் அதன் பயனுள்ள சாளரத்திற்குள் இருக்குமாறு செய்கிறது.
கட்டளை வரி கருவிகளாக இணைப்பான்கள்
தினசரி அறிவு வேலைக்கு பெரும்பாலும் Gmail, GitHub, Outlook மற்றும் Google Calendar போன்ற இணைப்பான்கள் தேவைப்படுகின்றன. இவை வழக்கமாக MCP சேவையகங்களாக ஹார்னஸுக்கு வெளிப்படுத்தப்படுகின்றன, அவற்றின் பெரிய கருவி வரையறைகள் சூழலின் கணிசமான பங்கைப் பயன்படுத்துகின்றன. அதற்கு பதிலாக, மிகவும் பயன்படுத்தப்பட்ட MCPகளை கச்சிதமான, பயன்படுத்த எளிதான கட்டளை வரி கருவிகளாக மாற்றினோம், வரம்பிடப்பட்ட பயனுள்ள சூழலை மிகச் சிறப்பாகப் பயன்படுத்தும் தனிப்பயன் திறன்களுடன் கூடுதலாக வழங்கினோம்.
சுய-சரிபார்ப்பு
ஏஜெண்ட் தனது சொந்த வேலையைச் சரிபார்க்கும்போதும் செயல்திறன் மேம்படுகிறது. சரிபார்ப்பு கூடுதல் படிகளைச் சேர்க்கிறது, ஆனால் இது இறுதி முடிவுகளை பெரிதும் மேம்படுத்துகிறது மற்றும் எல்லை மாடல்களுக்கான இடைவெளியைக் கணிசமாகக் குறைக்கிறது. இது மாடலால் அல்லது டிரேஜெக்டரியின் ஆரோக்கியத்தைக் கண்காணிக்கும் மற்றும் ஏதாவது தவறாகப் போகும்போது சுய-சரிபார்ப்பைக் கோரும் பல ஹூக்குகளால் தூண்டப்படலாம்.
சாண்ட்பாக்ஸ் செய்யப்பட்ட செயலாக்கம்
பயனரின் சாதனத்தில் உள்ள OS-நிலை சாண்ட்பாக்ஸில் ஹார்னஸ் கருவிகளை இயக்குகிறது. எல்லைக் கொள்கையின்படி செயல்முறைகள், கோப்பு முறைமை பாதைகள் மற்றும் பிணைய அணுகலைக் கட்டுப்படுத்துகிறது. இது பிழைபட்ட கட்டளையின் தாக்க எல்லையைக் கட்டுப்படுத்துகிறது. சாண்ட்பாக்ஸ் கிடைக்கவில்லை எனில், சாண்ட்பாக்ஸ் அல்லாத செயலாக்கமாகக் குறைவதற்குப் பதிலாக எந்தவொரு கருவி அழைப்புகளுக்கும் முன்பு ஹார்னஸ் தன்னைத் முடக்கிக் கொள்ளும்.
இது Pi மற்றும் Hermes போன்ற ஓபன்-சோர்ஸ் ஹார்னஸ்களிலிருந்து வேறுபட்டது, அவை இயல்பாகவே பயனரின் அனுமதிகளுடன் நேரடியாக கட்டளைகளை இயக்குகின்றன. Computer இல், தனிமைப்படுத்தல் எப்போதும் இயக்கத்தில் இருக்கும், எந்த உள்ளமைவும் தேவையில்லை, மேலும் அது இல்லாமல் கருவிகள் இயக்க முடியாது.
செயல்படுத்தும் சுழற்சியில் இந்தக் கொள்கைகள் எவ்வாறு ஒன்றாகப் பொருந்துகின்றன என்பதை கீழ ே உள்ள வரைபடம் காட்டுகிறது. ஆர்கெஸ்ட்ரேட்டர் என்பது LLM அல்ல, டெர்மினிஸ்டிக் ஹார்னஸ் குறியீடு ஆகும்: இது லூப்பைப் பராமரிக்கிறது, சூழலைக் கூட்டுகிறது மற்றும் கொள்கையை அமல்படுத்துகிறது. உள்ளூர் மாடல் அடுத்த செயலை முன்மொழிகிறது; ஆர்கெஸ்ட்ரேட்டர் சாண்ட்பாக்ஸில் அங்கீகரிக்கப்பட்ட கருவி அழைப்புகளைச் செயல்படுத்துகிறது மற்றும் அவற்றின் முடிவுகளை மாடலுக்குத் திருப்புகிறது. வலைத் தேடல், இணைப்பான்கள் மற்றும் ஆலோசக அழைப்புகள் இயக்கப்பட்டு அங்கீகரிக்கப்படும்போது மட்டுமே சாதன எல்லையைக் கடக்கும்.
ஒரு உள்ளூர் ஹார்னஸ் அதே மாடலில் இருந்து அதிக பலனைப் பெறுகிறது
அதே ஆன்-டிவைஸ் அடிப்படை மாடலைப் பயன்படுத்தி, வலை ஆராய்ச்சி மற்றும் மல்டிமோடல் ஆவணப் புரிதலில் எங்கள் உள்ளூர் ஹார்னஸை பொது-நோக்க மாற்று வழிகளுடன் ஒப்பிடுகிறோம். அனைத்து ஹார்னஸ்களும் NVIDIA DGX Spark இல் இயங்கும் நடுத்தர பகுத்தறிவுடன் கூடிய Qwen 3.8 27B மாடலைப் பயன்படுத்துகின்றன. இந்த ஒப்பீடு எந்தவொரு மாடல் பிந்தைய பயிற்சிக்கு முன்பாகவும், ஹார்னஸ் தன்னால் பங்களிக்கப்பட்ட திறன்களைத் தனிமைப்படுத்துகிறது.
இந்த இரண்டு திறன்களில் நாங்கள் கவனம் செலுத்துகிறோம், ஏனெனில் அறிவு வேலை பெரும்பாலும் பயனரின் சாதனத்தில் உள்ள தனிப்பட்ட ஆவணங்களை வெப்பில் உள்ள பொதுவான தகவல்களுடன் இணைத்து உறுதியான ஆர்ட்டிஃபேக்ட்டை உருவாக்குகிறது. வலைத் தேடலுக்கு இணைப்பு தேவைப்படுகிறது, ஆனால் மாடல் அனுமானம் மற்றும் தனிப்பட்ட ஆவண செயலாக்கம் உள்ளூரிலேயே இருக்கும். உள்ளூர் கோப்புகள் அதிகாரப்பூர்வ மூலமாகச் சேவை செய்கின்றன, பொது ஆதாரங்கள் சூழலைச் சேர்க்கின்றன, மேலும் பயனர்கள் முழுமையாக ஆஃப்லைன் வேலிக்காக வலைத் தேடலை முழுமையாக முடக்கலாம்.
வலை ஆராய்ச்சி
சுயாதீனமான மதிப்பீடுகளில் சிறந்த தரவரிசைகளைப் பெற்றுள்ள Perplexity இன் தேடுபொறியுடன் இணைந்து எங்கள் உள்ளூர் ஹார்னஸை உருவாக்குகிறோம். Search as Code இடைமுகம் மூலம் ஹார்னஸ் அதை அணுகுகிறது.
1,266 BrowseComp பணிகளில் ஆராய்ச்சி தரத்தை மதிப்பீடு செய்கிறோம். Computer ஆனது Perplexity இன் தேடல் உள்கட்டமைப்பை எங்கள் உள்ளூர் ஹார்னஸுடன் பயன்படுத்துகிறது, அதே நேரத்தில் Pi மற்றும் Hermes ஆகியவை அவற்றின் பரிந்துரைக்கப்பட்ட தேடல் வழங்குநரான Brave ஐ நம்பியுள்ளன. Pi க்கு 50.2% மற்றும் Hermes க்கு 43.9% உடன் ஒப்பிடும்போது Computer 66.7% துல்லியத்தை அடைகிறது.
Computer ஆனது குறைந்த சராசரி பதிவுசெய்யப்பட்ட சுவர் நேரம் மற்றும் டோக்கன் பயன்பாட்டையும் கொண்டுள்ளது: பணிக்கு 402.1 வினாடிகள் மற்றும் 852k டோக்கன்கள், Hermes க்கு 1,020.9 வினாடிகள் மற்றும் 1.01 மில்லியன் டோக்கன்களுடன், மற்றும் Pi க்கு 826.0 வினாடிகள் மற்றும் 2.82 மில்லியன் டோக்கன்களுடன் ஒப்பிடும்போது. எனவே Computer ஆனது Hermes ஐ விட 61% குறைவான சுவர் நேரத்தையும் 16% குறைவான டோக்கன்களையும், Pi ஐ விட 51% குறைவான சுவர் நேரத்தையும் 70% குறைவான டோக்கன்களையும் பயன்படுத்துகிறது.
ஆன்-டிவைஸ் மல்டிமோடல் ஆவணப் புரிதல்
பல ஆவணங்கள் தகவல்களை பார்வைக்குக் கொண்டு செல்கின்றன மற்றும் எளிய உரையாகப்PARSE செய்வது கடினம்: PDFகள், ஸ்கேன் செய்யப்பட்ட பக்கங்கள், ஸ்கிரீன்ஷாட்கள், விளக்கப்படங்கள் மற்றும் விளக்கக்காட்சிகள். இந்தப் பணிப்பாய்வுகள் OCR மற்றும் படப் புரிதலைப் சார்ந்துள்ளன, மேலும் இயல்பாகவே மல்டிமோடல் மாடலால் அதிகம் பயனடைகின்றன.
ஹார்னஸ் ஆவணப் பக்கங்களையும் படங்களையும் நேரடியாக மாடலுக்கு அனுப்புகிறது, இது அவற்றைப் புரிந்து கொண்டு காட்சி ஆதாரங்களை பிரித்தெடுக்கப்பட்ட உரையுடன் இணைக்கிறது. சாதனத்தில் இந்த கோப்புகளை செயலாக்குவது உணர்திறன் வாய்ந்த ஆவணங்களையும் அவற்றின் பிரித்தெடுக்கப்பட்ட உள்ளடக்கத்தையும் தனிப்பட்டதாக வைத்திருக்கும்.
ParseBench பெஞ்ச்மார்க்கின் 100-பணி துணைக்குழுவான ParseBench-100 இல் மல்டிமோடல் ஆவணப் புரிதலை மதிப்பீடு செய்கிறோம், விளக்கப்படங்கள், லேஅவுட், அட்டவணைகள், உரை உள்ளடக்கம் மற்றும் வடிவமைப்பிற்கு தலா 20 பணிகள் உள்ளன.
Hermes க்கு 34.6% மற்றும் Pi க்கு 13.9% உடன் ஒப்பிடும்போது Computer 65.1% சராசரி மதிப்பெண்ணை அடைகிறது. இது குறைந்த நேரத்திலும் குறைவான டோக்கன்களிலும் பணிகளை முடிக்கிறது: சராசரியாக பணிக்கு 60.6 வினாடிகள் மற்றும் 20.1k டோக்கன்கள், Hermes க்கு 108.3 வினாடிகள் மற்றும் 32.1k டோக்கன்களுடன், மற்றும் Pi க்கு 410.5 வினாடிகள் மற்றும் 829.1k டோக்கன்களுடன் ஒப்பிடும்போது. அனைத்து ஐந்து ஆவண வகைகளிலும் Computer முன்னணியில் உள்ளது, விளக்கப்படங்களில் அதன் மிகப்பெரிய நன்மை உள்ளது. மூன்று ஹார்னஸ்களுக்கும் லேஅவுட் கடினமாகவே உள்ளது.
அட்டவணை 1. ஆன்-டிவைஸ் Qwen 3.8 27B மாடலைக் கொண்ட Computer, Hermes மற்றும் Pi ஹார்னஸ்களுக்கான ஆவண வகையின்படி ParseBench-100 சராசரி மதிப்பெண். அனைத்து ஐந்து வகைகளிலும் Computer முன்னணியில் உள்ளது.
ஹார்னஸ் | விளக்கப்படம் | லேஅவுட் | அட்டவணை | உரை உள்ளடக்கம் | வடிவமைப்பு |
Computer | 76.5% | 16.2% | 72.7% | 87.9% | 72.4% |
Hermes | 29.3% | 2.9% | 44.1% | 61.5% | 35.2% |
Pi | 2.5% | 0.1% | 11.0% | 29.7% | 26.1% |
ஆலோசக அதிகரிப்புடன் எல்லை இடைவெளியைக் குறைத்தல்
கவனமாக வடிவமைக்கப்பட்ட ஹார்னஸ் இருந்தபோதிலும், கடினமான பணிகள் இன்னும் சுருக்கமான ஆன்-டிவைஸ் மாடலின் திறன்களை மீறுகின்றன. அத்தகைய பணிகளுக்கு, ஹார்னஸ் ஒரு ஆலோசக கருவியை வெளிப்படுத்துகிறது: திட்டமிடல், தெளிவின்மையைத் தீர்ப்பது, மீண்டும் மீண்டும் தோல்விகளிலிருந்து மீள்வது அல்லது இறுதி முடிவைச் சரிபார்ப்பது ஆகியவற்றில் உதவி தேவைப்படும்போது உள்ளூர் மாடல் வலுவான எல்லை மாடலை அணுகலாம்.
எப்போது அறிவுரையைக் கோருவது என்பதை உள்ளூர் மாடல் தீர்மானிக்கிறது, அதே நேரத்தில் ஹார்னஸ் ஆர்கெஸ்ட்ரேட்டர் கருவி அதிகாரத்தைத் தக்க வைத்துக் கொள்கிறது மற்றும் எந்தச் சூழல் அனுப்பப்படுகிறது என்பதைக் கட்டுப்படுத்துகிறது. அதிகரிப்பு விருப்பத்தேர்வு ஆகும். அதை இயக்க வேண்டுமா மற்றும் ஒவ்வொரு ஆலோசக அழைப்பையும் கைமுறையாக அல்லது தானாக அங்கீகரிக்க வேண்டுமா என்பதை பயனர் தீர்மானிக்கிறார்.
ஆலோசக அழைப்புக்கு முன், ஹார்னஸ் தொடர்புடைய சூழலைத் தேர்ந்தெடுக்கிறது, உணர்திறன் வாய்ந்த தகவலைக் கொடியிட PII வகைப்படுத்தியைப் பயன்படுத்துகிறது, மேலும் சாதனத்தை விட்டு என்ன வெளியேறும் என்பதை பயனருக்குக் காட்டுகிறது. ஆலோசகர் அங்கீகரிக்கப்பட்ட சூழலை மட்டுமே பெறுகிறார் மற்றும் உரை வழிகாட்டலைத் திருப்புகிறார்; சாதனத்தின் கோப்புகள், கருவிகள் அல்லது உரையாடல்களுக்கு நேரடி அணுகல் இல்லை. இது செலவு மற்றும் தனியுரிமை இரண்டையும் மேம்படுத்துகிறது, மேலும் எதிர்கால வேலையில் இந்த திசையை மேலும் ஆராய திட்டமிட்டுள்ளோம்.
கடினமான மென்பொருள் பொறியியல் பணிகளில் இந்த அணுகுமுறையைச் சோதிக்கிறோம், அவை வலுவான பகுத்தறிவு கோருகின்றன மற்றும் உள்ளூர் மாடல் அடிக்கடி குறையும் இடமாகும். இதற்காக குறியீட்டு ஏஜெண்டுகளுக்கான பிரபலமான 89-பணி பெஞ்ச்மார்க்கான Terminal Bench 2.1 ஐப் பயன்படுத்துகிறோம்.
நாங்கள் இரண்டு கேள்விகளுக்கு பதிலளிக்க விரும்புகிறோம்: எல்லை மாடலுக்கான இடைவெளியை ஆலோசக அதிகரிப்பு எவ்வளவு தூரம் மூட முடியும், மற்றும் என்ன விலையில். முழுமையான உள்ளூர் மாடல்களை இயக்குவதற்கு கிட்டத்தட்ட எந்தச் செலவும் இல்லை, ஏனெனில் அனுமானம் பயனரின் வன்பொருளில் நிகழ்கிறது. எவ்வாறாயினும், மாடல் ஆலோசகரை அழைக்கத் தொடங்கியவுடன், அது ஏபிஐ செலவுகளை ஏற்கத் தொடங்குகிறது.
எல்லை செயல்திறனுக்கான அடிப்படை வரியாக, உள்ளூர் ஹார்னஸில் இயங்கும் Claude Opus 5 ஐப் பயன்படுத்துகிறோம்; உள்ளூர் மாடல் Qwen 3.8 27B ஆகும். இறுதியாக, இரண்டையும் இணைக்கிறோம்: Qwen 3.8 27B பணியைச் செயல்படுத்துகிறது மற்றும் உதவி தேவைப்படும்போது Claude Opus 5 ஆலோசகரிடம் அதிகரிக்கிறது. Pi அல்லது Hermes உடன் ஆலோசக அதிகரிப்பை நாங்கள் மதிப்பீடு செய்யவில்லை, ஏனெனில் இரண்டும் சமமான ஆலோசக கருவியை வழங்கவில்லை; ஒன்றைச் சேர்ப்பது அதன் கருவி மேற்பரப்பு மற்றும் ஆர்கெஸ்ட்ரேஷன் லாஜிக்கை மாற்றியமைக்க வேண்டும், எனவே முடிவு இனி ஆஃப்-தி-ஷெல்ஃப் ஹார்னஸைக் குறிக்காது.
ஆலோசக அதிகரிப்பு Computer இன் மதிப்பெண்ணை 59.6% இலிருந்து 73.0% ஆக உயர்த்துகிறது, இது ரோல்அவுட்டுக்கு $0.415 மதிப்பிடப்பட்ட ஏபிஐ செலவில் 13.5 சதவீத புள்ளிகள் லாபமாகும். Claude Opus 5 ஐ மட்டும் இயக்குவது ரோல்அவுட்டுக்கு $0.65 இல் 82.4% ஐ அடைகிறது. எனவே அதிகரிப்பு எல்லைக்கான இடைவெளியில் தோராயமாக ஐந்தில் மூன்று பங்கை எல்லையின் செலவில் மூன்றில் இரண்டு பங்கில் மீட்டெடுக்கிறது, மேலும் அந்த வர்த்தகம் செய்வதை மதிப்புமிக்கதா என்பதை பயனர் தீர்மானிக்கிறார்.
ஹார்னஸ் மற்றும் அறிவு வேலைக்கான பிந்தைய பயிற்சி
இதுவரை, ஹார்னஸ் பங்களிப்பதைத் தனிமைப்படுத்த உள்ளூர் மாடலை மாற்றாமல் வைத்திருக்கிறோம். ஹார்னஸ் வடிவமைப்பு நடைமுறையில் இருப்பதால், மீதமுள்ள மிகப்பெரிய லாபங்கள் மாடலையே மாற்றுவதிலிருந்து வருகின்றன. Perplexity Computer பயன்பாட்டுத் தரவு, மக்கள் அறிவு வேலைக்காக உண்மையில் என்ன செய்கிறார்கள் என்பதைக் காட்டுகிறது, அதை நாங்கள் பயிற்சித் தரவை ஒருங்கிணைக்கப் பயன்படுத்துகிறோம். பயனர்கள் செய்யும் பணிகளின் உண்மையான விநியோகத்தால் வழிநடத்தப்பட்டு, Computer ஹார்னஸுக்குள்ளேயே உள்ளூர் மாடலுக்குப் பிந்தைய பயிற்சி அளிக்கிறோம்.
குறிப்பாக, வெவ்வேறு மாடல் திறன்கள், கருவிகள் மற்றும் இணைப்பான்களைப் பயன்படுத்தும் பல்வேறு வகையான பயன்பாட்டு வழக்குகளை அடையாளம்ண்கிறோம். இந்த பயன்பாட்டு வழக்குகளிலிருந்து நாங்கள் யதார்த்தமான வலுவூட்டல் கற்றல் சூழல்களை ஒருங்கிணைத்து சவாலான ஆனால் சரிபார்க்கக்கூடிய பணிகளை வரையறுக்கிறோம்: ஒவ்வொரு பணியும் ஒரு அறிவுறுத்தல், ஒரு சூழல் மற்றும் இறுதி முடிவை மதிப்பிடும் ஒரு சரிபார்ப்பைக் கொண்டுள்ளது, இதில் சூழல் என்பது ஹார்னஸ் இயங்கும் ஒரு Docker கொள்கலன் ஆகும். முக்கியமாக, பணிகள் செயற்கையானவை என்பதால், அவற்றில் உண்மையான ஆவணங்கள் அல்லது பயனர் தகவல்கள் எதுவும் இல்லை.
இரு கட்ட பயிற்சிக்கு இந்த சூழல்களைப் பயன்படுத்துகிறோம்: நிராகரிப்பு ஃபைன்-டியூனிங் அதைத் தொடர்ந்து வலுவூட்டல் கற்றல். முதல் கட்டத்தில், ஒவ்வொரு பணிக்கும் எதிராக மாடலை பல முறை ரோல்அவுட் செய்கிறோம், சரிபார்ப்பு மதிப்பெண்ணின் அடிப்படையில் சிறந்த டிரேஜெக்டரிகளைத் தேர்ந்தெடுத்து, மேற்பார்வையிடப்பட்ட கற்றல் மூலம் அவற்றைப் பயிற்றுவிக்கிறோம். இந்த கட்டம் குறிப்பிட்ட ஹார்னஸ் மற்றும் பணி விநியோகத்திற்காக மாடலை துவக்குகிறது. இரண்டாவது கட்டத்தில், வலுவூட்டல் கற்றல் மாடலை மேலும் ஃபைன்-டியூன் செய்து, அதை மிகவும் வலுவானதாக்குகிறது.
பயிற்சியிலிருந்து பணிகளின் துணைக்குழு வெளியிடப்பட்டு இறுதி மதிப்பீட்டிற்குப் பயன்படுத்தப்படுகிறது; இந்த வெளியிடப்பட்ட தொகுப்பை உள்ளூர் அறிவு வேலை பெஞ்ச்மார்க் என்று அழைக்கிறோம்: ஆழ்ந்த ஆராய்ச்சி முதல் ஆவண உருவாக்கம் வரை தினசரி அறிவுப் பணியின் ஏழு வகைகளை உள்ளடக்கிய 53 பணிகள். மாடல் பயிற்சியை விரிவாக விவரிக்கும் தொழில்நுட்ப அறிக்கையை விரைவில் வெளியிடுவோம், மேலும் இந்த மதிப்பீட்டு பெஞ்ச்மார்க்கை ஓபன்-சோர்ஸ் செய்ய திட்டமிட்டுள்ளோம்.
இந்த அணுகுமுறையுடன் Qwen 3.8 27B க்கு பிந்தைய பயிற்சி அளித்தோம், PPLX 27B என்று நாங்கள் அழைக்கும் மாடலை உருவாக்கினோம், மேலும் அதை உள்ளூர் அறிவு வேலை பெஞ்ச்புக்கில் மதிப்பீடு செய்தோம். அடிப்படை Qwen 3.8 27B மாடலுடன், Computer மிக உயர்ந்த மதிப்பெண்ணைப் பெறுகிறது (82.6%, Pi க்கு 77.6% மற்றும் Hermes க்கு 74.0% உடன் ஒப்பிடும்போது) மற்றும் குறைவான டோக்கன்களைப் பயன்படுத்துகிறது (520k, Pi க்கு 681k மற்றும் Hermes க்கு 634k உடன் ஒப்பிடும்போது). பணிக்கு 218 வினாடிகள் மற்றும் Hermes க்கு 292 வினாடிகளுடன் ஒப்பிடும்போது, Pi பணிக்கு 176 வினாடிகளில் மிக வேகமாக பணிகளை முடிக்கிறது. PPLX 27B ஆனது Computer இன் மதிப்பெண்ணை 85.4% ஆக உயர்த்துகிறது, அதிக டோக்கன்களின் செலவில் (520k உடன் ஒப்பிடும்போது 678k). இதன் மதிப்பிடப்பட்ட சுவர் நேரம் 250 வினாடிகள் ஆகும்.
அட்டவணை 2. உள்ளூர் அறிவு வேலை பெஞ்ச்மார்க் பணி வகைகள்.
வகை | ப பணிகள் | பங்கு | விளக்கம் |
ஆழமான ஆய்வு | 20 | 37.7% | மல்டி-ஹாப் வலை ஆராய்ச்சி, பொது தரவுத்தளங்கள், புள்ளிவிவரங்கள் மற்றும் மூல சரிபார்ப்பு தேவைப்படும் சிக்கலான கேள்விகளுக்கு பதிலளிக்கவும். |
தரவு, நிதியியல் மற்றும் கொள்முதல் | 9 | 17.0% | தரவுத்தளங்களை சுத்தம் செய்தல், பதிவுகளை ஒப்புநோக்குதல், செலவினங்களை தணிக்கை செய்தல், முதலீடுகளை பகுப்பாய்வு செய்தல், சப்ளையர்களை மதிப்பீடு செய்தல் மற்றும் நிதி அளவீடுகளை கணக்கிடுதல். |
ஆவணங்கள், விளக்கக்காட்சிகள் மற்றும் வடிவமைப்பு | 7 | 13.2% | பளபளப்பான PDFகள், இன்வாய்ஸ்கள், ஆன்போர்டிங் பொருட்கள், நிகழ்வு இணை பொருட்கள் மற்றும் வணிக விளக்கக்காட்சிகளை உருவாக்குதல். |
பொறியியல், IT மற்றும் சம்பவங்கள் | 5 | 9.4% | சம்பவங்களை ஆராய்தல், பதிவுகளை பகுப்பாய்வு செய்தல், மீட்பு திட்டங்களை எழுதுதல், வெளியீட்டு தயார்நிலையை மதிப்பிடுதல் மற்றும் தொழில்நுட்ப ஆவணங்களை ஒருங்கிணைத்தல். |
ஒப்பந்தங்கள், சான்றுகள் மற்றும் இணக்கம் | 5 | 9.4% | ஒப்பந்தங்களை மதிப்பாய்வு செய்தல், சான்றுகளை ஸ்கிரீன் செய்தல், ரீகால்களை விசாரித்தல், உணர்திறன் வாய்ந்த ஆவணங்களை மறைத்தல் மற்றும் இணக்க தேவைகளை சரிபார்த்தல். |
டாஷ்போர்டுகள், மென்பொருள் மற்றும் காட்சிப்படுத்தல் | 4 | 7.5% | ஊடாடும் டாஷ்போர்டுகள், கல்வி மைக்ரோசைட்டுகள், விளக்கப்படங்கள் மற்றும் திட்ட காட்சிப்படுத்தல்களை உருவாக்குதல். |
நபர்கள், திட்டங்கள் மற்றும் கூட்டங்கள் | 3 | 5.7% | பயோடேட்டிகளை ஸ்கிரீன் செய்தல், கூட்ட முடிவுகளை ஒருங்கிணைத்தல் மற்றும் திட்ட நடவடிக்கை கண்காணிப்பைப் பராமரித்தல். |
மொத்தம் | 53 | 100% |
முடிவுரை
திறமையான உள்ளூர் வன்பொருள் மற்றும் அவற்றுக்காக உருவாக்கப்பட்ட ஹார்னஸ் கொண்ட வலுவான ஓபன்-சோர்ஸ் மாடல், உணர்திறன் வாய்ந்த தரவு சாதனத்தை விட்டு வெளியேற வேண்டிய அவசியமின்றி கிட்டத்தட்ட பூஜ்ஜிய அனுமானச் செலவில் உண்மையான அறிவு வேலையைக் கையாள முடியும் என்பதை எங்கள் ஆராய்ச்சி காட்டுகிறது.
பல்வேறு பெஞ்ச்மார்க்குகளில், NVIDIA DGX Spark இல் Qwen 3.8 27B ஐ இயக்கும்போது Computer ஆனது துல்லியத்தில் Hermes மற்றும் Pi ஐப் பொருந்தியது அல்லது தாண்டியது. தாமதம் மற்றும் டோக்கன் பயன்பாட்டைப் புகாரளிக்கும் மூன்று பெஞ்ச்மார்க்குகளில், BrowseComp மற்றும் ParseBench-100 இல் Computer வேகமானதாக இருந்தது மற்றும் மூன்றிலும் மிகக் குறைந்த டோக்கன்களைப் பயன்படுத்தியது; உள்ளூர் அறிவு வேலை பெஞ்ச்புக்கில் Pi வேகமானதாக இருந்தது.
நாங்கள் செய்த தேர்வுகளிலிருந்து லாபங்கள் வந்தன. தேவைக்கேற்ப ஏறும் திறன்களுடன் சுருக்கமான உள்ளூர் ஹார்னஸை உருவாக்கினோம். MCP சேவையகங்களுக்குப் பதிலாக இணைப்பான்களை கச்சிதமான CLI கருவிகளாக மாற்றினோம். பாதுகாப்பிற்காக செயலாக்கம் சாண்ட்பாக்ஸ் செய்யப்பட்டது.
சுருக்கமான மாடல்களுக்கு முன்னேற்றத்திற்கு எங்கு இடமுண்டு என்பதையும் முடிவுகள் காட்டுகின்றன. உதாரணமாக, Terminal Bench 2.1 இன் சவாலான குறியீட்டு பணிகளில், உள்ளூர் மாடல் அனைத்து மூன்று ஹார்னஸ்களிலும் எல்லை மாடலைப் பின்தொடர்கிறது. ஆலோசக அதிகரிப்பு இடைவெளியைக் குறைக்கிறது ஆனால் முழுமையாக மூடவில்லை; செயல்திறனை மேலும் தள்ள மாடல் திறன்கள் மற்றும் உள்ளூர் வன்பொருளில் தொடர்ச்சியான முன்னேற்றங்கள் இன்னும் தேவைப்படுகின்றன.
உள்ளூர் கட்டுப்பாடுகளுக்காக ஹார்னஸ் மற்றும் மாடலை உருவாக்குவதன் நோக்கம், எந்தத் தகவல்கள் தங்கள் இயந்திரங்களை விட்டு வெளியேறுகின்றன என்பது குறித்த வெளிப்படையான கட்டுப்பாட்டை பயனர்களுக்கு வழங்குவதாகும். பயனருக்கு செலவு நன்மைகளும் உள்ளன. பெருகிய முறையில் திறமையான ஏஜெண்டுகள் ரிமோட் உள்கட்டமைப்பிலிருந்து தனிப்பட்ட மற்றும் உள்ளூர் சாதனங்களுக்கு மாறும் பரந்த மாற்றத்தின் ஒரு பகுதியாக இவற்றைப் பார்க்கிறோம். சில்லுகள், மாடல்கள் மற்றும் சாதனங்களில் ஏற்படும் முன்னேற்றங்கள் Portable Computer உள்ளூரில் கையாளும் அறிவு வேலையின் வரம்பையும் தரத்தையும் தொடர்ந்து விரிவுபடுத்தும் என்று எதிர்பார்க்கிறோம்.