സ്വകാര്യവും ചെലവ് കുറഞ്ഞതുമായ അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികൾക്കായി ഒരു ലോക്കൽ-ഫസ്റ്റ് ഏജന്റ്

Perplexity Portable Computer ഒരു ലോക്കൽ-ഫസ്റ്റ് ഏജന്റാണ്.

മുഴുവൻ സ്റ്റാക്കും സ്വതവേ ലോക്കലായി പ്രവർത്തിക്കുന്നു. മോഡൽ, ഹാർനെസ്, സംഭാഷണം, ട്രാജക്ടറി എന്നിവയെല്ലാം ഉപയോക്താവിന്റെ മെഷീനിൽ തന്നെ സ്ഥിതിചെയ്യുന്നു. വെബ് തിരയൽ, കണക്ടർമാർ, അല്ലെങ്കിൽ ക്ലൗഡിലെ ശക്തമായ ഒരു അഡ്വൈസർ മോഡലിലേക്കുള്ള എസ്‌കലേഷൻ പോലുള്ള ബാഹ്യലോകം ആവശ്യമായ ജോലികൾ, ആവശ്യപ്പെടുമ്പോൾ മാത്രം, ഉപയോക്താവിന്റെ അനുമതിയോടെ മാത്രം നിർവഹിക്കപ്പെടുന്നു. അതിനാൽ സെൻസിറ്റീവ് ഡാറ്റ അനുമതിയില്ലാതെ ഒരിക്കലും ഉപകരണത്തിൽ നിന്ന് പുറത്തുപോകുന്നില്ല, കൂടാതെ ലോക്കൽ മോഡലുകൾക്ക് ഇൻഫറൻസ് ഫീസ് ഇല്ല: സിസ്റ്റം രൂപകൽപ്പനയാൽ തന്നെ സ്വകാര്യവും ചെലവ് കുറഞ്ഞതുമാണ്.

ഫലപ്രദമായ ഒരു ലോക്കൽ-ഫസ്റ്റ് ഏജന്റിന് മോഡലും ഹാർനെസും ഒന്നിച്ച് രൂപകൽപ്പന ചെയ്യേണ്ടതുണ്ട്. പൊതുവായ ആവശ്യങ്ങൾക്കായുള്ള ഹാർനെസുകൾ, വലിയ കോൺടെക്സ്റ്റുകൾ ഉൾക്കൊള്ളാനും, വിശാലമായ ടൂൾ ഉപരിതലത്തിൽ നാവിഗേറ്റ് ചെയ്യാനും, ദീർഘകാല ചക്രവാളങ്ങളിൽ ആസൂത്രണം ചെയ്യാനും കഴിയുന്ന ഒരു ഫ്രോണ്ടിയർ മോഡൽ ഉണ്ടെന്ന് അനുമാനിക്കുന്നു. അത്തരം ആവശ്യങ്ങൾക്ക് ലോക്കൽ മോഡലുകൾ കുറഞ്ഞ വിശ്വാസ്യതയുള്ളവയാണ്. വലിയൊരു മോഡലിനായി നിർമ്മിച്ച ഹാർനെസ് കൈകാര്യം ചെയ്യാൻ ചെറിയൊരു മോഡലിനോട് ആവശ്യപ്പെടുന്നതിന് പകരം, ഞങ്ങൾ രണ്ടിനെയും പരസ്പരം അനുയോജ്യമായ രീതിയിൽ രൂപകൽപ്പന ചെയ്തു: മോഡലിന്റെ ശേഷി പ്രൊഫൈലിന് അനുയോജ്യമായ ഒരു ഹാർനെസും, ആ ഹാർനെസ് ഫലപ്രദമായി ഉപയോഗിക്കാൻ പോസ്റ്റ്-ട്രെയിൻ ചെയ്ത ഒരു മോഡലും.

ആമുഖം

സമീപ മാസങ്ങളിൽ അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികളുടെ വിശാലമായ ശ്രേണിയിൽ ഏജന്റുകളുടെ ശേഷി വേഗത്തിൽ പുരോഗമിച്ചിട്ടുണ്ട്. ഈ പുരോഗതികൾ ഉൽപ്പാദനക്ഷമതയിലും കാര്യക്ഷമതയിലും വലിയ നേട്ടങ്ങൾ കൊണ്ടുവരുമ്പോൾ, അവ രണ്ട് വെല്ലുവിളികളും ഉയർത്തുന്നു.

ടോക്കൺ ഉപഭോഗം വേഗത്തിൽ വർദ്ധിച്ചുകൊണ്ടിരിക്കുന്നു, അതോടൊപ്പം മൊത്തത്തിലുള്ള ചെലവുകളും. വിദൂര ക്ലസ്റ്ററുകളിൽ പ്രവർത്തിക്കുന്ന ക്ലോസ്ഡ്-സോഴ്സ് മോഡലുകളുടെ API-കൾ വഴി ഇന്റലിജൻസ് ആക്സസ് ചെയ്യുമ്പോൾ, ഓരോ അഭ്യർത്ഥനയിലും സ്വകാര്യ വിവരങ്ങളും ബൗദ്ധിക സ്വത്തവകാശവും ഉപയോക്താവിന്റെ ഉപകരണത്തിൽ നിന്ന് പുറത്തുപോകുന്നു. വ്യക്തിഗത വർക്ക്ഫ്ലോകളിലുടനീളം ഏജന്റുകൾ സ്കെയിൽ ചെയ്യുമ്പോൾ, ടോക്കൺ ചെലവും ഡാറ്റാ ചലനവും നിയന്ത്രിക്കാൻ കൂടുതൽ ബുദ്ധിമുട്ടായി മാറുന്നു.

അതേസമയം, ഓപ്പൺ സോഴ്സ് മോഡലുകൾ ഇതിലും വേഗത്തിൽ മെച്ചപ്പെട്ടിട്ടുണ്ട്. NVIDIA Nemotron 3.5 Lightning (ആകെ 30B പാരാമീറ്ററുകൾ), Qwen 3.6 (35B), Qwen 3.8 (27B) തുടങ്ങിയ വളരെ ചെറുതും കാര്യക്ഷമവുമായ മോഡലുകളിലാണ് പുരോഗതി ഏറ്റവും പ്രകടമായി കാണുന്നത്. ഈ ചെറിയ മോഡലുകൾ അവയുടെ വലിപ്പത്തേക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവെയ്ക്കുന്നു, കൂടാതെ സങ്കീർണ്ണമായ ഏജന്റിക് വർക്ക്ഫ്ലോകൾക്ക് ഇപ്പോൾ പ്രാപ്തവുമാണ്. ലോക്കൽ-ഇൻഫറൻസ് ഹാർഡ്‌വെയറും സമാന്തരമായി പുരോഗമിക്കുന്നു: NVIDIA DGX Spark പോലുള്ള സിസ്റ്റങ്ങൾക്ക് ഇപ്പോൾ ഈ മോഡലുകൾ ലോക്കലായി പ്രവർത്തിപ്പിക്കാൻ കഴിയും. ഈ ട്രെൻഡുകൾ ഒരുമിച്ച്, വെബ് തിരയൽ, കണക്ടർമാർ അല്ലെങ്കിൽ ക്ലൗഡ്-മോഡൽ എസ്‌കലേഷൻ പോലുള്ള ബാഹ്യ ശേഷികൾ ആവശ്യമുള്ളപ്പോൾ തിരഞ്ഞെടുക്കാൻ ഉപയോക്താക്കളെ അനുവദിച്ചുകൊണ്ട് പൂർണ്ണമായി ഡിവൈസിലുള്ള പ്രവർത്തനം പ്രായോഗികമാക്കുന്നു.

ഈ ലോക്കൽ-ഫസ്റ്റ് സമീപനം ഗണ്യമായ ചെലവ് ലാഭിക്കാൻ സഹായിക്കുന്നു, കാരണം ലോക്കൽ ഇൻഫറൻസ് പെർ-ടോക്കൺ API ഫീസുകൾ ഒഴിവാക്കുന്നു. ഇത് സ്വകാര്യതയും ബൗദ്ധിക സ്വത്തവകാശവുമായി ബന്ധപ്പെട്ട ആശങ്കകളും സ്വാഭാവികമായി പരിഹരിക്കുന്നു: സ്വകാര്യ ടോക്കണുകൾ ഒരിക്കലും വിദൂര ക്ലസ്റ്ററുകളിലേക്ക് കൈമാറേണ്ടതില്ല, അവ ലോക്കൽ ഉപകരണത്തിന്റെ അതിർത്തിക്കുള്ളിൽ സുരക്ഷിതമായി നിലകൊള്ളുന്നു.

ജൂണിൽ, ഓൺ-ഡിവൈസിൽ ഏത് ജോലിയാണ് പ്രവർത്തിക്കേണ്ടതെന്നും ക്ലൗഡിലെ ഏജന്റുകളിലേക്ക് ഏത് ജോലിയാണ് പോകേണ്ടതെന്നും തീരുമാനിക്കുന്ന ആദ്യത്തെ ഹൈബ്രിഡ് ലോക്കൽ-സെർവർ ഇൻഫറൻസ് ഓർക്കസ്ട്രേറ്റർ ഞങ്ങൾ അവതരിപ്പിച്ചു. അത്തരം ഒരു ലോക്കൽ-ഫസ്റ്റ് ഏജന്റ് ഞങ്ങൾ എങ്ങനെ നിർമ്മിച്ചുവെന്ന് ഞങ്ങൾ ഇവിടെ വിശദീകരിക്കുന്നു, അതിൽ ഹാർനെസും പരസ്പരം സഹ-ഒപ്റ്റിമൈസ് ചെയ്ത മോഡലുകളും ഉൾപ്പെടുന്നു.

പ്രധാന ഡിസൈൻ ചോയ്സുകളുടെ ഒരു അവലോകനം ഞങ്ങൾ നൽകുന്നു, മൂന്ന് പബ്ലിക് ബെഞ്ച്മാർക്കുകളിലും ഞങ്ങളുടെ ഇന്റേണൽ ലോക്കൽ നോളജ് വർക്ക് ബെഞ്ചിലും ജനപ്രിയ ഓപ്പൺ-സോഴ്സ് ജനറൽ പർപ്പസ് ഹാർനെസുകൾക്കെതിരെ (Hermes, Pi) Computer ഞങ്ങൾ വിലയിരുത്തുന്നു. ഞങ്ങളുടെ ബെഞ്ച്മാർക്കിൽ, NVIDIA DGX Spark-ൽ പ്രവർത്തിക്കുന്ന Qwen 3.8 27B മോഡൽ ഉപയോഗിച്ച്, Computer ഏറ്റവും ഉയർന്ന സ്കോർ നേടുന്നു - Pi-യുടെ 77.6%, Hermes-ന്റെ 74.0% എന്നിവയുമായി താരതമ്യം ചെയ്യുമ്പോൾ 82.6%. Qwen 3.8 27B-ക്ക് മുകളിൽ പോസ്റ്റ്-ട്രെയിൻ ചെയ്ത ഞങ്ങളുടെ മോഡലായ PPLX 27B, സ്കോർ വീണ്ടും 85.4% ആയി ഉയർത്തുന്നു.

ലോക്കൽ മോഡലിന് ചുറ്റും ഹാർനെസ് രൂപകൽപ്പന ചെയ്യുക

കോംപാക്റ്റ് ഓൺ-ഡിവൈസ് മോഡലുകൾ ഇതിനകം തന്നെ വളരെ കഴിവുള്ളതാണെങ്കിലും, പ്രകടനത്തിൽ അവ ഇപ്പോഴും വലിയ ഫ്രോണ്ടിയർ മോഡലുകളേക്കാൾ പിന്നിലാണ്. ഈ മോഡലുകളെ ഫലപ്രദമായി നയിക്കുന്നതിനും അവയുടെ പരിമിതികൾ പരിഹരിക്കുന്നതിനും ശ്രദ്ധാപൂർവ്വം രൂപകൽപ്പന ചെയ്ത ഒരു ഹാർനെസ് ആവശ്യമാണ്.

Pi, Hermes തുടങ്ങിയ ജനപ്രിയ ഓപ്പൺ-സോഴ്സ് ഹാർനെസുകൾ പൊതുവായതാണെന്ന് തെളിയിക്കപ്പെട്ടിട്ടുണ്ട്: വിവിധ വലിപ്പത്തിലും ക്ലാസിലുമുള്ള വിശാലമായ മോഡലുകളിൽ അവ നന്നായി പ്രവർത്തിക്കുന്നു. എന്നാൽ ഓൺ-ഡിവൈസ് മോഡലുകളുടെ ശേഷിക്ക് അനുസൃതമായി അവ ഒപ്റ്റിമൈസ് ചെയ്തിട്ടില്ല. കുറച്ച് പ്രധാന തത്വങ്ങളെ അടിസ്ഥാനമാക്കി, ഞങ്ങൾ ഈ ക്രമീകരണത്തിനായി പ്രത്യേകം ലോക്കൽ ഹാർനെസ് രൂപകൽപ്പന ചെയ്തു.

കോൺടെക്സ്റ്റ് കാര്യക്ഷമത

മോഡലിന്റെ കോൺടെക്സ്റ്റ് പരമാവധി പ്രയോജനപ്പെടുത്തുക എന്നതായിരുന്നു ഞങ്ങളുടെ ഹാർനെസ് രൂപകൽപ്പനയിലെ പ്രധാന ശ്രദ്ധ.

Qwen 3.8 27B പോലെയുള്ള ഓൺ-ഡിവൈസ് മോഡലുകൾ 260K ടോക്കണുകളുടെ കോൺടെക്സ്റ്റ് വിൻഡോകൾ വാഗ്ദാനം ചെയ്യുന്നുണ്ടെങ്കിലും, 100K ടോക്കണുകൾക്ക് അപ്പുറത്തേക്ക് പോകുമ്പോൾ അവ ബുദ്ധിമുട്ടാൻ തുടങ്ങുന്നതായി ഞങ്ങൾ അനുഭവപരമായി കണ്ടെത്തി. അതിനാൽ ഞങ്ങൾ കോർ ഹാർനെസ് ലളിതമായി നിലനിർത്തുന്നു: കുറഞ്ഞ സിസ്റ്റം പ്രോംപ്റ്റും ചെറിയൊരു കൂട്ടം കോർ ടൂളുകളും.

മറ്റെല്ലാ ശേഷികളും ട്രാജക്ടറിയിലുടനീളം ലോഡ് ചെയ്യുകയും അൺലോഡ് ചെയ്യുകയും ചെയ്യുന്ന ആവശ്യാനുസൃതമായ കഴിവുകളായി (skills) മോഡുലാർറൈസ് ചെയ്തിരിക്കുന്നു. ഗവേഷണം, ഡാറ്റ സയൻസ്, ഡാറ്റ വിഷ്വലൈസേഷൻ, ഡോക്യുമെന്റ് സൃഷ്ടിക്കൽ, സോഫ്റ്റ്‌വെയർ എഞ്ചിനീയറിംഗ് എന്നിവയും അതിലേറെയും പോലുള്ള സാധാരണ അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികൾക്കായി ഞങ്ങൾ ഈ നൈപുണ്യങ്ങൾ രൂപകൽപ്പന ചെയ്തിരിക്കുന്നു.

ഒരു ട്രാജക്ടറി നീളമേറിയതാകുമ്പോൾ പഴയ കോൺടെക്സ്റ്റ് സംഗ്രഹിച്ചുകൊണ്ട് കോൺടെക്സ്റ്റ് കോംപാക്ഷനെയും ഹാർനെസ് പിന്തുണയ്ക്കുന്നു, അതുവഴി മോഡൽ അതിന്റെ ഫലപ്രദമായ വിൻഡോയ്ക്കുള്ളിൽ നിലനിൽക്കും.

കമാൻഡ്-ലൈൻ ടൂളുകളായ കണക്ടർമാർ

ദിവസേനയുള്ള അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികൾക്ക് പലപ്പോഴും Gmail, GitHub, Outlook, Google Calendar തുടങ്ങിയ കണക്ടർമാർ ആവശ്യമാണ്. ഇവ സാധാരണയായി ഒരു ഹാർനെസിലേക്ക് MCP സെർവറുകളായി നൽകപ്പെടുന്നു, അവയുടെ വലിയ ടൂൾ നിർവ്വചനങ്ങൾ കോൺടെക്സ്റ്റിന്റെ ഗണ്യമായ പങ്ക് ഉപഭോഗം ചെയ്യുന്നു. പകരം, ഏറ്റവും കൂടുതൽ ഉപയോഗിക്കുന്ന MCP-കളെ ഞങ്ങൾ കോംപാക്റ്റ് ആയ, ഉപയോഗിക്കാൻ എളുപ്പമുള്ള കമാൻഡ്-ലൈൻ ടൂളുകളാക്കി മാറ്റി, പരിമിതമായ ഫലപ്രദമായ കോൺടെക്സ്റ്റ് വളരെ മികച്ച രീതിയിൽ ഉപയോഗിക്കുന്ന കസ്റ്റം നൈപുണ്യങ്ങൾ ഇതിനൊപ്പം നൽകിയിട്ടുണ്ട്.

സ്വയം-പരിശോധന

ഏജന്റ് സ്വന്തം ജോലി പരിശോധിക്കുമ്പോഴും പ്രകടനം മെച്ചപ്പെടുന്നു. പരിശോധന അധിക ഘടികൾ ചേർക്കുന്നു, എന്നാൽ ഇത് അന്തിമ ഫലങ്ങൾ വലിയ രീതിയിൽ മെച്ചപ്പെടുത്തുകയും ഫ്രോണ്ടിയർ മോഡലുകളിലേക്കുള്ള അന്തരം ഗണ്യമായി കുറയ്ക്കുകയും ചെയ്യുന്നു. മോഡലിന് തനിയെയോ അല്ലെങ്കിൽ ട്രാജക്ടറിയുടെ ആരോഗ്യം നിരീക്ഷിക്കുകയും എന്തെങ്കിലും കുഴപ്പം സംഭവിക്കുമ്പോൾ സ്വയം പരിശോധന അഭ്യർത്ഥിക്കുകയും ചെയ്യുന്ന ഒരു കൂട്ടം ഹുക്കുകൾ വഴിയോ ഇത് ട്രിഗർ ചെയ്യാം.

സാൻഡ്‌ബോക്സ് എക്സിക്യൂഷൻ

ഉപയോക്താവിന്റെ ഉപകരണത്തിലെ OS-തലത്തിലുള്ള സാൻഡ്‌ബോക്സിലാണ് ഹാർനെസ് ടൂളുകൾ നിർവ്വഹിക്കുന്നത്. പോളിസി അനുസരിച്ച് ഈ അതിർത്തി പ്രക്രിയകളെയും ഫയൽസിസ്റ്റം പാതകളെയും നെറ്റ്‌വർക്ക് ആക്സസിനെയും നിയന്ത്രിക്കുന്നു. ഇത് ഒരു തെറ്റായ കമാൻഡിന്റെ ആഘാത പരിധി പരിമിതപ്പെടുത്തുന്നു. സാൻഡ്‌ബോക്സ് ലഭ്യമല്ലെങ്കിൽ, അൺസാൻഡ്‌ബോക്സ്ഡ് എക്സിക്യൂഷനിലേക്ക് മാറുന്നതിന് പകരം ഏത് ടൂൾ കോളുകൾക്കും മുമ്പ് ഹാർനെസ് സ്വയം പ്രവർത്തനരഹിതമാക്കുന്നു.

ഇത് Pi, Hermes തുടങ്ങിയ ഓപ്പൺ-സോഴ്സ് ഹാർനെസുകളിൽ നിന്ന് വ്യത്യസ്തമാണ്, അവ സ്വതവേ ഉപയോക്താവിന്റെ അനുമതികളോടെ കമാൻഡുകൾ നേരിട്ട് പ്രവർത്തിപ്പിക്കുന്നു. Computer-ൽ, ഐസൊലേഷൻ എപ്പോഴും ഓൺ ആയിരിക്കും, ഇതിന് കോൺഫിഗറേഷൻ ആവശ്യമില്ല, കൂടാതെ ഇത് ഇല്ലാതെ ടൂളുകൾ പ്രവർത്തിക്കാൻ കഴിയില്ല.

ഈ തത്വങ്ങൾ എക്സിക്യൂഷൻ ലൂപ്പിൽ എങ്ങനെ യോജിക്കുന്നു എന്ന് താഴെയുള്ള ഡയഗ്രം കാണിക്കുന്നു. ഓർക്കസ്ട്രേറ്റർ ഒരു LLM അല്ല, ഡിറ്റർമിനിസ്റ്റിക് ഹാർനെസ് കോഡാണ്: ഇത് ലൂപ്പ് നിലനിർത്തുകയും, കോൺടെക്സ്റ്റ് ഒരുമിച്ചു കൂട്ടുകയും, പോളിസി നടപ്പിലാക്കുകയും ചെയ്യുന്നു. ലോക്കൽ മോഡൽ അടുത്ത പ്രവർത്തനം നിർദ്ദേശിക്കുന്നു; ഓർക്കസ്ട്രേറ്റർ സാൻഡ്‌ബോക്സിൽ അനുമതി ലഭിച്ച ടൂൾ കോളുകൾ നിർവ്വഹിക്കുകയും അവയുടെ ഫലങ്ങൾ മോഡലിലേക്ക് തിരികെ നൽകുകയും ചെയ്യുന്നു. പ്രവർത്തനക്ഷമമാക്കുകയും അനുമതി നൽകുകയും ചെയ്യുമ്പോൾ മാത്രമേ വെബ് തിരയൽ, കണക്ടർമാർ, അഡ്വൈസർ കോളുകൾ എന്നിവ ഉപകരണത്തിന്റെ അതിർത്തി കടക്കുകയുള്ളൂ.

ഒരു ലോക്കൽ ഹാർനെസ് അതേ മോഡലിൽ നിന്ന് കൂടുതൽ പ്രയോജനം നേടുന്നു

ഒരേ ഓൺ-ഡിവൈസ് അടിസ്ഥാന മോഡൽ ഉപയോഗിച്ച്, വെബ് ഗവേഷണത്തിലും മൾട്ടിമോഡൽ ഡോക്യുമെന്റ് മനസ്സിലാക്കലിലും ഞങ്ങളുടെ ലോക്കൽ ഹാർനെസിനെ ജനറൽ പർപ്പസ് ബദലുകളുമായി ഞങ്ങൾ താരതമ്യം ചെയ്യുന്നു. എല്ലാ ഹാർനെസുകളും NVIDIA DGX Spark-ൽ പ്രവർത്തിക്കുന്ന, ഇടത്തരം റീസണിംഗ് ഉള്ള Qwen 3.8 27B മോഡൽ ഉപയോഗിക്കുന്നു. മോഡൽ പോസ്റ്റ്-ട്രെയിനിംഗിന് മുമ്പ്, ഹാർനെസ് തന്നെ സംഭാവന ചെയ്യുന്ന ശേഷികളെ ഈ താരതമ്യം വേർതിരിച്ചറിയുന്നു.

ഉപയോക്താവിന്റെ ഉപകരണത്തിലെ സ്വകാര്യ രേഖകളും വെബിൽ നിന്നുള്ള പൊതു വിവരങ്ങളും സംയോജിപ്പിച്ച് അടിസ്ഥാനപരമായ ഒരു ആർട്ടിഫാക്ട് നിർമ്മിക്കാൻ അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികൾ പലപ്പോഴും സഹായിക്കുന്നതിനാൽ ഞങ്ങൾ ഈ രണ്ട് ശേഷികളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. വെബ് തിരയലിന് കണക്റ്റിവിറ്റി ആവശ്യമാണ്, എന്നാൽ മോഡൽ ഇൻഫറൻസും സ്വകാര്യ-ഡോക്യുമെന്റ് പ്രോസസ്സിംഗും ലോക്കൽ ആയി തുടരുന്നു. ലോക്കൽ ഫയലുകൾ ആധികാരിക ഉറവിടമായി വർത്തിക്കുന്നു, പബ്ലിക് ഉറവിടങ്ങൾ കോൺടെക്സ്റ്റ് ചേർക്കുന്നു, കൂടാതെ പൂർണ്ണമായും ഓഫ്ലൈൻ ജോലികൾക്കായി ഉപയോക്താക്കൾക്ക് വെബ് തിരയൽ പൂർണ്ണമായും പ്രവർത്തനരഹിതമാക്കാൻ കഴിയും.

വെബ് ഗവേഷണം

स्वतंत्र मूल्यांकनों (independent evaluations) ൽ ഉയർന്ന റാങ്കിംഗ് നേടിയ Perplexity-യുടെ സെർച്ച് എഞ്ചിനോടൊപ്പം ഞങ്ങൾ ഞങ്ങളുടെ ലോക്കൽ ഹാർനെസ് നിർമ്മിക്കുന്നു. Search as Code ഇന്റർഫേസ് വഴി ഹാർനെസ് ഇത് ആക്സസ് ചെയ്യുന്നു.

1,266 BrowseComp ടാസ്ക്കുകളിൽ ഞങ്ങൾ ഗവേഷണ ഗുണനിലവാരം വിലയിരുത്തുന്നു. Computer, Perplexity-യുടെ തിരയൽ ഇൻഫ്രാസ്ട്രക്ചറും ഞങ്ങളുടെ ലോക്കൽ ഹാർനെസും ഉപയോഗിക്കുന്നു, അതേസമയം Pi-യും Hermes-ഉം അവരുടെ ശുപാർശ ചെയ്യപ്പെട്ട സെർച്ച് പ്രൊവൈഡറായ Brave-നെ ആശ്രയിക്കുന്നു. Pi-യുടെ 50.2%, Hermes-ന്റെ 43.9% എന്നിവയുമായി താരതമ്യം ചെയ്യുമ്പോൾ Computer 66.7% കൃത്യത കൈവരിക്കുന്നു.

ഏറ്റവും കുറഞ്ഞ റെക്കോർഡ് ചെയ്ത വാൾ ടൈമും ടോക്കൺ ഉപയോഗവും Computer-നുണ്ട്: ഒരു ടാസ്കിന് 402.1 സെക്കൻഡും 852k ടോക്കണുകളും, Hermes-ന്റെ 1,020.9 സെക്കൻഡും 1.01 ദിലക്ഷം ടോക്കണുകളുമായി താരതമ്യം ചെയ്യുമ്പോൾ, Pi-യുടെ 826.0 സെക്കൻഡും 2.82 ദിലക്ഷം ടോക്കണുകളുമായി താരതമ്യം ചെയ്യുമ്പോൾ ഇത് കുറവാണ്. അതിനാൽ Hermes-നേക്കാൾ 61% കുറവ് വാൾ ടൈമും 16% കുറവ് ടോക്കണുകളും Computer ഉപയോഗിക്കുന്നു, കൂടാതെ Pi-നേക്കാൾ 51% കുറവ് വാൾ ടൈമും 70% കുറവ് ടോക്കണുകളും ഇത് ഉപയോഗിക്കുന്നു.

ഓൺ-ഡിവൈസ് മൾട്ടിമോഡൽ ഡോക്യുമെന്റ് മനസ്സിലാക്കൽ

നിരവധി പ്രമാണങ്ങൾ ദൃശ്യപരമായി വിവരങ്ങൾ വഹിക്കുന്നു കൂടാതെ പ്ലെയിൻ ടെക്സ്റ്റായി പാഴ്സ് ചെയ്യാൻ ബുദ്ധിമുട്ടാണ്: PDF-കൾ, സ്കാൻ ചെയ്ത പേജുകൾ, സ്ക്രീൻഷോട്ടുകൾ, ചാർട്ടുകൾ, അവതരണങ്ങൾ. ഈ വർക്ക്ഫ്ലോകൾ OCR-നെയും ഇമേജ് മനസ്സിലാക്കലിനെയും ആശ്രയിച്ചിരിക്കുന്നു, കൂടാതെ നേറ്റീവ് ആയി മൾട്ടിമോഡൽ ആയ ഒരു മോഡലിൽ നിന്ന് ഏറ്റവും കൂടുതൽ പ്രയോജനം നേടുന്നു.

ഹാർനെസ് ഡോക്യുമെന്റ് പേജുകളും ചിത്രങ്ങളും നേരിട്ട് മോഡലിലേക്ക് അയയ്ക്കുന്നു, അത് അവ മനസ്സിലാക്കുകയും ദൃശ്യ തെളിവുകൾ എടുത്തുകളഞ്ഞ ടെക്സ്റ്റുമായി സംയോജിപ്പിക്കുകയും ചെയ്യുന്നു. ഉപകരണത്തിൽ ഈ ഫയലുകൾ പ്രോസസ്സ് ചെയ്യുന്നത് സെൻസിറ്റീവ് ഡോക്യുമെന്റുകളും അവയുടെ എടുത്തുകളഞ്ഞ ഉള്ളടക്കവും സ്വകാര്യമായി സൂക്ഷിക്കുന്നു.

ചാർട്ടുകൾ, ലേഔട്ട്, ടേബിളുകൾ, ടെക്സ്റ്റ് ഉള്ളടക്കം, ഫോർമാറ്റിംഗ് എന്നിവയ്ക്കായി ഓരോന്നിനും 20 ടാസ്കുകൾ വീതം, ParseBench ബെഞ്ച്മാർക്കിന്റെ 100-ടാസ്ക് സബ്‌സെറ്റായ ParseBench-100-ൽ ഞങ്ങൾ മൾട്ടിമോഡൽ ഡോക്യുമെന്റ് മനസ്സിലാക്കൽ വിലയിരുത്തുന്നു.

Hermes-ന്റെ 34.6%, Pi-യുടെ 13.9% എന്നിവയുമായി താരതമ്യം ചെയ്യുമ്പോൾ Computer 65.1% എന്ന ശരാശരി സ്കോർ നേടുന്നു. ഏറ്റവും കുറഞ്ഞ സമയത്തിലും ഏറ്റവും കുറഞ്ഞ ടോക്കണുകളിലും ഇത് ടാസ്കുകൾ പൂർത്തിയാക്കുന്നു: ഒരു ടാസ്കിന് ശരാശരി 60.6 സെക്കൻഡും 20.1k ടോക്കണുകളും, Hermes-ന്റെ 108.3 സെക്കൻഡും 32.1k ടോക്കണുകളുമായി താരതമ്യം ചെയ്യുമ്പോൾ, Pi-യുടെ 410.5 സെക്കൻഡും 829.1k ടോക്കണുകളുമായി താരതമ്യം ചെയ്യുമ്പോൾ ഇത് കുറവാണ്. അഞ്ച് ഡോക്യുമെന്റ് വിഭാഗങ്ങളിലും Computer മുന്നിലാണ്, ചാർട്ടുകളിലാണ് ഇതിന്റെ ഏറ്റവും വലിയ നേട്ടം. മൂന്ന് ഹാർനെസുകൾക്കും ലേഔട്ട് ഇപ്പോഴും ബുദ്ധിമുട്ടായി തുടരുന്നു.

പട്ടിക 1. ഓൺ-ഡിവൈസ് Qwen 3.8 27B മോഡൽ ഉള്ള Computer, Hermes, Pi ഹാർനെസുകൾക്കായുള്ള ഡോക്യുമെന്റ് വിഭാഗം അനുസരിച്ചുള്ള ParseBench-100 ശരാശരി സ്കോർ. അഞ്ച് വിഭാഗങ്ങളിലും Computer മുന്നിലാണ്.

അഡ്വൈസർ എസ്‌കലേഷൻ വഴി ഫ്രോണ്ടിയർ അന്തരം കുറയ്ക്കുക

ശ്രദ്ധാപൂർവ്വം രൂപകൽപ്പന ചെയ്ത ഹാർനെസ് ഉണ്ടെങ്കിൽ പോലും, ഏറ്റവും കഠിനമായ ജോലികൾ ഇപ്പോഴും കോംപാക്റ്റ് ഓൺ-ഡിവൈസ് മോഡലിന്റെ ശേഷിക്ക് അപ്പുറമാണ്. അത്തരം ജോലികൾക്കായി, ഹാർനെസ് ഒരു അഡ്വൈസർ ടൂൾ നൽകുന്നു: ആസൂത്രണം, അവ്യക്തത പരിഹരിക്കുക, ആവർത്തിച്ചുള്ള പരാജയങ്ങളിൽ നിന്ന് കരകയറുക, അല്ലെങ്കിൽ അന്തിമ ഫലം പരിശോധിക്കുക എന്നിവയിൽ സഹായം ആവശ്യപ്പെടുമ്പോൾ ലോക്കൽ മോഡലിന് ശക്തമായ ഒരു ഫ്രോണ്ടിയർ മോഡലുമായി കൂടിയാലോചിക്കാം.

എപ്പോൾ ഉപദേശം അഭ്യർത്ഥിക്കണമെന്ന് ലോക്കൽ മോഡൽ തീരുമാനിക്കുന്നു, അതേസമയം ഹാർനെസ് ഓർക്കസ്ട്രേറ്റർ ടൂൾ അധികാരം നിലനിർത്തുകയും ഏത് കോൺടെക്സ്റ്റ് അയയ്ക്കണമെന്ന് നിയന്ത്രിക്കുകയും ചെയ്യുന്നു. എസ്‌കലേഷൻ ഓപ്ഷണലാണ്. ഇത് പ്രവർത്തനക്ഷമമാക്കണോ വേണ്ടയോ എന്നും ഓരോ അഡ്വൈസർ കോളും സ്വമേധയാ അല്ലെങ്കിൽ യാന്ത്രികമായി അംഗീകരിക്കണോ എന്നും ഉപയോക്താവ് തീരുമാനിക്കുന്നു.

ഒരു അഡ്വൈസർ കോളിന് മുമ്പ്, ഹാർനെസ് പ്രസക്തമായ കോൺടെക്സ്റ്റ് തിരഞ്ഞെടുക്കുന്നു, സെൻസിറ്റീവ് വിവരങ്ങൾ ഫ്ലാഗ് ചെയ്യാൻ ഒരു PII ക്ലാസിഫയർ പ്രയോഗിക്കുന്നു, കൂടാതെ ഉപകരണത്തിൽ നിന്ന് എന്താണ് പുറത്തുപോകുന്നത് എന്ന് ഉപയോക്താവിനെ കാണിക്കുന്നു. അനുമതി ലഭിച്ച കോൺടെക്സ്റ്റ് മാത്രം അഡ്വൈസർക്ക് ലഭിക്കുകയും ടെക്സ്റ്റ് മാർഗ്ഗനിർദ്ദേശം തിരികെ നൽകുകയും ചെയ്യുന്നു; ഉപകരണത്തിന്റെ ഫയലുകൾ, ടൂളുകൾ അല്ലെങ്കിൽ സംഭാഷണങ്ങൾ എന്നിവയിലേക്ക് അതിന് നേരിട്ട് പ്രവേശനമില്ല. ഇത് ചെലവും സ്വകാര്യതയും മെച്ചപ്പെടുത്തുന്നു, കൂടാതെ ഭാവിയിലെ പ്രവർത്തനങ്ങളിൽ ഈ ദിശ കൂടുതൽ പര്യവേക്ഷണം ചെയ്യാൻ ഞങ്ങൾ പദ്ധതിയിടുന്നു.

ശക്തമായ റീസണിംഗ് ആവശ്യമുള്ളതും ലോക്കൽ മോഡൽ ഏറ്റവും കൂടുതൽ പരാജയപ്പെടുന്നതുമായ വെല്ലുവിളി നിറഞ്ഞ സോഫ്റ്റ്‌വെയർ എഞ്ചിനീയറിംഗ് ജോലികളിൽ ഞങ്ങൾ ഈ സമീപനം പരീക്ഷിക്കുന്നു. ഇതിനായി ഞങ്ങൾ കോഡിംഗ് ഏജന്റുകൾക്കായുള്ള ജനപ്രിയ 89-ടാസ്ക് ബെഞ്ച്മാർക്കായ Terminal Bench 2.1 ഉപയോഗിക്കുന്നു.

ഞങ്ങൾക്ക് രണ്ട് ചോദ്യങ്ങൾക്ക് ഉത്തരങ്ങൾ നൽകേണ്ടതുണ്ട്: ഒരു ഫ്രോണ്ടിയർ മോഡലിലേക്കുള്ള അന്തരം അഡ്വൈസർ എസ്‌കലേഷന് എത്രത്തോളം বন্ধ ചെയ്യാൻ കഴിയും, എന്ത് ചെലവിൽ. ഉപയോക്താവിന്റെ ഹാർഡ്‌വെയറിലാണ് ഇൻഫറൻസ് സംഭവിക്കുന്നത് എന്നതിനാൽ, പൂർണ്ണമായും ലോക്കൽ ആയ മോഡലുകൾ പ്രവർത്തിപ്പിക്കാൻ പ്രായോഗികമായി ചെലവില്ല. എന്നിരുന്നാലും, മോഡൽ അഡ്വൈസറെ വിളിക്കാൻ തുടങ്ങുമ്പോൾ, അത് API ചെലവുകൾ വരുത്തിവെക്കാൻ തുടങ്ങുന്നു.

ഫ്രോണ്ടിയർ പ്രകടനത്തിനുള്ള അടിസ്ഥാനരേഖയായി, ലോക്കൽ ഹാർനെസിൽ പ്രവർത്തിക്കുന്ന Claude Opus 5 ഞങ്ങൾ ഉപയോഗിക്കുന്നു; ലോക്കൽ മോഡൽ Qwen 3.8 27B ആണ്. അവസാനമായി, ഞങ്ങൾ രണ്ടും ജോടിയാക്കുന്നു: Qwen 3.8 27B ടാസ്ക് നിർവ്വഹിക്കുകയും സഹായം ആവശ്യപ്പെടുമ്പോൾ Claude Opus 5 അഡ്വൈസറിലേക്ക് എസ്‌കലേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു. Pi അല്ലെങ്കിൽ Hermes-നൊപ്പം ഞങ്ങൾ അഡ്വൈസർ എസ്‌കലേഷൻ വിലയിരുത്തുന്നില്ല കാരണം രണ്ടും തുല്യമായ ഒരു അഡ്വൈസർ ടൂൾ നൽകുന്നില്ല; ഒരെണ്ണം ചേർക്കുന്നതിന് അതിന്റെ ടൂൾ ഉപരിതലവും ഓർക്കസ്ട്രേഷൻ ലോജിക്കും പരിഷ്കരിക്കേണ്ടതുണ്ട്, അതിനാൽ ഫലം ഇനി ഔട്ട്-ഓഫ്-ദി-ഷെൽഫ് ഹാർനെസിനെ പ്രതിനിധീകരിക്കില്ല.

അഡ്വൈസർ എസ്‌കലേഷൻ Computer-ന്റെ സ്കോർ 59.6%-ൽ നിന്ന് 73.0% ആയി ഉയർത്തുന്നു, ഇത് 13.5 ശതമാനത്തിന്റെ വർദ്ധനവാണ്, ഓരോ റോളൗട്ടിനും ഏകദേശം $0.415 API ചെലവിലാണ് ഇത്. Claude Opus 5 മാത്രം പ്രവർത്തിപ്പിക്കുന്നത് ഓരോ റോളൗട്ടിനും $0.65-ൽ 82.4% നേടുന്നു. അതിനാൽ എസ്‌കലേഷൻ ഫ്രോണ്ടിയറിലേക്കുള്ള അന്തറിന്റെ ഏകദേശം മൂന്നിൽ അഞ്ച് ഭാഗവും ഫ്രോണ്ടിയറിന്റെ ചെലവിന്റെ മൂന്നിൽ രണ്ട് ഭാഗത്തിൽ വീണ്ടെടുക്കുന്നു, ആ ട്രേഡ് നടത്തുന്നതാണ് നല്ലതെന്ന് ഉപയോക്താവ് തീരുമാനിക്കുന്നു.

ഹാർനെസിനും അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികൾക്കുമായി പോസ്റ്റ്-ട്രെയിനിംഗ്

ഇതുവരെ, ഹാർനെസ് എന്താണ് സംഭാവന ചെയ്യുന്നത് എന്ന് വേർതിരിച്ചറിയാൻ ഞങ്ങൾ ലോക്കൽ മോഡൽ മാറ്റമില്ലാതെ നിലനിർത്തി. ഹാർനെസ് ഡിസൈൻ നിലവിലുണ്ടെങ്കിൽ, മോഡൽ തന്നെ പൊരുത്തപ്പെടുത്തുന്നതിൽ നിന്നാണ് ഏറ്റവും വലിയ ബാക്കി നേട്ടങ്ങൾ ഉണ്ടാകുന്നത്. Perplexity Computer ഉപയോഗ ഡാറ്റ ആളുകൾ അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികൾക്കായി യഥാർത്ഥത്തിൽ എന്താണ് ചെയ്യുന്നത് എന്ന് കാണിച്ചുതരുന്നു, അത് ഞങ്ങൾ പരിശീലന ഡാറ്റ സംയോജിപ്പിക്കാൻ ഉപയോഗിക്കുന്നു. ഉപയോക്താക്കൾ ചെയ്യുന്ന ജോലികളുടെ യഥാർത്ഥ വിതരണത്താൽ നയിക്കപ്പെടുന്ന Computer ഹാർനെസിനുള്ളിൽ ഞങ്ങൾ ലോക്കൽ മോഡൽ പോസ്റ്റ്-ട്രെയിൻ ചെയ്യുന്നു.

വ്യക്തമായി പറഞ്ഞാൽ, വ്യത്യസ്ത മോഡൽ ശേഷികൾ, ടൂളുകൾ, കണക്ടർമാർ എന്നിവ പ്രയോജനപ്പെടുത്തുന്ന വൈവിധ്യമാർന്ന ഉപയോഗ കേസുകൾ ഞങ്ങൾ തിരിച്ചറിയുന്നു. ഈ ഉപയോഗ കേസുകളിൽ നിന്ന് ഞങ്ങൾ യഥാർത്ഥ റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ് പരിസ്ഥിതികൾ സംയോജിപ്പിക്കുകയും വെല്ലുവിളി നിറഞ്ഞതും എന്നാൽ പരിശോധിക്കാവുന്നതുമായ ജോലികൾ നിർവ്വഹിക്കുകയും ചെയ്യുന്നു: ഓരോ ടാസ്കിലും ഒരു നിർദ്ദേശം, ഒരു പരിസ്ഥിതി, അന്തിമ ഫലം സ്കോർ ചെയ്യുന്ന ഒരു വെരിഫയർ എന്നിവ ഉൾപ്പെടുന്നു, ഇവിടെ പരിസ്ഥിതി എന്നത് ഹാർനെസ് പ്രവർത്തിക്കുന്ന ഒരു ഡോക്കർ കണ്ടെയ്നറാണ്. പ്രധാനപ്പെട്ട കാര്യം, ടാസ്കുകൾ സിന്തറ്റിക് ആയതിനാൽ, അവയിൽ യഥാർത്ഥ പ്രമാണങ്ങളോ ഉപയോക്തൃ വിവരങ്ങളോ അടങ്ങിയിട്ടില്ല എന്നതാണ്.

രണ്ട് ഘട്ടങ്ങളുള്ള പരിശീലനത്തിനായി ഞങ്ങൾ ഈ പരിസ്ഥിതികൾ ഉപയോഗിക്കുന്നു: റിജക്ഷൻ ഫൈൻ-ട്യൂണിംഗിനെ തുടർന്ന് റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ്. ആദ്യ ഘട്ടത്തിൽ, ഞങ്ങൾ ഓരോ ടാസ്കിനും എതിരായി മോഡൽ പലതവണ റോളൗട്ട് ചെയ്യുന്നു, വെരിഫയർ സ്കോർ അനുസരിച്ച് മികച്ച ട്രാജക്ടറികൾ തിരഞ്ഞെടുക്കുകയും സൂപ്പർവൈസ്ഡ് ലേണിംഗ് ഉപയോഗിച്ച് അവയിൽ പരിശീലനം നൽകുകയും ചെയ്യുന്നു. ഈ ഘട്ടം നിർദ്ദിഷ്ട ഹാർനെസിനും ടാസ്ക് വിതരണത്തിനുമായി മോഡലിനെ സജ്ജമാക്കുന്നു. രണ്ടാഴ്ചത്തെ ഘട്ടത്തിൽ, റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ് മോഡലിനെ കൂടുതൽ ഫൈൻ-ട്യൂൺ ചെയ്യുന്നു, അതിനെ കൂടുതൽ ശക്തമാക്കുന്നു.

ഒരു കൂട്ടം ടാസ്കുകൾ പരിശീലനത്തിൽ നിന്ന് മാറ്റിനിർത്തുകയും അന്തിമ വിലയിരുത്തലിനായി ഉപയോഗിക്കുകയും ചെയ്യുന്നു; ഈ മാറ്റിനിർത്തിയ കൂട്ടത്തെ ഞങ്ങൾ Local Knowledge Work Bench എന്ന് വിളിക്കുന്നു: ആഴത്തിലുള്ള ഗവേഷണം മുതൽ ഡോക്യുമെന്റ് നിർമ്മാണം വരെയുള്ള ദിവസേനയുള്ള അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികളുടെ ഏഴ് വിഭാഗങ്ങളിലായി വ്യാപിച്ചുകിടക്കുന്ന 53 ടാസ്കുകൾ. മോഡൽ പരിശീലനം വിശദമായി വിവരിക്കുന്ന ഒരു സാങ്കേതിക റിപ്പോർട്ട് ഞങ്ങൾ ഉടൻ പ്രസിദ്ധീകരിക്കും, ഈ മൂല്യനിർണ്ണയ ബെഞ്ച്മാർക്ക് ഓപ്പൺ സോഴ്സ് ചെയ്യാൻ ഞങ്ങൾ പദ്ധതിയിടുന്നു.

ഈ സമീപനം ഉപയോഗിച്ച് ഞങ്ങൾ Qwen 3.8 27B പോസ്റ്റ്-ട്രെയിൻ ചെയ്തു, PPLX 27B എന്ന് ഞങ്ങൾ വിളിക്കുന്ന ഒരു മോഡൽ നിർമ്മിച്ചു, കൂടാതെ Local Knowledge Work Bench-ൽ ഇത് വിലയിരുത്തി. അടിസ്ഥാന Qwen 3.8 27B മോഡൽ ഉപയോഗിച്ച്, Computer ഏറ്റവും ഉയർന്ന സ്കോർ നേടുന്നു (82.6%, Pi-യുടെ 77.6%, Hermes-ന്റെ 74.0% എന്നിവയുമായി താരതമ്യം ചെയ്യുമ്പോൾ) കൂടാതെ ഏറ്റവും കുറഞ്ഞ ടോക്കണുകൾ ഉപയോഗിക്കുന്നു (520k, Pi-യുടെ 681k, Hermes-ന്റെ 634k എന്നിവയുമായി താരതമ്യം ചെയ്യുമ്പോൾ). ഒരു ടാസ്കിന് 176 സെക്കൻഡിൽ Pi ടാസ്കുകൾ വേഗത്തിൽ പൂർത്തിയാക്കുന്നു, Computer-ന്റെ 218 സെക്കൻഡും Hermes-ന്റെ 292 സെക്കൻഡുമായി താരതമ്യം ചെയ്യുമ്പോൾ ഇത് കുറവാണ്. PPLX 27B Computer-ന്റെ സ്കോർ 85.4% ആയി ഉയർത്തുന്നു, കൂടുതൽ ടോക്കണുകളുടെ ചെലവിൽ (520k-ന് പകരം 678k). ഇതിന്റെ കണക്കാക്കിയ വാൾ ടൈം 250 സെക്കൻഡാണ്.

പട്ടിക 2. Local Knowledge Work Bench ടാസ്ക് വിഭാഗങ്ങൾ.

ഉപസംഹാരം

സെൻസിറ്റീവ് ഡാറ്റ ഉപകരണത്തിൽ നിന്ന് പുറത്തുപോകേണ്ട ആവശ്യമില്ലാതെ, ശക്തമായ ഒരു ഓൺ-ഡിവൈസ് ഹാർഡ്‌വെയറും അവയ്ക്കായി നിർമ്മിച്ച ഹാർനെസും ഉള്ള ശക്തമായ ഒരു ഓപ്പൺ-സോഴ്സ് മോഡലിന് പൂജ്യത്തിന് അടുത്തുള്ള ഇൻഫറൻസ് ചെലവിൽ യഥാർത്ഥ അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികൾ കൈകാര്യം ചെയ്യാൻ കഴിയുമെന്ന് ഞങ്ങളുടെ ഗവേഷണം കാണിക്കുന്നു.

വിവിധ ബെഞ്ച്മാർക്കുകളിലുടനീളം, NVIDIA DGX Spark-ൽ Qwen 3.8 27B പ്രവർത്തിപ്പിക്കുമ്പോൾ Computer കൃത്യതയിൽ Hermes, Pi എന്നിവയുമായി പൊരുത്തപ്പെട്ടു അല്ലെങ്കിൽ അവയെ ছাড়ించి മുന്നിലെത്തി. ലേറ്റൻസിയും ടോക്കൺ ഉപയോഗവും റിപ്പോർട്ട് ചെയ്യുന്ന മൂന്ന് ബെഞ്ച്മാർക്കുകളിൽ, BrowseComp, ParseBench-100 എന്നിവയിൽ Computer ഏറ്റവും വേഗതയേറിയതായിരുന്നു കൂടാതെ മൂന്നിലും ഏറ്റവും കുറഞ്ഞ ടോക്കണുകൾ ഉപയോഗിച്ചു; Local Knowledge Work Bench-ൽ Pi ഏറ്റവും വേഗതയേറിയതായിരുന്നു.

ഞങ്ങൾ എടുത്ത തിരഞ്ഞെടുപ്പുകളിൽ നിന്നാണ് നേട്ടങ്ങൾ ഉണ്ടായത്. ആവശ്യാനുസരണം ലോഡ് ചെയ്യുന്ന നൈപുണ്യങ്ങൾ അടങ്ങിയ ലളിതമായ ഒരു ലോക്കൽ ഹാർനെസ് ഞങ്ങൾ നിർമ്മിച്ചു. MCP സെർവറുകൾക്ക് പകരം കണക്ടറുകളെ ഞങ്ങൾ കോംപാക്റ്റ് CLI ടൂളുകളാക്കി മാറ്റി. സുരക്ഷയ്ക്കായി എക്സിക്യൂഷൻ സാൻഡ്‌ബോക്സ് ചെയ്തിരുന്നു.

കോംപാക്റ്റ് മോഡലുകൾക്ക് എവിടെയാണ് മെച്ചപ്പെടുത്താൻ ഇടമുള്ളതെന്നും ഫലങ്ങൾ കാണിക്കുന്നു. ഉദാഹരണത്തിന്, Terminal Bench 2.1-ന്റെ വെല്ലുവിളി നിറഞ്ഞ കോഡിംഗ് ജോലികളിൽ, മൂന്ന് ഹാർനെസുകളിലും ലോക്കൽ മോഡൽ ഫ്രോണ്ടിയർ മോഡലിനേക്കാൾ പിന്നിലാണ്. അഡ്വൈസർ എസ്‌കലേഷൻ അന്തരം കുറയ്ക്കുന്നു എന്നാൽ പൂർണ്ണമായി അടയ്ക്കുന്നില്ല; പ്രകടനം കൂടുതൽ മുന്നോട്ട് കൊണ്ടുപോകുന്നതിന് മോഡൽ ശേഷികളിലും ലോക്കൽ ഹാർഡ്‌വെയറിലുമുള്ള തുടർച്ചയായ മെച്ചപ്പെടുത്തലുകൾ ഇപ്പോഴും ആവശ്യമാണ്.

ഏത് വിവരമാണ് അവരുടെ മെഷീനുകളിൽ നിന്ന് പുറത്തുപോകുന്നത് എന്ന് ഉപയോക്താക്കൾക്ക് വ്യക്തമായ നിയന്ത്രണം നൽകുക എന്നതാണ് ലോക്കൽ പരിമിതികൾക്കായി ഹാർനെസും മോഡലും നിർമ്മിക്കുന്നതിന്റെ ലക്ഷ്യം. ഉപയോക്താവിന് ചെലവ് ആനുകൂല്യങ്ങളും ഉണ്ട്. കൂടുതൽ കഴിവുള്ള ഏജന്റുകൾ വിദൂര ഇൻഫ്രാസ്ട്രക്ചറിൽ നിന്ന് വ്യക്തിഗത, ലോക്കൽ ഉപകരണങ്ങളിലേക്ക് മാറുന്ന വിശാലമായ മാറ്റത്തിന്റെ ഭാഗമായി ഞങ്ങൾ ഇതിനെ കാണുന്നു. ചിപ്പുകൾ, മോഡലുകൾ, ഉപകരണങ്ങൾ എന്നിവയിലെ പുരോഗതി പോർട്ടബിൾ കമ്പ്യൂട്ടർ ലോക്കലായി കൈകാര്യം ചെയ്യുന്ന അറിവ് അടിസ്ഥാനമാക്കിയുള്ള ജോലികളുടെ വ്യാപ്തിയും ഗുണനിലവാരവും തുടർച്ചയായി വികസിപ്പിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.