Numbat ഉപയോഗിച്ച് Perplexityയുടെ ക്ലയന്റ് എന്റ്പോയിന്റുകളാകമാനം ഏജന്റുകളെ സുരക്ഷിതമാക്കൽ

ഉപയോഗപ്രദമാകാൻ AI ഏജന്റുകൾ സുരക്ഷിതമായിരിക്കണം. മോഡൽ, സിസ്റ്റം ശേഷികൾ വർദ്ധിക്കുന്നതിനനുസരിച്ച്, ഉപയോക്താക്കളെ സംരക്ഷിക്കാൻ ആവശ്യമായ ജാഗ്രതയും വർദ്ധിക്കുന്നു.

ആദ്യകാല ഏജന്റ് സുരക്ഷാ ഗവേഷണം പ്രോംപ്റ്റ് ഇൻജെക്ഷനുകളിലും മറ്റ് രൂപത്തിലുള്ള ശത്രുതാപരമായ ഇൻപുട്ടുകളിലും ശ്രദ്ധ കേന്ദ്രീകരിച്ചു. എന്നിരുന്നാലും, ഏജന്റ് സ്വയംതുടർച്ചയിലെ സമീപകാല മുന്നേറ്റങ്ങൾ ശത്രുതാപരമായ ഇൻപുട്ടുകളുടെ - അല്ലെങ്കിൽ മനുഷ്യ ശത്രുക്കളുടെ - സാന്നിധ്യം മുൻകൂട്ടി കാണേണ്ടതില്ലാത്ത സുരക്ഷാ സംഭവങ്ങൾക്ക് കാരണമാകുന്നു.

പകരം, ഉയർന്ന തലത്തിലുള്ള ലക്ഷ്യങ്ങൾ പിന്തുടരാൻ നിർദ്ദേശിക്കപ്പെട്ട ഏജന്റുകൾക്ക്, ആ ലക്ഷ്യങ്ങൾ എങ്ങനെ കൈവരിക്കണം എന്നതിനെക്കുറിച്ചുള്ള നിർദ്ദേശമില്ലാതെ, ശത്രുവായി മാറാൻ കഴിയും. ഉപയോക്താവ് നിർദ്ദേശിച്ച ലക്ഷ്യത്തോടുള്ള പ്രതികരണമായി, ഉപയോക്താവ് ഉദ്ദേശിക്കാത്തതും അംഗീകരിക്കാത്തതുമായ ഒരു പ്രവർത്തനരീതി ഏജന്റ് തിരഞ്ഞെടുക്കുമ്പോൾ ഇത് സംഭവിക്കുന്നു. ഏതാനും മാസം മുമ്പ് ഇത്തരം സംഭവങ്ങൾ സൈദ്ധാന്തികമായി മാത്രമായിരുന്നുവെങ്കിലും, അവ പെട്ടെന്ന് തന്നെ പ്രായോഗിക ആശങ്കാവിഷയങ്ങളായി മാറിയിരിക്കുന്നു.

ഈ പെരുമാറ്റങ്ങൾ മോഡൽ ലെയറിനുള്ളിൽ പൂർണമായും പാച്ച് ചെയ്യാൻ കഴിയാത്തതിനാൽ, ശക്തമായ പ്രതിരോധം അതിനാൽ ചുറ്റുമുള്ള സിസ്റ്റത്തിലായിരിക്കണം നിലകൊള്ളുക; ലോകത്തോട് മോഡലിന്റെ ഇന്റർഫേസായി സേവിക്കുന്ന ഏജന്റ് harness അടക്കം. ഡിഫൻഡർമാർക്ക് ഏജന്റുമായി ബന്ധപ്പെട്ട സംഭവങ്ങൾ തടയാനും കണ്ടെത്താനും ശമിപ്പിക്കാനും സഹായിക്കുന്ന നമ്മുടെ ഏജന്റ് സുരക്ഷാ സ്യൂട്ടായ Numbat നാം ഓപ്പൺ സോഴ്‌സാക്കുന്നു. എന്റർപ്രൈസ് ക്ലയന്റ് എന്റ്പോയിന്റുകളിൽ സാധാരണയായി കാണുന്ന ഏജന്റ് harness-കളുമായി Numbat നേരിട്ട് തിരിച്ചറിയുകയും സംയോജിപ്പിക്കുകയും ചെയ്ത്, സുരക്ഷാ നിയമങ്ങൾ നടപ്പാക്കുകയും അതിവേഗ കണ്ടെത്തലിനും പ്രതികരണത്തിനും വഴിയൊരുക്കുകയും ചെയ്യുന്നു.

ഏജന്റുകളുടെ സ്വീകരണം ഡെവലപ്പർമാർക്കും, സ്വീകരിക്കുന്നവർക്കും, ഡിഫൻഡർമാർക്കും ഒരുപോലെ പുതിയ സുരക്ഷാ വെല്ലുവിളികൾ സൃഷ്ടിക്കുന്നു. പ്രിവിലേജ്ഡ് ആക്സസോടെ എന്റർപ്രൈസ് സിസ്റ്റങ്ങളിലേക്കും ഡാറ്റയിലേക്കും നേരിട്ട് ക്ലയന്റ് എന്റ്പോയിന്റുകളിൽ ഏജന്റുകൾ വിന്യസിക്കുമ്പോൾ ഇത് പ്രത്യേകിച്ച് സത്യമാണ്.

CLI-ആധാരിതമോ ഡെസ്ക്ടോപ്പ് ആപ്പ്-ആധാരിതമോ ആയ കോഡിംഗ് ഏജന്റുകൾ പോലുള്ള ക്ലയന്റ് എന്റ്പോയിന്റുകളിലെ ഏജന്റ് വിന്യാസങ്ങൾ, വ്യത്യസ്ത തോതിലുള്ള സാൻഡ്‌ബോക്സിംഗും ഐസൊലേഷനും കൊണ്ടാണ് വരുന്നത്. ഉപയോക്താക്കൾ ഈ ഏജന്റുകളെ അനവധി ഉപയോഗകേസുകൾക്കായി ഉപയോഗിക്കുന്നു; അവയ്ക്കൊന്നിനും എന്റ്പോയിന്റിനെയോ എന്റ്പോയിന്റിൽ നിന്ന് ആക്‌സസ് ചെയ്യാനാകുന്ന മറ്റു സിസ്റ്റങ്ങളെയോ ബാധിക്കാനാകുന്ന സ്വന്തം അനുബന്ധ പ്രവർത്തന പരിധിയുണ്ട്. കൂടുതൽ കൂടുതൽ, മണിക്കൂറുകളോ ദിവസങ്ങളോ നീളുന്ന സ്വയംഭരണ പ്രവർത്തനത്തിനാണ് ഏജന്റുകൾ പ്രതീക്ഷിക്കപ്പെടുന്നത്. ഈ വർക്ക്‌ഫ്ലോകൾക്കായി, പല ഉപയോക്താക്കളും ഏജന്റ് പ്രവർത്തനാനുമതികൾ ക്ലാസിഫയറുകൾക്ക് ഏൽപ്പിക്കുകയോ, അല്ലെങ്കിൽ --dangerously-skip-permissionsനും --yoloനും പോലുള്ള ആശങ്കാജനകമായി പേരിട്ട കോൺഫിഗറേഷൻ ഫ്ലാഗുകൾ ഉപയോഗിച്ച് അനുമതികൾ പൂർണമായും മറികടക്കുകയോ ചെയ്യുന്നു. ഏജന്റിന്റെ പലവിധ ഉപയോഗകേസുകളും കോൺഫിഗറേഷനുകളും, കൂടാതെ പ്രിവിലേജ്ഡ് എന്റ്പോയിന്റുകളിൽ കോഡിംഗ് ഏജന്റുകൾക്ക് ചെയ്യാൻ കഴിയുന്ന പ്രവർത്തനങ്ങളുടെ വിശാലതയും ചേർന്നപ്പോൾ, സുരക്ഷാ ടീമുകൾ മുൻകൂട്ടി കൈകാര്യം ചെയ്യേണ്ട ഒരു റിസ്‌ക് പ്രൊഫൈൽ രൂപപ്പെടുന്നു.

ഇന്ന്, AI ഏജന്റുകളിൽ നിന്നുള്ള അപകടകരമായ പ്രവർത്തനം കണ്ടെത്താനും, അന്വേഷിക്കാനും, തടയാനും നാം നിർമ്മിച്ച ഒരു ഓപ്പൺ-സോഴ്‌സ് ഏജന്റ് സുരക്ഷാ സ്യൂട്ടായ Numbat നാം പുറത്തിറക്കുന്നു. കൂടുതൽ കമ്പനികൾ മുൻനിര ഏജന്റ് ഉൽപ്പന്നങ്ങൾ സ്വീകരിക്കുമ്പോൾ, അതിന്റെ ഫലമായി ഉണ്ടാകുന്ന സുരക്ഷാ വെല്ലുവിളികൾക്കൊപ്പം മുന്നേറാൻ Numbat സുരക്ഷാ ടീമുകളെ ശക്തിപ്പെടുത്തുന്നു. ഇത് എല്ലാ വ്യാപകമായി ഉപയോഗിക്കുന്ന ക്ലയന്റ്-സൈഡ് ഏജന്റ് harness-കളിലേക്കും സംയോജിപ്പിക്കുമ്പോൾ അവയൊക്കെയിലുമായി ഒരേപോലെയുള്ള ഇന്റർഫേസ് നൽകുന്നു. അങ്ങനെ, സ്വന്തം ഉപയോക്താക്കൾ ആശ്രയിക്കുന്ന ഓരോ വ്യക്തിഗത ഏജന്റിനും ഇഷ്ടാനുസൃത സുരക്ഷാ പ്രതിരോധങ്ങളും നിരീക്ഷണ ഉപകരണങ്ങളും നിർമ്മിക്കേണ്ട ഭാരം നിന്ന് Numbat സുരക്ഷാ ടീമുകളെ മോചിപ്പിക്കുന്നു. NVIDIAയോടും മറ്റ് സംഘടനകളോടുമൊപ്പം Open Secure AI Allianceയിലെ Perplexityയുടെ അംഗത്വത്തിന്റെ ഭാഗമായി, ഡിഫൻഡർ ഇക്കോസിസ്റ്റത്തിനായി Numbat ലഭ്യമാണ്.

Numbat സുരക്ഷിതമാക്കിയ ഏജന്റുകളുടെ സിസ്റ്റം ആർക്കിടെക്ചർ. Numbat ലോക്കൽ-ഫസ്റ്റ് കണ്ടെത്തലിനും ഏജന്റ്-അഗ്നോസ്റ്റിക് ഫോറൻസിക്സിനും പ്രാധാന്യം നൽകുന്നു.

Numbat-ന് പ്രേരണയാകുന്ന സുരക്ഷാ വെല്ലുവിളികളെക്കുറിച്ചുള്ള ചർച്ചയോടെയാണ് ഈ ലേഖനം ആരംഭിക്കുന്നത്. തുടർന്ന് ഞങ്ങൾ Numbat-ന്റെ ഡിസൈനും ആർക്കിടെക്ചറും അവതരിപ്പിക്കുന്നു, കൂടാതെ Perplexity-യുടെ സ്വന്തം ആയിക്കണക്കിന് എൻഡ്‌പോയിന്റുകളിൽ Numbat വിന്യസിച്ചതിൽ നിന്നുള്ള ഞങ്ങളുടെ പാഠങ്ങളും പങ്കുവെക്കുന്നു.

AI ഏജന്റ് സുരക്ഷാ സംഭവങ്ങളുടെ ലാൻഡ്സ്കേപ്പ് അതിവേഗം വികസിച്ചുകൊണ്ടിരിക്കുന്നു. നിലവിലുള്ള ഏജന്റ് സുരക്ഷാ സാഹിത്യങ്ങളിൽ ഭൂരിഭാഗവും ഇൻജെക്ഷൻ ആക്രമണങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു, അതിൽ തെറ്റായ പെരുമാറ്റത്തിലേക്ക് ഏജന്റുകളെ ആശയക്കുഴപ്പത്തിലാക്കാൻ മോഡൽ പ്രോംപ്റ്റുകളിലേക്കോ സന്ദർഭത്തിലേക്കോ ഒരു ദോഷകരമായ പേലോഡ് അവതരിപ്പിക്കുന്നു. ഇൻജെക്ഷൻ ആക്രമണങ്ങളും സുരക്ഷാ മാർഗ്ഗങ്ങളും വിപുലമായി പഠിക്കപ്പെട്ടിട്ടുണ്ട്, കൂടാതെ Perplexity ഉൾപ്പെടെയുള്ള ഏജന്റ് ഡെവലപ്പർമാർ ഇൻജെക്ഷൻ ആക്രമണങ്ങൾക്കെതിരെ ശക്തമായ പ്രതിരോധങ്ങൾ ആവിഷ്കരിച്ചിട്ടുണ്ട്.

എന്നാൽ ഒരു സുരക്ഷാ സംഭവം സൃഷ്ടിക്കാൻ AI ഏജന്റിന് ദോഷകരമായ പേലോഡ് ആവശ്യമില്ല. വാസ്തവത്തിൽ, ഒരു ശത്രുവിന്റെ സാന്നിധ്യം മുൻകൂട്ടി കാണേണ്ടതില്ല. വിശ്വസ്തനായ ഒരു ഏജന്റിന്, അഡ്മിനിസ്ട്രേറ്റർ അംഗീകരിച്ച ടൂളുകൾ ഉള്ള വിശ്വസ്തമായ പരിസ്ഥിതിയിൽ പ്രവർത്തിക്കുമ്പോൾ, തന്റെ ജോലി പൂർത്തിയാക്കാൻ അമിതമായി ശ്രമിക്കുന്നത് കൊണ്ട് മാത്രം ദോഷകരമായ പ്രവർത്തനങ്ങൾ ചെയ്യാൻ കഴിയും.

ഗവേഷകർ ഈ പരാജയ മോഡിനെ “ആക്‌സിഡന്റൽ മെൽറ്റ്‌ഡൗൺ” എന്ന് വിശേഷിപ്പിക്കുന്നു: ശത്രുതാപരമായ ഇൻപുട്ട് മൂലമല്ല, മറിച്ച് സാധാരണ പാരിസ്ഥിതിക പിഴവ് മൂലം ഉണ്ടാകുന്ന ദോഷകരമായ ഏജന്റ് പെരുമാറ്റം. നഷ്ടപ്പെട്ട ഫയൽ, പരാജയപ്പെട്ട API അഭ്യർത്ഥന, കാലഹരണപ്പെട്ട ക്രെഡൻഷ്യൽ, അല്ലെങ്കിൽ അനുമതി നിഷേധിക്കൽ എന്നിവ ഒരു ഏജന്റിനെ ഒരു പരിഹാരം തേടാൻ പ്രേരിപ്പിക്കും. ഉപയോക്താവ് നിർദ്ദേശിച്ച യഥാർത്ഥ ലക്ഷ്യം പിന്തുടരുമ്പോൾ, അനധികൃത നിരീക്ഷണം, ആക്സസ്-കൺട്രോൾ മാറ്റങ്ങൾ, രഹസ്യ കണ്ടെത്തൽ അല്ലെങ്കിൽ ഡാറ്റ എക്സ്ഫിൽട്രേഷൻ എന്നിവയിലൂടെ ഏജന്റ് സുരക്ഷാ അതിർത്തികൾ ലംഘിച്ചേക്കാം. ഒരു ആക്രമണകാരി ഏജന്റിനെ കൂട്ടുപിടിക്കുന്നതിന് പകരം, ഏജന്റ് തന്നെയാണ് ആക്രമണകാരി. മാത്രമല്ല, ആക്രമണം ഇതിനകം നടക്കിക്കൊണ്ടിരിക്കുന്നതുവരെ അറിയാനുള്ള വഴിയില്ലാതെ, ആക്രമണത്തിന് ആന്തരിക സിസ്റ്റങ്ങളെയോ ബാഹ്യ സിസ്റ്റങ്ങളെയോ അല്ലെങ്കിൽ രണ്ടിനെയും ലക്ഷ്യമിടാൻ കഴിയും.

വ്യാപകമായി റിപ്പോർട്ട് ചെയ്യപ്പെട്ട ആദ്യത്തെ ആക്‌സിഡന്റൽ മെൽറ്റ്‌ഡൗൺ ഈ മാസം എത്തി, Hugging Face-ന്റെ പ്രൊഡക്ഷൻ ഇൻഫ്രാസ്ട്രക്ചറിനെ തകർത്ത ഒരു ഏജന്റ്-ആരംഭിച്ച ആക്രമണത്തിന്റെ OpenAI-യുടെ വെളിപ്പെടുത്തലോടെ. പ്രീ-റിലീസ് GPT മോഡലിന്റെ വിലയിരുത്തലുകളിൽ, നൽകിയിരിക്കുന്ന സന്ദർഭം ഉപയോഗിച്ച് വിലയിരുത്തലിൽ പുരോഗതി ഉണ്ടാക്കാൻ മോഡലിന് കഴിഞ്ഞില്ല. ഈ തടസ്സം ഭേദിക്കാൻ, മോഡൽ അതിന്റെ സാൻഡ്‌ബോക്സ് ടെസ്റ്റിംഗ് പരിസ്ഥിതിയിൽ നിന്ന് രക്ഷപ്പെടാനും Hugging Face-ൽ നിന്നുള്ള വിലയിരുത്തൽ ഉത്തരങ്ങൾ ചോർത്താനുമുള്ള വഴി കണ്ടെത്തി. ഉദ്ദേശിച്ച നെറ്റ്‌വർക്ക് നിയന്ത്രണങ്ങളിൽ നിന്ന് രക്ഷപ്പെടാനും സാൻഡ്‌ബോക്സ് അതിരുകൾക്കപ്പുറം പ്രത്യേകാവകാശങ്ങൾ ഉയർത്താനും രഹസ്യങ്ങൾ നേടാനും സുരക്ഷിതമായ Hugging Face സിസ്റ്റങ്ങൾ ആക്‌സസ് ചെയ്യാനും മോഡൽ അതിന്റെ ഹാർനെസ് പ്രയോജനപ്പെടുത്തി, ഇവയെല്ലാം വിലയിരുത്തൽ പരിഹരിക്കുന്നതിനുള്ള ഇടുങ്ങിയ ലക്ഷ്യം പിന്തുടരാൻ വേണ്ടിയാണ്.

ഉദ്ദേശിക്കാത്ത സിസ്റ്റം മ്യൂട്ടേഷനുകളും ഡിലീഷനുകളും മെൽറ്റ്‌ഡൗണുകളിൽ ഉൾപ്പെടുന്നു. ഒരു ബാഹ്യ സിസ്റ്റം ലംഘിക്കുന്നതിനേക്കാൾ ലളിതമാണെങ്കിലും, കോഡിംഗ് ഏജന്റുകളുടെ ഏതൊരു പവർ യൂസർക്കും ഈ സംഭവങ്ങൾ കൂടുതൽ പതിവുള്ളതും പ്രകടവുമാണ്. പ്രൊഡക്ഷൻ ഡാറ്റാബേസുകളോ ഹോം ഡയറക്ടറികളോ ഇല്ലാതാക്കുന്നത് ഏത് ഡെവലപ്പരുടെയും ഏറ്റവും മോശം പേടിസ്വപ്നമാണ്, കൂടാതെ ഏജന്റുകൾ അവരുടെ നിർവ്വഹണത്തിലുടനീളം അത്തരം പെരുമാറ്റങ്ങളിൽ നിന്ന് വിട്ടുനിൽക്കാൻ കഴിയണം.

മോഡലുകൾക്കുള്ളിൽ തന്നെ ഈ പെരുമാറ്റങ്ങൾ ലഘൂകരിക്കാൻ AI ഗവേഷകർ പ്രവർത്തിക്കുന്നു. ഈ ശ്രമങ്ങൾ തീർച്ചയായും വിലപ്പെട്ടതാണെങ്കിലും, ശക്തമായ സുരക്ഷാ സവിശേഷതകൾക്കായി മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതും കൂടുതൽ സങ്കീർണ്ണമായ ജോലികൾ നിർവഹിക്കാൻ അതേ മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതും തമ്മിൽ അടിസ്ഥാനപരമായ ഒരു တင်းမာനം ഉള്ളതായി ഗവേഷണ സമൂഹത്തിലെ പലരും കാണുന്നു. മോഡൽ പാതയിൽ മാത്രം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന പ്രതിരോധങ്ങൾ മെൽറ്റ്‌ഡൗൺ അപകടസാധ്യത സ്വീകാര്യമായ തലത്തിലേക്ക് കുറയ്ക്കുമെന്ന് ഞങ്ങൾ വിശ്വസിക്കുന്നില്ല.

സംഗ്രഹം ഇതാണ്: ഏജന്റ് സുരക്ഷ വെറും മോഡൽ, ഉപയോക്തൃ, അല്ലെങ്കിൽ ടാസ്‌ക്-തല സുരക്ഷാ സംവിധാനങ്ങളിൽ മാത്രം ആശ്രയിക്കാനാകില്ല. അതിനുപകരം, സുരക്ഷാ ടീമുകൾക്ക് ക്ലയന്റ് എന്റ്പോയിന്റുകളിൽ ഏജന്റുകൾ യഥാർത്ഥത്തിൽ എന്താണ് ചെയ്യുന്നത് എന്നതിലേക്കുള്ള ദൃശ്യതയും, അപകടകരമായ പ്രവർത്തനങ്ങൾ അവ പ്രവർത്തിക്കുന്നതിന് മുമ്പ് തടയാൻ കഴിയുന്ന നിയന്ത്രണങ്ങളും ആവശ്യമാണ്. ഇവ ഏജന്റ് harness-നൊപ്പം കർശനമായി സംയോജിപ്പിക്കേണ്ട സിസ്റ്റം-തല നിയന്ത്രണങ്ങളാണ്.

Numbat ഈ നിയന്ത്രണങ്ങൾ ഒരു ലഘുവായ സ്റ്റാറ്റിക് Go ബൈനറിയുടെ രൂപത്തിലാണ് നൽകുന്നത്; അത് മുൻനിര ക്ലയന്റ്-സൈഡ് ഏജന്റ് harness-കളിലേക്കു മുടങ്ങലില്ലാതെ പ്ലഗ് ചെയ്യുന്നു. ഇത് ഏജന്റ് harness-ുകളിലും എക്സിക്യൂഷൻ പരിതസ്ഥിതികളിലും ലൈവ് നിരീക്ഷണം, പോളസി നടപ്പാക്കൽ, ഫോറൻസിക് പുനർനിർമ്മാണം എന്നിവ നൽകുന്നു.

Numbat-ഉം ഒരു ഏജന്റ് ഹാർനെസും തമ്മിലുള്ള പ്രധാന സംയോജന പോയിന്റുകൾ ഹുക്കുകൾ, സെഷൻ ആർട്ടിഫാക്ടുകൾ, OTLP ടെലിമെട്രി എന്നിവയാണ്. ഞങ്ങൾ ഓരോന്നായി ചർച്ച ചെയ്യുന്നു.

ഏതാണ്ട് എല്ലാ കോഡിംഗ് ഏജന്റുകൾക്കും ഒരു ഹുക്ക് ഉപസിസ്റ്റം ഉണ്ട്. ഏജന്റ് എക്സിക്യൂഷൻ ലൈഫ്സൈക്കിളിനുള്ളിൽ മുൻകൂട്ടി നിശ്ചയിച്ച പോയിന്റുകളിൽ ഉപറൂട്ടീനുകൾ നിർണ്ണായകമായി നിർവഹിക്കാൻ ഹുക്കുകൾ ഏജന്റുകളെ അനുവദിക്കുന്നു. പ്രവചനാത്മകമായ രീതികളിൽ മോഡലുകൾക്ക് അധിക സന്ദർഭം നൽകാനും ടെസ്റ്റിംഗും വെരിഫിക്കേഷൻ ലൂപ്പുകളും നടപ്പിലാക്കാനും ഏജന്റ് ശേഷികളിൽ മറ്റ് മെച്ചപ്പെടുത്തലുകൾ വരുത്താനും ഏജന്റ് ഉപയോക്താക്കൾ സാധാരണയായി ഹുക്കുകൾ കോൺഫിഗർ ചെയ്യുന്നു.

ഈ ആവശ്യങ്ങൾക്കായി ഹുക്കുകളെ ആകർഷകമാക്കുന്ന അതേ നിർണ്ണായക ഗുണങ്ങൾ കണ്ടെത്തലിനും പ്രതികരണത്തിനും അവയെ ആകർഷകമാക്കുന്നു. സാധ്യതയുള്ള ഒരു ആശങ്കാജനകമായ സംഭവത്തിന്റെ മിക്ക സംഭവങ്ങളും പിടികൂടുന്നത് സാധാരണയായി പര്യാപ്തമല്ല. പകരം, കണ്ടെത്തലിനും പ്രതികരണത്തിനുമായി അത്തരം എല്ലാ സംഭവങ്ങളും ഉൾക്കൊള്ളണം. Numbat ഒന്നിലധികം തരം ഹുക്കുകൾ കോൺഫിഗർ ചെയ്യുന്നു, സമ്പന്നമായ കണ്ടെത്തൽ ലോജിക് നടപ്പിലാക്കാൻ സുരക്ഷാ ടീമുകളെയും IT അഡ്മിനിസ്ട്രേറ്റർമാരെയും ഇത് അനുവദിക്കുന്നു.

മിക്ക കോഡിംഗ് ഏജന്റുകളിലും, ചില തരം ഹുക്കുകൾക്ക് (“പ്രീ-എക്ഷൻ” ഹുക്കുകൾ എന്ന് വിളിക്കപ്പെടുന്നവ) ഏജന്റിന്റെ അടുത്ത പ്രവർത്തനത്തിന്റെ നിർവ്വഹണം തടയാനും കഴിയും. ഈ പ്രീ-എക്ഷൻ ഹുക്കുകൾ ഉപയോഗിച്ച്, കണ്ടെത്തൽ ലോജിക് മാത്രമല്ല, മെൽറ്റ്‌ഡൗൺ ഉണ്ടാകുന്നത് തടയാനുള്ള പ്രതിരോധ സുരക്ഷാ നിയമങ്ങളും നടപ്പിലാക്കാൻ Numbat-ന് കഴിയുന്നു.

തത്സമയം കണ്ടെത്തലും പ്രതിരോധ ലോജിക്കും നടപ്പിലാക്കുന്നതിനുള്ള ശക്തമായ മാർഗ്ഗങ്ങളാണ് ഹുക്കുകൾ. എന്നിരുന്നാലും, ഈ ലോജിക് കോഡിൽ വ്യക്തമാക്കാൻ കഴിയണം. പലപ്പോഴും, ഒരു ഏജന്റ് സുരക്ഷാ സംഭവം മുൻകൂട്ടി കാണാൻ കഴിയാത്ത ഒരു രൂപം സ്വീകരിക്കുന്നു, സോഴ്സ് കോഡിലേക്ക് കുറയ്ക്കുന്നത് പറയേണ്ടതില്ലല്ലോ. അതിനാൽ, സെഷൻ ആർട്ടിഫാക്ടുകൾ മുൻകാലങ്ങളിലേക്ക് ആക്സസ് ചെയ്യാനും വിശകലനം ചെയ്യാനുമുള്ള കഴിവും Numbat-നുണ്ട്.

സെഷൻ ആർട്ടിഫാക്റ്റുകളിൽ പലതരം ലോഗുകളും ഡയഗ്നോസ്റ്റിക്സും ഉൾപ്പെടുന്നു. പക്ഷേ ഏറ്റവും പ്രധാനപ്പെട്ട ലോഗ് തരമാകാമത് സെഷൻ ട്രാൻസ്ക്രിപ്റ്റാണ്; അതാണ് ഏജന്റിന്റെ പ്രവർത്തനക്രമം നിർണ്ണയിക്കുന്ന LLM സംഭാഷണങ്ങളെ രേഖപ്പെടുത്തുന്നത്. കോഡിംഗ് ഏജന്റുകളുടെ പവർ യൂസർമാർ harness നൽകുന്ന കമാൻഡുകൾ വഴി കൂടുതൽ വിശകലനത്തിനായി സെഷൻ ട്രാൻസ്ക്രിപ്റ്റുകൾ എക്സ്പോർട്ട് ചെയ്യുന്നത് ഇതിനകം തന്നെ പരിചിതമാണ്. എന്നാൽ ഈ എക്സ്പോർട്ടുകൾ സാധാരണയായി plaintext ഫോർമാറ്റിലായിരിക്കും, അത് മെഷീൻ-റീഡബിൾ ലോഗുകളും സ്ഥിരവും പ്രവചിക്കാവുന്നതുമായ സ്കീമയും ആവശ്യപ്പെടുന്ന സുരക്ഷാ ടീമുകൾക്ക് അനുയോജ്യമല്ല.

Numbat അങ്ങനെ സെഷൻ ആർട്ടിഫാക്റ്റുകൾ നേരിട്ട് ഫയൽസിസ്റ്റത്തിൽ നിന്നുതന്നെ വീണ്ടെടുക്കുന്നു. അധികഭാഗം ക്ലയന്റ്-സൈഡ് ഏജന്റ് harness-കൾ യഥാർത്ഥ ആർട്ടിഫാക്റ്റുകൾ ഫയൽസിസ്റ്റത്തിലാണു സംഭരിക്കുന്നത് (സാധാരണയായി $HOMEയുടെ കീഴിൽ ഒരു ഏജന്റ്-നിഷ്ഠ ഡോട്ട് ഡയറക്ടറിയിൽ), അതിനാൽ ഫയൽസിസ്റ്റത്തിലേക്കു കടന്നുചെല്ലുന്നത് ഈ ഡാറ്റ ഏറ്റവും ഉപയോഗപ്രദവും ശുദ്ധവുമായ രൂപത്തിൽ ലഭ്യമാക്കാനുള്ള ഏറ്റവും നേരിട്ടുള്ള മാർഗം നൽകുന്നു. Numbat ഉപയോഗിക്കുന്ന സുരക്ഷാ ടീമുകൾക്ക് numbat scan വഴി ഈ ആർട്ടിഫാക്റ്റുകൾ നോർമലൈസ്ഡ് NDJSON ടൈംലൈൻ ഫോർമാറ്റിൽ ശേഖരിക്കാം; ക്ലയന്റ് എന്റ്പോയിന്റിലെ പ്രാദേശിക പ്രോസസിംഗിനായോ അസിങ്ക്രോണസ് റിമോട്ട് വിശകലനത്തിനായോ. സെഷൻ ആർട്ടിഫാക്റ്റുകൾ സ്റ്റാറ്റിക്, സ്വയംപര്യാപ്തമായ രേഖകളായതിനാൽ, Numbat ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനു ഏറെ മുമ്പ് നടന്ന സെഷനുകൾക്കുപോലും ഈ ടൈംലൈൻകൾ പുനർനിർമ്മിക്കാൻ Numbatക്ക് കഴിയും.

മിക്ക ക്ലയന്റ്-സൈഡ് ഏജന്റ് harness-കളും OpenTelemetry പ്രോട്ടോകോൾ (OTLP) വഴി വിശാലമായ ടെലിമെട്രി നൽകുന്നു. ഈ ടെലിമെട്രി സാധാരണയായി hooks അല്ലെങ്കിൽ സെഷൻ ആർട്ടിഫാക്റ്റുകൾ വഴി ലഭ്യമാകുന്നതിനെക്കാൾ അപ്പുറമുള്ള നിരവധി സിഗ്നലുകൾ നൽകുന്നു.

numbat collect കമാൻഡ് വഴി Numbat ഒരു OTLP റിസീവറായും പ്രവർത്തിക്കാം. ഈ കമാൻഡ് കോഡിംഗ് ഏജന്റുകൾ OTLP ടെലിമെട്രി തുടർന്ന് വിശകലനത്തിനായി അയക്കുന്ന ഒരു സർവർ ആരംഭിക്കുന്നു. പ്രധാനമായും, ഈ സർവർ ലോക്കലാണ്, മുൻനിശ്ചയപ്രകാരം localhost-ലാണ് മാത്രം കേൾക്കുന്നത്; അതായത് ഡിഫോൾട്ടായി എല്ലാ ടെലിമെട്രിയും ഉപകരണത്തിലുതന്നെ തുടരുന്നു. തുടർന്ന് സുരക്ഷാ അഡ്മിനുകൾ രേഖപ്പെടുത്തിയ ടെലിമെട്രിയുമായി എന്ത് ചെയ്യണമെന്ന് തീരുമാനിക്കാം; അതിൽ ലഘുവായ ഓൺ-ഡിവൈസ് പ്രോസസിംഗ് നടപ്പാക്കൽ, numbat ship വഴി റിമോട്ട് പ്രോസസിംഗ്, അല്ലെങ്കിൽ ClickHouse പോലുള്ള അനലിറ്റിക്സ് പ്ലാറ്റ്ഫോമുകളിൽ കൂടുതൽ വിശദമായ വിശകലനം എന്നിവ ഉൾപ്പെടാം.

Perplexityയിൽ, Claude Code, Codex, OpenCode, Pi എന്നിവ ഉൾപ്പെടെയുള്ള ക്ലയന്റ്-സൈഡ് കോഡിംഗ് ഏജന്റുകളുടെ നമ്മുടെ എൻജിനീയർമാരുടെ ഉപയോഗം സുരക്ഷിതമാക്കാൻ നാം Numbat ഉപയോഗിക്കുന്നു.

ഞങ്ങളുടെ പ്രതിരോധ, കണ്ടെത്തൽ ശ്രമങ്ങൾ രണ്ടും Numbat നിയമങ്ങൾ വ്യാപകമായി ഉപയോഗിക്കുന്നു, അവ ഓരോ ഏജന്റിന്റെയും ഹുക്ക് ഉപസിസ്റ്റം വഴി നടപ്പിലാക്കുന്നു. ഞങ്ങളുടെ സ്വന്തം ആവശ്യങ്ങൾക്കായി ഞങ്ങൾ നിരവധി ബ്രെഡ്-ആൻഡ്-ബട്ടർ നിയമങ്ങൾ രൂപീകരിച്ചു, അവയിൽ പലതും Numbat-ന്റെ 52 ബിൽറ്റ്-ഇൻ നിയമങ്ങളുടെ ഭാഗമായി ഞങ്ങൾ അയച്ചു. ഈ നിയമങ്ങൾ 11 പെരുമാറ്റ വിഭാഗങ്ങളായും രഹസ്യ ആക്സസ്, എക്സ്ഫിൽട്രേഷൻ, പ്രത്യേകാവകാശ വർദ്ധനവ്, ലാറ്ററൽ മൂവ്മെന്റ് എന്നിവ പോലുള്ള മൾട്ടി-സ്റ്റെപ്പ് സീക്വൻസ് കണ്ടെത്തലുകളുടെ ഒരു സെറ്റായും സംഘടിപ്പിച്ചിരിക്കുന്നു. സാധാരണവൽക്കരിച്ച ഇവന്റുകൾക്ക് മുകളിലുള്ള CEL എക്സ്പ്രഷനുകൾ നിയമങ്ങൾ ഉപയോഗിക്കുന്നു, കൂടാതെ Numbat-ന്റെ കോഡ് മാറ്റാതെ തന്നെ ഓപ്പറേറ്റർമാർക്ക് സ്വന്തം നിയമങ്ങളും ടെസ്റ്റുകളും ചേർക്കാൻ കഴിയും.

ഉദാഹരണത്തിന്, ബിൽറ്റ്-ഇൻ privilege.sudoers_tamper നിയമം sudoers പോളിസിയിലേക്കുള്ള റൈറ്റുകൾ, visudo ഉപയോഗം, NOPASSWD ഗ്രാൻഡുകൾ ഇൻസ്റ്റാൾ ചെയ്യാനുള്ള ശ്രമങ്ങൾ എന്നിവ കണ്ടെത്തുന്നു. പരിമിതമായ ഒരു ഏജന്റ് പ്രക്രിയയെ സ്ഥിരമായ റൂട്ട് ആക്സസ് ആക്കി മാറ്റാൻ കഴിയുന്ന ഉയർന്ന സിഗ്നൽ പ്രവർത്തനങ്ങളാണിവ.

yaml

# privilege.sudoers_tamper (simplified for readability)
id: privilege.sudoers_tamper
severity: high
expr: |
  (
    event.event_type == "file.write" &&
    event.file_path.matches("(^|/)etc/sudoers$|(^|/)etc/sudoers\\.d/[^/]+$")
  ) || (
    event.event_type == "command.exec" &&
    event.command.matches("\\bvisudo\\b|\\bNOPASSWD\\s*:")
  )

വ്യക്തിഗത കമാൻഡുകൾ എല്ലായ്പ്പോഴും സ്വന്തമായി ദോഷകരമായി കാണപ്പെടണമെന്നില്ല, അതിനാൽ Numbat ഒരു സെഷൻ സെഷനുള്ളിലെ സീക്വൻസുകളും കോർലേറ്റ് ചെയ്യുന്നു. ഒരു ഏജന്റ് സാധാരണ സീക്രട്ട്സ്-മാനേജ്‌മെന്റ് ടൂളിൽ നിന്ന് ഒരു മൂല്യം വായിക്കുകയും പിന്നീട് ഡാറ്റ വഹിക്കുന്ന curl അല്ലെങ്കിൽ wget അഭ്യർത്ഥനയ്ക്ക് ശ്രമിക്കുകയും ചെയ്യുമ്പോൾ ബിൽറ്റ്-ഇൻ chain.secret_manager_read_then_egress നിയമം കണ്ടെത്തുന്നു. ഒരു രഹസ്യ വായന നിയമപരമായിരിക്കാം. ഒരു ഔട്ട്ബൗണ്ട് അഭ്യർത്ഥന നിയമപരമായിരിക്കാം. ഒരുമിച്ച് ക്രമീകരിക്കുമ്പോൾ, അവയ്ക്ക് അന്വേഷണം ആവശ്യമാണ്.

yaml

# chain.secret_manager_read_then_egress (simplified for readability)
id: chain.secret_manager_read_then_egress
severity: high
sequence:
  within_events: 64
  steps:
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("secretsmanager|get-secret|vault read")
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("curl.*(--data|--upload-file)|wget.*--post")

ഡെവലപ്പർ എൻഡ്‌പോയിന്റുകളിലെ സപ്ലൈ-ചെയിൻ എക്സ്പോഷറിനായുള്ള ഞങ്ങളുടെ ഓപ്പൺ സോഴ്സ് സ്കാനറായ Bumblebee പോലെ, Numbat MDM വഴി ഞങ്ങളുടെ ഫ്ലീറ്റിലുടനീളം വിന്യസിച്ചിരിക്കുന്നു. ഓരോ Numbat-ഉം ഏജന്റ് പ്രവർത്തനം lokal ആയി രേഖപ്പെടുത്തുകയും ഘടനാപരമായ ടെലിമെട്രി ഞങ്ങളുടെ കേന്ദ്രീകൃത സുരക്ഷാ സിസ്റ്റങ്ങളിലേക്ക് അയക്കുകയും ചെയ്യുന്നു.

അവിടെ നിന്ന്, Perplexity Computer സംശയാസ്പദമായതോ ദോഷകരമായതോ ആയ പെരുമാറ്റത്തിനായി ആവർത്തിച്ചുള്ള ഷെഡ്യൂളിൽ സമീപകാല Numbat കണ്ടെത്തലുകളും ഓഡിറ്റ് ലോഗുകളും അവലോകനം ചെയ്യുന്നു. ഇത് കണ്ടെത്തലുകൾ അന്വേഷിക്കുകയും പ്രസക്തമായ ഏജന്റ് സെഷനുകൾ പുനർനിർമ്മിക്കുകയും Numbat തടഞ്ഞ പ്രവർത്തനങ്ങൾക്ക് അധിക സൂക്ഷ്മ പരിശോധന നൽകുകയും ചെയ്യുന്നു.

Numbat ടെലിമെട്രി നിരീക്ഷിക്കുന്നതിനുള്ള Perplexity-യുടെ ആന്തരിക പൈപ്പ്‌ലൈൻ. ഷെഡ്യൂൾ ചെയ്‌ത Perplexity Computer ടാസ്ക് പുതിയ സിഗ്നലുകൾ അസിൻക്രണസ് ആയി അവലോകനം ചെയ്യുകയും അപകടസാധ്യതയുള്ള പ്രവർത്തനത്തെക്കുറിച്ച് സുരക്ഷാ ടീമിന് അലേർട്ട് നൽകുകയും ചെയ്യുന്നു.

ഞങ്ങളുടെ കവറേജിലെ വിടവുകളും Computer പരിശോധിക്കുന്നു. ഇത് പുതിയ പെരുമാറ്റം വിശകലനം ചെയ്യുന്നു, Numbat-ന്റെ കണ്ടെത്തലുകളിൽ മെച്ചപ്പെടുത്തലുകൾ നിർദ്ദേശിക്കുന്നു, ആ മാറ്റങ്ങൾ പരിശോധിക്കുന്നു, മനുഷ്യരുടെ അവലോകനത്തിനായി പുൾ അഭ്യർത്ഥനകൾ തുറക്കുന്നു. അംഗീകരിക്കപ്പെടുകയും വിന്യസിക്കപ്പെടുകയും ചെയ്തുകഴിഞ്ഞാൽ, ആ നിയമങ്ങൾ ഫ്ലീറ്റിലുടനീളം നിരീക്ഷണം മെച്ചപ്പെടുത്തുകയും അടുത്ത അന്വേഷണത്തിന് മികച്ച തെളിവുകൾ നൽകുകയും ചെയ്യുന്നു.

ഇത് സ്വയം മെച്ചപ്പെടുത്തുന്ന ഒരു സുരക്ഷാ ഫ്ലൈവീൽ സൃഷ്ടിക്കുന്നു: ഏജന്റുകൾ പ്രവർത്തനം സൃഷ്ടിക്കുന്നു, Numbat ആ പ്രവർത്തനത്തെ സാധാരണവൽക്കരിച്ച ടൈംലൈനുകളായും ടെലിമെട്രിയായും മാറ്റുന്നു, Computer അന്വേഷിക്കുകയും നിയമങ്ങൾ മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു, കൂടാതെ മനുഷ്യർ അവലോകനം ചെയ്ത അപ്‌ഡേറ്റുകൾ ഭാവിയിലെ ഏജന്റ് സെഷനുകളെ സംരക്ഷിക്കുന്ന നിയന്ത്രണങ്ങൾ ശക്തിപ്പെടുത്തുന്നു.

Perplexity-ൽ, AI ഏജന്റുകൾ എല്ലാത്തരം പരിസ്ഥിതികളിലും പ്രവർത്തിക്കുമെന്ന് ഞങ്ങൾ വിശ്വസിക്കുന്നു: ലോക്കൽ, ക്ലൗഡ്, ഹൈബ്രിഡ്. ഏജന്റ് ഹാർനെസിന്റെയും എക്സിക്യൂഷൻ പരിസ്ഥിതിയുടെയും ഓരോ കോമ്പിനേഷനും സവിശേഷമായ സുരക്ഷാ വെല്ലുവിളികൾ ഉയർത്തുന്നു, കോമ്പിനേറ്റോറിയൽ സങ്കീർണ്ണത ബാൻഡ്‌വിഡ്ത്ത് കുറഞ്ഞ സുരക്ഷാ ടീമുകളെ തകർക്കുമെന്ന് ഭീഷണിപ്പെടുത്തുന്നു. ഏജന്റ് മെൽറ്റ്‌ഡൗണുകളും മറ്റ് പുതിയ ദുർബലതകളും സുരക്ഷാ ചിത്രം കൂടുതൽ സങ്കീർണ്ണമാക്കുന്നു.

ഏജന്റ് എവിടെ പ്രവർത്തിച്ചാലും ഉപയോക്താവിന്റെ സുരക്ഷാ ഭാവം മെച്ചപ്പെടുത്താൻ ഏജന്റ് സിസ്റ്റത്തിൽ തന്നെ വസിക്കുന്ന പ്രതിരോധങ്ങൾക്ക് കഴിയും. കൃത്യമായി അതാണ് Numbat നൽകുന്നത്: ആശങ്കാജനകമായ പെരുമാറ്റം തത്സമയം തടയാനും കണ്ടെത്താനും പ്രതികരിക്കാനും ഡിഫൻഡർമാരെ അനുവദിക്കുന്ന ഇറുകെ സംയോജിപ്പിച്ച ഏജന്റ് സുരക്ഷാ മാർഗ്ഗങ്ങൾ. Numbat-ഉം Perplexity Computer-ഉം സംയോജിപ്പിക്കുന്നത് കർവ്-ന് മുന്നിൽ നിൽക്കാൻ ഡിഫൻഡർമാരെ പ്രാപ്തരാക്കുന്ന ശക്തമായ ഒരു ഏജന്റ് സുരക്ഷാ പ്ലാറ്റ്‌ഫോം സൃഷ്ടിക്കുന്നു.

macOS, Linux, Windows എന്നിവയ്ക്കായി ഒരു ഓപ്പൺ-സോഴ്‌സ് പ്രോജക്റ്റ് ആയി Numbat ഇന്ന് ലഭ്യമാണ്. വിശാലമായി നിർവചിച്ച ജോലികളിലും ദീർഘകാല സമയപരിധികളിലും ഏജന്റുകളെ ആത്മവിശ്വാസത്തോടെ ഉപയോഗിക്കാൻ Perplexity ടീം അംഗങ്ങളെ പ്രാപ്തമാക്കുന്ന വിധത്തിൽ, നമ്മുടെ സ്വന്തം ക്ലയന്റ് എന്റ്പോയിന്റുകൾ Numbat ഉപയോഗിച്ച് സുരക്ഷിതമാക്കിയിരിക്കുന്നു. അവരുടെ ഏജന്റ് വിന്യാസങ്ങളെ സുരക്ഷിതമാക്കാനും സംരക്ഷിക്കാനും വേണ്ടിയുള്ള Numbatയുടെ സിസ്റ്റം-തല സമീപനം പ്രയോജനപ്പെടുത്താൻ എല്ലായിടത്തുമുള്ള സുരക്ഷാ ടീമുകളെയും ഞങ്ങൾ ക്ഷണിക്കുന്നു.

BibTeX

@online{perplexity2026SecuringAgentsAcrossPerplexitySClientEndpointsWithNumbat,
  author = {{Perplexity} and Adel Karimishiraz and Bex Brooker and Phi Hoang and Jerry Ma},
  title = {{Securing agents across Perplexity's client endpoints with Numbat}},
  date = {2026-07-29},
  url = {https://perplexity.coolkeypoint.com/hub/blog/securing-agents-across-perplexity-s-client-endpoints-with-numbat}
}

ആമുഖം

ദുർബലതാ ലാൻഡ്സ്കേപ്പ് മനസ്സിലാക്കൽ

നേറ്റീവ് ഹാർനെസ് ഇന്റഗ്രേഷനുകളിലൂടെ കോഡിംഗ് ഏജന്റുകൾ സുരക്ഷിതമാക്കൽ

ഹുക്കുകൾ

സെഷൻ ആർട്ടിഫാക്ടുകൾ

OTLP ടെലിമെട്രി

Perplexity-നുള്ളിൽ Numbat വിന്യസിക്കുന്നു

ഫ്ലീറ്റിലുടനീളം Numbat-കൾ നിയന്ത്രിക്കലും നിരീക്ഷിക്കലും

ഉപസംഹാരം

ഉദ്ധരണി