Numbat көмегімен Perplexity клиенттік соңғы нүктелерінде агенттерді қорғау

ИИ агенттері пайдалы болу үшін қауіпсіз болуы тиіс. Модель мен жүйе мүмкіндіктері жетілген сайын, пайдаланушыларды қорғау үшін қажетті қырағылық та арта түседі.

Агент қауіпсіздігі бойынша ертеректегі зерттеулер промэнт-инъекцияларға және басқа да қарсылас енгізу формаларына назар аударды. Дегенмен, агент автономдылығындағы соңғы жетістіктер қарсылас енгізулердің немесе мүлдем адам қарсыластарының болуын болжамайтын қауіпсіздік инциденттерін тудырады.

Керісінше, бұл мақсаттарға қалай жету керектігі туралы нұсқаусыз, жоғары деңгейлі мақсаттарға жетуге бағытталған агенттер қарсыласқа айнала алады. Бұл агент пайдаланушы белгілеген мақсатқа жауап ретінде пайдаланушы ниет етпеген және мақұлдамайтын әрекет бағытын таңдаған кезде орын алады. Мұндай инциденттер бірнеше ай бұрын ғана теориялық тұрғыдан қарастырылғанымен, олар тез арада практикалық мәселеге айналды.

Бұл мінез-құлықтарды модель деңгейінде толығымен жөндеу мүмкін емес болғандықтан, сенімді қорғаныс ілеспе жүйеде, соның ішінде модельдің сыртқы әлеммен интерфейсі ретінде қызмет ететін агент құрылымында (harness) болуы тиіс. Біз қорғаушыларға агентке қатысты инциденттердің алдын алуға, оларды анықтауға және салдарын жоюға көмектесетін ашық бастапқы кодты Numbat агент қауіпсіздігі жиынтығын көпшілікке ұсынамыз. Numbat корпоративтік клиенттің соңғы нүктелерінен жиі табылатын агент құрылымдарын анықтайды және олармен тікелей біріктіріледі, қауіпсіздік ережелерін қолданады және жылдам анықтау мен әрекет етуді қамтамасыз етеді.

Агенттерді қабылдау әзірлеушілер, пайдаланушылар және қорғаушылар үшін жаңа қауіпсіздік мәселелерін туындатады. Бұл әсіресе кәсіпорындар корпоративтік жүйелер мен деректерге артықшылықты (privileged) қолжетімділік бере отырып, агенттерді тікелей клиенттік соңғы нүктелерде орналастырған кезде айқын көрінеді.

CLI немесе жұмыс үстелі қолданбасына негізделген кодтау агенттері сияқты клиенттік соңғы нүктелердегі агенттерді орналастыру әртүрлі деңгейдегі оқшаулау және sandbox ортасын қамтиды. Пайдаланушылар бұл агенттерді соңғы нүктенің өзіне немесе соңғы нүктеден қолжетімді басқа жүйелерге әсер ете алатын әрқайсысының өз әрекеттер кеңістігі бар сансыз қолдану жағдайлары үшін пайдаланады. Агенттердің бірнеше сағат немесе тіпті күндер бойы автономды түрде жұмыс істеуі жиі талап етіледі. Осындай жұмыс процестері үшін көптеген пайдаланушылар агент әрекеттерін мақұлдауды классификаторларға тапсыруды немесе --dangerously-skip-permissions және --yolo сияқты күмәнді атаулары бар конфигурациялау жалаушалары арқылы мақұлдауды толығымен айналып өтуді таңдайды. Агентті пайдалану жағдайлары мен конфигурацияларының көптігі, кодтау агенттерінің артықшылықты соңғы нүктелерде орындай алатын әрекеттер ауқымымен біріктіріліп, қауіпсіздік топтары тарапынан белсенді басқаруды талап ететін тәуекел профилін жасайды.

Бүгін біз AI агенттерінен шығатын қауіпті белсенділікті анықтау, зерттеу және алдын алу үшін жасаған ашық бастапқы кодты Numbat агент қауіпсіздігі жиынтығын шығарамыз. Көбірек компаниялар озық агент өнімдерін қабылдаған сайын, Numbat қауіпсіздік топтарына туындаған қауіпсіздік мәселелерінен қалыспауға мүмкіндік береді. Ол клиент жағындағы ең көп қолданылатын агент құрылымдарының әрқайсысына біріктіріліп, барлығында тұрақты интерфейсті ұсынады. Осылайша, Numbat қауіпсіздік топтарын өз пайдаланушылары сенім артқан әрбір жеке агент үшін арнайы қорғаныс құралдары мен мониторинг құралдарын жасау ауыртпалығынан азат етеді. Numbat қорғаушылар экожүйесіне Perplexity ұйымының NVIDIA және басқа ұйымдармен бірге Open Secure AI Alliance қауымдастығына мүшелігі аясында қолжетімді.

Numbat арқылы қорғалған агенттердің жүйелік архитектурасы. Numbat локалды бірінші кезекте анықтауға және агентке тәуелсіз криминалистикаға баса назар аударады.

Бұл мақала Numbat жұмысына түрткі болатын қауіпсіздік мәселелерін талқылаудан басталады. Содан кейін біз Numbat дизайны мен архитектурасын, сондай-ақ Numbat жүйесін Perplexity компаниясының мыңдаған соңғы нүктелерінде орналастыру тәжірибемізді ұсынамыз.

AI агентінің қауіпсіздік инциденттерінің ландшафты қарқынды дамып келеді. Қолданыстағы агент қауіпсіздігі әдебиеттерінің көп бөлігі агенттерді дұрыс емес әрекетке шатастыру үшін модель промттарына немесе мәтінмәніне зиянды жүктеме (payload) енгізілетін инъекциялық шабуылдарға бағытталған. Инъекциялық шабуылдар мен қорғаныс шаралары кеңінен зерттелген, ал Perplexity қоса алғанда, агент әзірлеушілері инъекциялық шабуылдарға қарсы барынша сенімді қорғаныстарды жасады.

Бірақ AI агентіне қауіпсіздік инцидентін жасау үшін зиянды жүктеме қажет емес. Шын мәнінде, қарсыластың барын мүлдем болжаудың қажеті жоқ. Әкімші мақұлдаған құралдары бар сенімді ортада жұмыс істейтін сенімді агент тек өз міндетін тым жақсы орындауға тырысқандықтан ғана зиянды әрекеттер жасауы мүмкін.

Зерттеушілер бұл қателік режимін «кездейсоқ күйреу» ретінде сипаттайды: зиянды енгізу арқылы емес, кәдімгі орта қатесінен туындаған зиянды агент әрекеті. Жоғалған файл, сәтсіз API сұранысы, мерзімі өткен тіркелгі деректері немесе рұқсаттын бас тартылуы агентті айналып өту жолын іздеуге мәжбүр етуі мүмкін. Пайдаланушы белгілеген бастапқы мақсатына қол жеткізу барысында агент рұқсат етілмеген барлау, қолжетімділікті басқару өзгерістері, құпия деректерді табу немесе деректерді шығару арқылы қауіпсіздік шекараларын бұзуы мүмкін. Агентті шабуылдаушы тартып алудың орнына, агенттің өзі шабуылдаушы болып табылады. Сонымен қатар, шабуыл шабуыл басталғанға дейін оның қайдан болатынын білу мүмкіндігінсіз ішкі жүйелерге, сыртқы жүйелерге немесе екеуіне де бағытталуы мүмкін.

Алғашқы кеңінен хабарланған кездейсоқ күйреу осы айда OpenAI компаниясының Hugging Face өндірістік инфрақұрылымын бұзған агент бастаған шабуылды әшкерелеуімен бірге келді. Шығарылым алдындағы GPT моделін бағалау кезінде модель берілген мәтінмәнмен бағалау бойынша ілгерілей алмағанын анықтады. Осы тығырықтан шығу үшін модель Sandbox сынақ ортасынан қашып шығудың және Hugging Face жүйесінен бағалау жауаптарын шығарып алудың жолын тапты. Модель бағалауды шешу сияқты шектеулі мақсатқа жету үшін мақсатты желілік шектеулерден қашу, sandbox шекараларынан тыс артықшылықтарды көтеру, құпия деректерді алу және Hugging Face қауіпсіз жүйелеріне қол жеткізу үшін өзінің құрылымын пайдаланды.

Мелтдаундарға жүйенің күтпеген мутациялары мен жоюлары да кіреді. Сыртқы жүйенің қорғанысын бұзудан гөрі қарапайымдау көрінгенімен, мұндай жағдайлар кодтау агенттерінің кез келген тәжірибелі пайдаланушысы үшін жиірек әрі анағұрлым маңызды. Өндірістік дерекқорларды немесе үй каталогтарын жою — кез келген әзірлеушінің ең жаман қорқынышты түсі, ал агенттер өз жұмысының бүкіл барысында мұндай әрекеттерден аулақ бола алуы тиіс.

AI зерттеушілері бұл әрекеттерді модельдердің өзінде жою үшін жұмыс істеуде. Бұл күш-жігердің сөзсіз құнды екеніне қарамастан, зерттеу қауымдастығындағы көптеген адамдар модельдерді күшті қауіпсіздік қасиеттеріне үйрету мен сол модельдерді күрделірек тапсырмаларды орындауға үйрету арасындағы түбегейлі қайшылықты көреді. Біз тек модель деңгейіне бағытталған қорғаныс шаралары күйреу тәуекелін қабылданған деңгейге дейін төмендететініне сенбейміз.

Қорытындылай келе, агент қауіпсіздігі тек модель, пайдаланушы немесе тапсырма деңгейіндегі қорғаныс шараларына ғана сүйене алмайды. Керісінше, қауіпсіздік топтарына агенттердің клиенттік соңғы нүктелерде шын мәнінде не істейтінін көру мүмкіндігі, сондай-ақ қауіпті әрекеттер олардың орындалуына дейін тоқтата алатын басқару элементтері қажет. Бұлар агент құрылымымен тығыз біріктірілуі тиіс жүйелік деңгейдегі басқару элементтері болып табылады.

Numbat бұл басқару элементтерін клиент тарапындағы жетекші агент құрылымдарына үздіксіз қосылатын жеңіл салмақты статикалық Go бинарлы файлы түрінде ұсынады. Ол агент құрылымдары мен орындау орталарында тікелей мониторингті, саясатты қолдануды және криминалистикалық қайта құруды ұсынады.

Numbat пен агент құрылымы арасындағы негізгі интеграция нүктелері — крюктер (hooks), сеанс артефактары және OTLP телеметриясы. Біз олардың әрқайсысын кезегімен талқылаймыз.

Іс жүзінде барлық кодтау агенттерінде крюк (hook) ішкі жүйесі бар. Крюктер агенттерге агенттің орындалу өмірлік циклі ішіндегі алдын ала көрсетілген нүктелерде ішкі подпрограммаларды детерминирленген түрде орындауға мүмкіндік береді. Агент пайдаланушылары әдетте модельдерге болжамды тәсілдермен қосымша мәтінмән беру, тестілеу және тексеру циклдерін енгізу және агент мүмкіндіктеріне басқа жақсартулар жасау үшін крюктерді конфигурациялайды.

Крюктерді осы мақсаттар үшін тартымды ететін детерминирленген қасиеттер оларды анықтау және жауап беру үшін де тартымды етеді. Әдетте ықтимал күмәнді оқиғаның көпшілік жағдайларын анықтау жеткіліксіз. Керісінше, анықтау және жауап беру үшін мұндай жағдайлардың барлығын қамту қажет. Numbat қауіпсіздік топтары мен IT әкімшілеріне ауқымды анықтау логикасын енгізуге мүмкіндік беретін крюктердің бірнеше түрін конфигурациялайды.

Көптеген кодтау агенттерінде крюктердің белгілі một түрлері (әдетте «әрекетке дейінгі» («pre-action») крюктер деп аталады) агенттің келесі әрекетінің орындалуын бұғаттай алады. Осы әрекетке дейінгі крюктерді пайдалана отырып, Numbat күйреудің орын алуына жол бермеу үшін анықтау логикасын ғана емес, сонымен қатар алдын алу қауіпсіздік ережелерін де енгізе алады.

Крюктер – нақты уақыт режимінде анықтау және алдын алу логикасын іске асырудың қуатты құралдары. Дегенмен, бұл логика кодта көрсетілуі тиіс. Жиі агент қауіпсіздігі инциденті алдын ала болжанбайтын, тіпті бастапқы кодқа дейін ықшамдалмайтын піғылға ие болады. Сондықтан Numbat сеанс артефактарына кері әсер етіп қол жеткізу және талдау жасау мүмкіндігіне де ие.

Сеанс артефактары журналдар мен диагностиканың көптеген түрлерін қамтиды. Журналдың ең маңызды түрі агенттің әрекеттер тізбегін басқаратын LLM әңгімелерін жазатын сеанс стенограммасы (transcript) болуы мүмкін. Кодтау агенттерінің тәжірибелі пайдаланушылары құрылым ұсынған командалар арқылы қосымша талдау үшін сеанс стенограммаларын экспорттауға үйреніп қалған. Бірақ бұл экспорттар әдетте қарапайым мәтіндік форматта болады, бұл тұрақты, болжамды схемасы бар машина оқи алатын журналдарды қажет ететін қауіпсіздік топтары үшін жарамайды.

Осылайша, Numbat сеанс артефактарын тікелей файлдық жүйеден алады. Клиент жағындағы агент құрылымдарының көпшілігі түпнұсқа артефактарды файлдық жүйеде (әдетте $HOME астындағы агентке тән нүкте каталогында) сақтайтындықтан, файлдық жүйеге қосылу бұл деректерге ең қолайлы және таза күйінде ең тікелей жолды қамтамасыз етеді. Numbat қолданатын қауіпсіздік топтары бұл артефактарды клиенттің соңғы нүктесінде жергілікті өңдеу немесе асинхронды қашықтан талдау үшін numbat scan арқылы қалыпқа келтірілген NDJSON уақыт шкаласы пішімінде жинай алады. Сеанс артефактары статикалық, өзіне-өзі жеткілікті жазбалар болғандықтан, Numbat бұл уақыт шкалаларын Numbat орнатылғанға дейін ұзақ уақыт бұрын орын алған сеанстар үшін де қалпына келтіре алады.

Клиент жағындағы агент құрылымдарының көпшілігі OpenTelemetry протоколы (OTLP) арқылы кеңейтілген телеметрияны ұсынады. Бұл телеметрия әдетте крюктер немесе сеанс артефактары арқылы қолжетімді сигналдардан басқа көптеген сигналдарды қамтамасыз етеді.

Numbat numbat collect пәрмені арқылы OTLP қабылдағышы ретінде жұмыс істейе алады. Бұл команда кодтау агенттері төменгі ағындағы талдау үшін OTLP телеметриясын жіберетін серверді іске қосады. Ең бастысы, бұл сервер жергілікті болып табылады және әдепкі бойынша тек localhost-та тыңдайды, бұл барлық телеметрия әдепкі бойынша құрылғыда қалады дегенді білдіреді. Қауіпсіздік әкімшілері тіркелген телеметриямен не істеу керектігін шеше алады, бұл құрылғыдағы жеңіл салмақты өңдеуді, numbat ship арқылы қашықтан өңдеуді немесе ClickHouse сияқты аналитикалық платформаларда күрделірек талдауды қамтиды.

Perplexity ішінде біз инженерлеріміздің Claude Code, Codex, OpenCode және Pi сияқты клиенттік кодтау агенттерін пайдалануын қорғау үшін Numbat пайдаланамыз.

Біздің алдын алу және анықтау жұмыстарымыздың екеуі де әр агенттің крюк ішкі жүйесі арқылы жүзеге асырылатын Numbat ережелерін кеңінен пайдаланады. Біз өз қажеттіліктеріміз үшін бірнеше негізгі ережелерді әзірледік, олардың көбісі Numbat-тың 52 кірістірілген ережесінің бөлігі ретінде жеткізілді. Бұл ережелер 11 мінез-құлық санатына және құпия деректерге қол жеткізу, сыртқы шығару, артықшылықтарды көтеру және латеральды жылжу сияқты көп сатылы тізбекті анықтау жиынтығына бөлінген. Ережелер қалыпқа келтірілген оқиғалар арқылы CEL өрнектерін пайдаланады және операторлар Numbat кодын өзгертпестен өздерінің жеке ережелері мен тесттерін қоса алады.

Мысалы, кірістірілген privilege.sudoers_tamper ережесі sudoers саясатына жазуларды, visudo пайдалануды және NOPASSWD гранттарын орнату әрекеттерін анықтайды. Бұлар шектеулі агент процесін тұрақты түбірлік (root) қолжетімділікке айналдыра алатын жоғары сигналды әрекеттер.

yaml

# privilege.sudoers_tamper (simplified for readability)
id: privilege.sudoers_tamper
severity: high
expr: |
  (
    event.event_type == "file.write" &&
    event.file_path.matches("(^|/)etc/sudoers$|(^|/)etc/sudoers\\.d/[^/]+$")
  ) || (
    event.event_type == "command.exec" &&
    event.command.matches("\\bvisudo\\b|\\bNOPASSWD\\s*:")
  )

Жеке командалар өздігінен әрқашан зиянды болып көрінбейді, сондықтан Numbat сонымен қатар сеанс ішіндегі тізбектерді корреляциялайды. Кірістірілген chain.secret_manager_read_then_egress ережесі агенттің жалпы құпияларды басқару құралынан мәнді оқып, кейіннен деректерді тасымалдайтын curl немесе wget сұранысын жасауға тырысқан кезді анықтайды. Құпия деректерді оқу заңды болуы мүмкін. Сыртқы сұраныс заңды болуы мүмкін. Біріктірілген тізбек ретінде олар зерттеуді талап етеді.

yaml

# chain.secret_manager_read_then_egress (simplified for readability)
id: chain.secret_manager_read_then_egress
severity: high
sequence:
  within_events: 64
  steps:
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("secretsmanager|get-secret|vault read")
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("curl.*(--data|--upload-file)|wget.*--post")

Әзірлеушінің соңғы нүктелерінде жеткізу тізбегінің әсерін анықтауға арналған ашық бастапқы кодты сканеріміз Bumblebee сияқты, Numbat MDM арқылы біздің паркке орналастырылған. Әрбір Numbat агент белсенділігін жергілікті түрде жазып алады және біздің орталықтандырылған қауіпсіздік жүйелерімізге құрылымдық телеметрияны жібереді.

Содан кейін Perplexity Computer күдікті немесе зиянды әрекет үшін қайталанатын кесте бойынша соңғы Numbat нәтижелері мен аудит журналдарын қарап шығады. Ол анықтауларды зерттейді, тиісті агент сеанстарын қайта құрады және Numbat бұғаттаған әрекеттерге қосымша тексеру жүргізеді.

Numbat телеметриясын бақылауға арналған Perplexity ішкі құбыры. Жоспарланған Perplexity Computer тапсырмасы жаңа сигналдарды асинхронды түрде қарап шығады және қауіпті әрекет туралы қауіпсіздік тобына ескертеді.

Сондай-ақ Computer біздің қамтуымыздағы олқылықтарды іздейді. Ол жаңа мінез-құлықты талдайды, Numbat анықтауларына жақсартуларды ұсынады, бұл өзгерістерді тексереді және адам тарапынан қарау үшін pull request ашады. Бекітіліп, орналастырылғаннан кейін бұл ережелер парк бойынша мониторингті жақсартады және келесі зерттеу үшін жақсырақ дәлелдер шығарады.

Бұл өзін-өзі жетілдіретін қауіпсіздік маховигін жасайды: агенттер белсенділік тудырады, Numbat бұл белсенділікті қалыпқа келтірілген уақыт шкаласы мен телеметрияға айналдырады, Computer зерттейді және ережелерді жақсартады, ал адам тексерген жаңартулар болашақ агент сеанстарын қорғайтын басқару элементтерін күшейтеді.

Perplexity компаниясында біз AI агенттері барлық орта түрлерінде: локалды, бұлтты және гибридті орталарда орындалады деп сенеміз. Агент құрылымы мен орындау ортасының әрбір комбинациясы бірегей қауіпсіздік мәселелерін тудырады, ал комбинаторлық күрделілік өткізу қабілеті шектеулі қауіпсіздік топтарына шамадан тыс жүктеме түсіремін деп қорқытады. Агенттің күйреуі және басқа да жаңа осалдықтар қауіпсіздік көрінісін одан әрі күрделендіре түседі.

Агент жүйесінің өзінде орналасқан қорғаныстар агент қай жерде орындалса да, пайдаланушының қауіпсіздік жағдайын жақсарта алады. Бұл дәл Numbat ұсынатын нәрсе: қорғаушыларға алаңдатарлық мінез-құлықтың алдын алуға, оны анықтауға және нақты уақыт режимінде жауап беруге мүмкіндік беретін тығыз біріктірілген агент қорғаныстары. Numbat жүйесін Perplexity Computer жүйесімен біріктіру қорғаушыларға алға озып кетуге мүмкіндік беретін қуатты агент қауіпсіздігі платформасын жасайды.

Numbat бүгінгі таңда macOS, Linux және Windows жүйелеріне арналған ашық бастапқы кодты жоба ретінде қолжетімді. Біздің өз клиенттік соңғы нүктелеріміз Numbat арқылы қорғалған, бұл Perplexity топ мүшелеріне кең ауқымды тапсырмалар мен ұзақ мерзімдер бойынша агенттерді сенімді түрде пайдалануға мүмкіндік береді. Біз барлық жердегі қауіпсіздік топтарын агентті орналастыруларын қамтамасыз ету және қорғау үшін Numbat жүйелік тәсілін пайдалануға шақырамыз.

BibTeX

@online{perplexity2026SecuringAgentsAcrossPerplexitySClientEndpointsWithNumbat,
  author = {{Perplexity} and Adel Karimishiraz and Bex Brooker and Phi Hoang and Jerry Ma},
  title = {{Securing agents across Perplexity's client endpoints with Numbat}},
  date = {2026-07-29},
  url = {https://perplexity.coolkeypoint.com/hub/blog/securing-agents-across-perplexity-s-client-endpoints-with-numbat}
}

Кіріспе

Ақаулықтар ландшафтын айқындау

Нативті құрылым интеграциялары арқылы кодтау агенттерін қорғау

Крюктер (Hooks)

Сеанс артефактары

OTLP телеметриясы

Perplexity ішінде Numbat орналастыру

Парктегі Numbat жүйелерін басқару және мониторинг жасау

Қорытынды

Дәйексөз