Агенттер әлде боттар ма? Ашық вебтегі ЖИ-ді түсіну

Интернет дамыған сайын, ақпаратқа қол жеткізу және онымен әрекеттесу тәсілдері де өзгереді. Вебтің алғашқы күндерінде автоматтандырылған боттар қарапайым және түсінікті рөл атқарды: іздеу жүйелері үшін сайттарды индекстеу, сілтемелерді тексеру немесе веб-сайт иелері белгілеген анық ережелерге сәйкес деректерді жинау.

"Жай ғана бот" пен нақты адамдардың күнделікті қажеттіліктерін өтейтін құралдың арасындағы шекара жасанды интеллект көмекшілері мен пайдаланушы бағыტтайтын агенттердің пайда болуымен бұрынғыдан да көмескілене түсті.

Заманауи ЖИ көмекшілері дәстүрлі веб-краулингтен мүлде басқаша жұмыс істейді. Perplexity жүйесіне ағымдағы ақпаратты қажет ететін сұрақ қойсаңыз, мысалы, "Жаңа мейрамхана туралы соңғы пікірлер қандай?", жасанды интеллект бұл ақпаратты қандай да бір дерекқордан іздеп таппайды. Оның орнына ол тиісті веб-сайттарға кіріп, мазмұнын оқиды және сіздің нақты сұрағыңызға бейімделген қорытындыны ұсынады.

Бұл кімнің бұл ақпаратты сұрағанына немесе сұрамағанына қарамастан, үлкен дерекқорларды құру үшін краулерлер миллиондаған беттерді жүйелі түрде аралайтын дәстүрлі веб-краулингтен түбегейлі ерекшеленеді. Керісінше, пайдаланушы бағыттайтын агенттер мазмұнды тек нақты адам бір нәрсені сұраған кезде ғана алады және олар бұл мазмұнды пайдаланушының сұрағына бірден жауап беру үшін пайдаланады. Perplexity компаниясының пайдаланушы бағыттайтын агенттері бұл ақпаратты сақтамайды және онымен үлгілерді оқытпайды.

Автоматтандырылған краулинг пен пайдаланушы бағыттайтын деректерді алу арасындағы айырмашылық тек техникалық мәселе емес — бұл ашық вебте ақпаратқа кімнің қол жеткізе алатыны туралы. Google іздеу жүйесі өз индексін құру үшін сайттарды шолып шыққанда, бұл алдын ала қарауды сұрағандықтан веб-парақшаны жүктеп алғаннан өзгеше болады. Google компаниясының "пайдаланушы іске қосатын дерек алушылары" robots.txt шектеулерінен гөрі сіздің тәжірибеңізді бірінші орынға қояды, өйткені бұл сұраулар сіздің атыңыздан орындалады.

Бұл жасанды интеллект көмекшілеріне де қатысты. Perplexity веб-парақшаны жүктеп алған кезде, бұл сіздің ағымдағы ақпаратты қажет ететін нақты сұрақ қойғаныңыз үшін жасалады. Мазмұн оқыту үшін сақталмайды — ол сіздің сұрағыңызға бірден жауап беру үшін қолданылады.

Cloudflare сияқты компаниялар пайдаланушы бағыттайтын ЖИ көмекшілерін зиянды боттар деп қате сипаттағанда, олар пайдаланушыларға қызмет көрсететін кез келген автоматтандырылған құрал күдікті болуы тиіс деп санайды — бұл ұстаным электрондық пошта клиенттері мен веб-браузерлерді немесе әлеуетті шлюз бақылаушысы ұнатпайтын кез келген басқа қызметті заңсыз деп танытар еді.

Бұл дау Cloudflare жүйелерінің заңды ЖИ көмекшілері мен нақты қатерлерді ажыратуға түбегейлі қабілетсіз екенін көрсетеді. Егер сіз пайдалы цифрлық көмекшіні зиянды скрейперден ажырата алмасаңыз, онда сіз заңды веб-трафик не екендігі туралы шешім қабылдамауыңыз керек.

Бұл тым көп бұғаттау барлығына зиянын тигізеді. Медициналық жағдайларды зерттеу, өнім пікірлерін салыстыру немесе бірнеше көзден жаңалықтар алу үшін ЖИ пайдаланатын адамды елестетіп көріңіз. Егер олардың көмекшісі "зиянды бот" ретінде бұғатталса, олар құнды ақпаратқа қол жеткізе алмай қысылып қалады.

Нәтижесінде сіздің қолжетімділігіңіз қажеттіліктеріңізге емес, сіз таңдаған құралдардың инфрақұрылымды бақылаушылар тарапынан мақұлданғанына байланысты болатын екі деңгейлі интернет қалыптасады, ал олардың көбінесе сіздің мүмкіндіктеріңізге көбірек мән беретіні белгілі. Бұл пайдаланушылардың таңдауын бұзады және қалыптасқан алпауыттармен бәсекелесетін инновациялық қызметтер үшін ашық вебтің қолжетімділігіне қатер төндіреді.

ЖИ көмекшісі кәдімгі адам көмекшісі сияқты жұмыс істейді. ЖИ көмекшісінен ағымдағы ақпаратты қажет ететін сұрақ сұрасаңыз, олар жауабын алдын ала білмейді. Олар сіз сұраған кез келген тапсырманы орындау үшін оны сіз үшін іздеп табады.

Perplexity жүйесінде және басқа да барлық агенттік ЖИ платформаларында бұл сіздің сұрауыңызға жауап ретінде нақты уақыт режимінде орын алады және ақпарат сұрағыңызға бірден жауап беру үшін пайдаланылады. Ол болашақта пайдалану үшін үлкен дерекқорларда сақталмайды және ЖИ үлгілерін оқыту үшін қолданылмайды.

Пайдаланушы бағыттайтын агенттер тек пайдаланушылар нақты сұраулар жасаған кезде ғана әрекет етеді және олар тек сол сұрауларды орындау үшін қажетті мазмұнды алады. Бұл пайдаланушы агенті мен бот арасындағы түбегейлі айырмашылық.

Cloudflare компаниясының жуырдағы блог жазбасы заманауи ЖИ көмекшілерінің жұмыс істеу принципі туралы барлық нәрсені дерлік қате түсіндірді.

20-25 миллион пайдаланушы агентінің сұраулары скрейперлер емес екенін түсінбеумен қатар, Cloudflare компаниясы Perplexity веб-сайт шектеулерін айналып өту үшін жасырын боттар мен өзгенің атын жамылу әдістерін қолдана отырып, "жасырын краулингпен" айналысты деп мәлімдеді. Бірақ техникалық фактілер басқаны көрсетеді.

Cloudflare компаниясы Perplexity қызметін BrowserBase қызметінен келіп түсетін 3-6 миллион күнделікті қатысы жоқ трафикпен шатастырған сияқты. BrowserBase — Perplexity бұл қызметті өте мамандандырылған тапсырмалар үшін (күніне 45 000-нан аз сұрау) тек кейде ғана пайдаланатын үшінші тарап бұлтты браузер қызметі.

Cloudflare өз әдістемесін әдейі түсініксіз етіп жасағанын және біздің топтарға түсінуге көмектесетін сұрақтарға жауап беруден бас тартқанын ескерсек, біз мұны тек екі ықтимал түсіндірмемен шектей аламыз.

Cloudflare компаниясына жарнамалық тұрғыдан тиімді сәт қажет болды, ал біз — олардың өз тұтынушысы — оларға қол жеткізуге көмектесетін ыңғайлы атау болып шықтық.

Cloudflare компаниясы BrowserBase автоматтандырылған браузер қызметінен келетін 3-6 миллион күнделікті сұрауды Perplexity компаниясына қате теліді. Бұл веб-трафикті түсіну және санаттарға бөлу негізгі бизнес болып табылатын компания үшін әсіресе ұят болатын қарапайым трафикті талдау қателігі.

Қай түсіндірме шындық екеніне қарамастан, Cloudflare талдауындағы техникалық қателер тек ұят емес — олар осы кеңістіктегі кәсібилікке деген кез келген талапты жоққа шығарады. Миллиондаған сұрауларды қате көрсетіп, мүлдем қате техникалық диаграммаларды жариялап, заманауи ЖИ көмекшілерінің қалай жұмыс істейтінін түсінбейтініңізді көрсетсеңіз, сіз бұл саланың сарапшысы деген атақтан айырыласыз.

Бұл мәселенің төңірегіндегі дау-майдан Cloudflare басшылығы ЖИ негіздерінен қауіпті түрде хабарсыз екенін немесе бұл жай ғана бос сөз екенін көрсетеді. Бұл маңызды, өйткені Cloudflare тұтынушылары қатарына әртүрлі бизнес иелері, өз инфрақұрылымын алаяқтық жарнамалық трюктерге сеніп тапсыра алмайтын компаниялар кіреді.

Одан да ұят жағдай, Cloudflare компаниясы Perplexity қалай жұмыс істейтініне еш ұқсамайтын, "Perplexity компаниясының краулинг жұмыс процесі" деп болжанатын техникалық диаграмманы жариялады. Егер Cloudflare көріп отырған деректерін, жүйелеріміздің қалай жұмыс істейтінін немесе жоғарыда аталған іргелі тұжырымдарды түсінуге шынымен мүдделі болса, олар барлық Perplexity пайдаланушыларына ұсынатын әрекетті жасай алар еді. Жай ғана сұраңыз.

Цифрлық көмекшілердің дәуірі

Бұл айырмашылық неге маңызды?

Анықтыққа шақыру: Пайдаланушы агенттері шын мәнінде қалай жұмыс істейді

Cloudflare компаниясына тікелей үндеу: Құзыреттілік мәселесі