ఏజెంట్లు లేదా బాట్‌లా? ఓపెన్ వెబ్‌లో AIని అర్థం చేసుకోవడం

ఇంటర్నెట్ అభివృద్ధి చెందుతున్న కొద్దీ, సమాచారాన్ని మనం యాక్సెస్ చేసే మరియు దానితో సంభాషించే విధానాలు కూడా మారుతున్నాయి. వెబ్ ప్రారంభ రోజులలో, ఆటోమేటెడ్ బాట్‌లు ఒక సాధారణ, బాగా అర్థం చేసుకున్న పాత్రను పోషించాయి: వెబ్‌సైట్ యజమానులు సెట్ చేసిన స్పష్టమైన నిబంధనల ప్రకారం శోధన కోసం సైట్‌లను ఇండెక్స్ చేయడం, లింక్‌లను తనిఖీ చేయడం లేదా డేటాను స్క్రాప్ చేయడం.

అయితే AI-శక్తితో పనిచేసే అసిస్టెంట్లు మరియు వినియోగదారు-ఆధారిత ఏజెంట్ల పెరుగుదలతో, "కేవలం ఒక బాట్"గా పరిగణించబడేదానికి మరియు నిజమైన వ్యక్తుల తక్షణ అవసరాలను తీర్చేదానికి మధ్య గీత క్రమంగా అస్పష్టంగా మారింది.

ఆధునిక AI అసిస్టెంట్లు సాంప్రదాయ వెబ్ క్రాలింగ్ కంటే ప్రాథమికంగా భిన్నంగా పనిచేస్తాయి. ప్రస్తుత సమాచారం అవసరమయ్యే ప్రశ్నను మీరు Perplexityకి అడిగినప్పుడు—ఉదాహరణకు, "ఆ కొత్త రెస్టారెంట్ కోసం తాజా సమీక్షలు ఏమిటి?"—AI వద్ద ఆ సమాచారం ఇప్పటికే ఎక్కడో డేటాబేస్‌లో ఉండదు. బదులుగా, ఇది సంబంధిత వెబ్‌సైట్‌లకు వెళ్లి, కంటెంట్‌ను చదివి, మీ నిర్దిష్ట ప్రశ్నకు తగినట్లుగా సారాంశాన్ని తీసుకువస్తుంది.ექ

ఎవరైనా ఆ నిర్దిష్ట సమాచారాన్ని కోరినా లేదా కోరకపోయినా, భారీ డేటాబేస్‌లను నిర్మించడానికి క్రాలర్‌లు క్రమపద్ధతిలో మిలియన్ల కొద్దీ పేజీలను సందర్శించే సాంప్రదాయ వెబ్ క్రాలింగ్ నుండి ఇది ప్రాథమికంగా భిన్నంగా ఉంటుంది. దీనికి విరుద్ధంగా, వినియోగదారు-ఆధారిత ఏజెంట్లు నిజమైన వ్యక్తి ఏదైనా నిర్దిష్టమైన వాటిని అభ్యర్థించినప్పుడు మాత్రమే కంటెంట్‌ను పొందుతాయి మరియు వినియోగదారు ప్రశ్నకు సమాధానం ఇవ్వడానికి ఆ కంటెంట్‌ను వెంటనే ఉపయోగిస్తాయి. Perplexity యొక్క వినియోగదారు-ఆధారిత ఏజెంట్లు సమాచారాన్ని నిల్వ చేయవు లేదా దానితో శిక్షణ పొందవు.

ఆటోమేటెడ్ క్రాలింగ్ మరియు వినియోగదారు-ఆధారిత ఫెచింగ్ మధ్య వ్యత్యాసం కేవలం సాంకేతికమైనది కాదు—ఇది ఓపెన్ వెబ్‌లో సమాచారాన్ని ఎవరు యాక్సెస్ చేయగలరు అనే దాని గురించి. Google శోధన ఇంజన్ తన సూచికను నిర్మించడానికి క్రాల్ చేసినప్పుడు, మీరు ప్రివ్యూను అభ్యర్థించినందున అది వెబ్‌పేజీని తెచ్చిన దాని కంటే భిన్నంగా ఉంటుంది. ఈ అభ్యర్థనలు మీ తరపున జరుగుతాయి కాబట్టి Google యొక్క "వినియోగదారు-ప్రేరేపిత ఫెచర్‌లు" robots.txt నిబంధనల కంటే మీ అనుభవానికి ప్రాధాన్యత ఇస్తాయి.

AI అసిస్టెంట్లకు కూడా ఇదే వర్తిస్తుంది. Perplexity వెబ్‌పేజీని తీసుకువచ్చినప్పుడు, ప్రస్తుత సమాచారం అవసరమయ్యే నిర్దిష్ట ప్రశ్నను మీరు అడిగినందువల్ల అది జరుగుతుంది. కంటెంట్ శిక్షణ కోసం నిల్వ చేయబడదు—మీ ప్రశ్నకు సమాధానం ఇవ్వడానికి ఇది వెంటనే ఉపయోగించబడుతుంది.

Cloudflare వంటి కంపెనీలు వినియోగదారు-ఆధారిత AI అసిస్టెంట్లను హానికరమైన బాట్‌లుగా తప్పుగా వర్ణించినప్పుడు, వినియోగదారులకు సేవ చేసే ఏదైనా ఆటోమేటెడ్ సాధనం అనుమానాస్పదంగా ఉండాలని వారు వాదిస్తున్నారు—ఈ స్థానం ఇమెయిల్ క్లయింట్లు మరియు వెబ్ బ్రౌజర్‌లను లేదా కాబోయే గేట్‌కీపర్ తనకు నచ్చలేదని నిర్ణయించుకున్న ఏదైనా ఇతర సేవను నేరపూరితం చేస్తుంది.

చట్టబద్ధమైన AI అసిస్టెంట్లు మరియు వాస్తవ బెదిరింపుల మధ్య తేడాను గుర్తించడానికి Cloudflare సిస్టమ్‌లు ప్రాథమికంగా సరిపోవని ఈ వివాహం వెల్లడిస్తుంది. సహాయక డిజిటల్ అసిస్టెంట్‌ను హానికరమైన స్క్రాపర్ నుండి మీరు వేరు చేయలేకపోతే, చట్టబద్ధమైన వెబ్ ట్రాఫిక్ అంటే ఏమిటో బహుశా మీరు నిర్ణయాలు తీసుకోకూడదు.

ఈ ఓవర్‌బ్లాకింగ్ ప్రతి ఒక్కరికీ హాని చేస్తుంది. వైద్య పరిస్థితులను పరిశోధించడానికి, ఉత్పత్తి సమీక్షలను సరిపోల్చడానికి లేదా బహుళ మూలాల నుండి వార్తలను యాక్సెస్ చేయడానికి AIని ఉపయోగించే ఎవరైనా పరిగణించండి. వారి అసిస్టెంట్ "హానికరమైన బాట్"గా నిరోధించబడితే, వారు విలువైన సమాచారాన్ని యాక్సెస్ చేయలేరు.

ఫలితంగా ద్విస్థాయి ఇంటర్నెట్ ఏర్పడుతుంది, ఇక్కడ మీ యాక్సెస్ మీ అవసరాలపై ఆధారపడి ఉండదు, బదులుగా మీ సాధనాలను మౌలిక సదుపాయాల నియంత్రకులు ఆమోదించారా లేదా అనేదానిపై ఆధారపడి ఉంటుంది, వారు మీ సాధనాల కంటే వారి స్వార్థం గురించే ఎక్కువ శ్రద్ధ వహిస్తారు. ఇది వినియోగదారు ఎంపికను బలహీనపరుస్తుంది మరియు స్థాపించబడిన దిగ్గజాలతో పోటీ పడే నూతన సేవలకు ఓపెన్ వెబ్ అందుబాటును ప్రమాదంలో పడేస్తుంది.

AI అసిస్టెంట్ సరిగ్గా మానవ అసిస్టెంట్ వలె పనిచేస్తుంది. ప్రస్తుత సమాచారం అవసరమయ్యే ప్రశ్నను మీరు AI అసిస్టెంట్‌ని అడిగినప్పుడు, వారికి సమాధానం ముందుగా తెలియదు. మీరు అడి간ిన ఏ పైనైనా పూర్తి చేయడానికి వారు దానిని మీ కోసం వెతుకుతారు.

Perplexity మరియు ఇతర అన్ని ఏజెంట్ AI ప్లాట్‌ఫారమ్‌లలో, ఇది నిజ సమయంలో, మీ అభ్యర్థనకు ప్రతిస్పందనగా జరుగుతుంది మరియు మీ ప్రశ్నకు సమాధానం ఇవ్వడానికి సమాచారం వెంటనే ఉపయోగించబడుతుంది. ఇది భవిష్యత్తు ఉపయోగం కోసం భారీ డేటాబేస్‌లలో నిల్వ చేయబడదు మరియు AI నమూనాలకు శిక్షణ ఇవ్వడానికి ఇది ఉపయోగించబడదు.

వినియోగదారు-ఆధారిత ఏజెంట్లు వినియోగదారులు నిర్దిష్ట అభ్యర్థనలను చేసినప్పుడు మాత్రమే చర్య తీసుకుంటాయి మరియు ఆ అభ్యర్థనలను నెరవేర్చడానికి అవసరమైన కంటెంట్‌ను మాత్రమే పొందుతాయి. యూజర్ ఏజెంట్‌కు మరియు బాట్‌కు మధ్య ఉన్న ప్రాథమిక వ్యత్యాసం ఇదే.

ఆధునిక AI అసిస్టెంట్లు వాస్తవానికి ఎలా పనిచేస్తాయనే దాని గురించి Cloudflare యొక్క ఇటీవలి బ్లాగ్ పోస్ట్ దాదాపు ప్రతిదీ తప్పుగా అర్థం చేసుకుంది.

20-25M యూజర్ ఏజెంట్ అభ్యర్థనలు స్క్రాపర్లు కావని తప్పుగా అర్థం చేసుకోవడంతో పాటు, వెబ్‌సైట్ నిబంధనలను దాటవేయడానికి దాచిన బాట్‌లు మరియు ఇంపర్సనేషన్ వ్యూహాలను ఉపయోగిస్తూ Perplexity "స్టీల్త్ క్రాలింగ్"లో పాల్పడిందని Cloudflare పేర్కొంది. కానీ సాంకేతిక వాస్తవాలు వేరే కథను చెబుతున్నాయి.

Perplexity అత్యంత విశిష్టమైన పనుల కోసం మాత్రమే అప్పుడప్పుడు ఉపయోగించే (రోజువారీ 45,000 అభ్యర్థనల కంటే తక్కువ) మూడవ పక్ష క్లౌడ్ బ్రౌజర్ సేవ అయిన BrowserBase నుండి వచ్చిన సంబంధం లేని ట్రాఫిక్ యొక్క 3-6M రోజువారీ అభ్యర్థనలతో Cloudflare Perplexityని గందరగోళానికి గురిచేసినట్లు కనిపిస్తోంది.

Cloudflare వారి పద్ధతిని సౌకర్యవంతంగా అస్పష్టం చేసింది మరియు మా టీమ్‌లకు అర్థం చేసుకోవడానికి సహాయపడే ప్రశ్నలకు సమాధానమివ్వడానికి నిరాకరించింది కాబట్టి, మేము దీనిని రెండు సాధ్యమైన వివరణలకు మాత్రమే కుదించగలం.

Cloudflareకి ఒక తెలివైన పబ్లిసిటీ క్షణం అవసరమైంది మరియు మేము–వారి స్వంత కస్టమర్–అందుకోసం వారికి ఉపయోగపడే పేరు అయ్యాము.

BrowserBase యొక్క ఆటోమేటెడ్ బ్రౌజర్ సేవ నుండి వచ్చిన 3-6M రోజువారీ అభ్యర్థనలను Cloudflare ప్రాథమికంగా Perplexityకి తప్పుగా ఆపాదించింది, ఇది వెబ్ ట్రాఫిక్‌ను అర్థం చేసుకోవడం మరియు వర్గీకరించడం ప్రధాన వ్యాపారంగా కలిగిన కంపెనీకి ప్రత్యేకించి సిగ్గుచేటైన ప్రాథమిక ట్రాఫిక్ విశ్లేషణ వైఫల్యం.

ఏ వివరణ నిజమైనప్పటికీ, Cloudflare విశ్లేషణలోని సాంకేతిక లోపాలు కేవలం సిగ్గుచేటు మాత్రమే కాదు—అవి అనర్హమైనవి. మీరు మిలియన్ల కొద్దీ అభ్యర్థనలను తప్పుగా ఆపాదించినప్పుడు, పూర్తిగా సరికాని సాంకేతిక రేఖాచిత్రాలను ప్రచురించినప్పుడు మరియు ఆధునిక AI అసిస్టెంట్లు ఎలా పనిచేస్తాయనే దానిపై ప్రాథమిక అపార్థాన్ని ప్రదర్శించినప్పుడు, ఈ స్పేస్‌లో నైపుణ్యంపై మీ దావాను మీరు కోల్పోయారు.

ఈ సమస్య చుట్టూ ఉన్న ఆర్భాటం Cloudflare నాయకత్వం AI యొక్క ప్రాథమిక విషయాలపై ప్రమాదకరంగా తప్పుడు సమాచారాన్ని కలిగి ఉందని లేదా క్లౌడ్ కంటే కేవలం ఆడంబరాన్ని కలిగి ఉందని వెల్లడిస్తుంది. Cloudflare కస్టమర్‌లలో అన్ని రకాల వ్యాపారాలు ఉన్నాయి కాబట్టి ఇది ముఖ్యం, ఛార్లాటన్ పబ్లిసిటీ స్టంట్‌లతో తమ మౌలిక సదుపాయాలను విశ్వసించలేని కంపెనీలు.

మరింత సిగ్గుచేటైన విషయం ఏమిటంటే, Perplexity నిజంగా ఎలా పనిచేస్తుందనేదానికి ఎలాంటి పోలిక లేని "Perplexity యొక్క క్రాలింగ్ వర్క్‌ఫ్లో" అని పేర్కొంటూ Cloudflare ఒక సాంకేతిక రేఖాచిత్రాన్ని ప్రచురించింది. Cloudflare తాము చూస్తున్న డేటాను, మా సిస్టమ్‌లు ఎలా పనిచేస్తాయో లేదా పైన పేర్కొన్న ఈ ప్రాథమిక కాన్సెప్ట్‌లను అర్థం చేసుకోవడానికి నిజంగా ఆసక్తి కలిగి ఉంటే, Perplexity వినియోగదారులందరినీ మేము చేసే పనిని వారు చేసి ఉండవచ్చు. కేవలం అడగండి.

డిజిటల్ అసిస్టెంట్ల పెరుగుదల

ఈ తేడా ఎందుకు ముఖ్యం

స్పష్టత కోసం ఒక పిలుపు: యూజర్ ఏజెంట్లు వాస్తవానికి ఎలా పనిచేస్తాయి

Cloudflareని నేరుగా సంబోధించడం: సామర్థ్యానికి సంబంధించిన ప్రశ్న