Google నుండి AI స్క్రాపింగ్‌ను అనుమతించండి లేదా శోధన దృశ్యమానతను కోల్పోతుంది

యుఎస్ ప్రభుత్వం దాని ఎంపికలను క్రింది విధంగా అంచనా వేస్తుంది Googleకి వ్యతిరేకంగా ఒక మైలురాయి “గుత్తాధిపత్య” తీర్పు గత వారం, ఆన్‌లైన్ ప్రచురణలు మరింత అస్పష్టమైన భవిష్యత్తును ఎదుర్కొంటున్నాయి. (మరియు ఈసారి, ఇది కేవలం ప్రకటన రాబడి బాగా తగ్గిన కారణంగా కాదు.) బ్లూమ్‌బెర్గ్ నివేదికలు వారి ఎంపిక ఇప్పుడు Google వారి ప్రచురించిన కంటెంట్‌ను ఉత్పత్తి చేయడానికి ఉపయోగించుకునేలా అనుమతించడం ఇన్లైన్ AI-ఉత్పత్తి శోధన “సమాధానాలు” లేదా కంపెనీ శోధన ఇంజిన్‌లో దృశ్యమానతను కోల్పోతుంది.

సమస్య యొక్క ముఖ్యాంశం Googlebotలో ఉంది, మీరు శోధన పదాలను నమోదు చేసినప్పుడు మీరు చూసే ఫలితాలను రూపొందించడానికి ప్రత్యక్ష వెబ్‌ను శోధించే మరియు సూచిక చేసే క్రాలర్. పబ్లిషర్‌లు తమ కంటెంట్‌ని ఉపయోగించకుండా Googleని బ్లాక్ చేస్తే, మీరు ఇప్పుడు అనేక శోధన ఫలితాలలో ఎగువన చెత్తగా ఉన్న AI-ఉత్పత్తి సమాధానాల కోసం, వారు స్నిప్పెట్‌లు మరియు Discover వంటి ఇతర Google శోధన ప్రోగ్రామ్‌లలో కనిపించే అధికారాన్ని కూడా కోల్పోతారు.

Google దాని కోసం ప్రత్యేక క్రాలర్‌ని ఉపయోగిస్తుంది జెమిని (గతంలో బార్డ్) చాట్‌బాట్కానీ దాని AI ఓవర్‌వ్యూలు దాని ప్రధాన క్రాలర్ నుండి డేటాను ఉపయోగించి రూపొందించబడ్డాయి. AI ఓవర్‌వ్యూల నుండి మొత్తం కథనాన్ని బ్లాక్ చేయడం వలన దాని క్రాలర్ “ర్యాంకింగ్ ప్రయోజనాల కోసం మాకు అందించబడిన వాటి పూర్తి పాఠం” చూడకుండా లేదా “సూచిక చేయబడి మరియు మా వెబ్ శోధన ఫలితాల్లో కనిపించకుండా” నిరోధించబడదని Google ప్రతినిధి Engadgetకి చెప్పారు.

ప్రచురణకర్తల కోసం కంపెనీ యొక్క సాధనాలు స్నిప్పెట్‌లు లేదా AI ఓవర్‌వ్యూల వంటి ఫీచర్‌ల నుండి పేజీలోని నిర్దిష్ట విభాగాలను మాత్రమే బ్లాక్ చేయడానికి సైట్‌లను అనుమతిస్తాయని కూడా ప్రతినిధి చెప్పారు. అయినప్పటికీ, మొత్తం శోధన పనితీరును ప్రభావితం చేయకుండా AI ఓవర్‌వ్యూలను పూర్తిగా నిరోధించడానికి వెబ్ ప్రచురణకర్తలకు మార్గం లేదు.

క్యాచ్-22 ప్రచురణలు, ప్రత్యర్థి సెర్చ్ ఇంజన్‌లు మరియు AI స్టార్టప్‌లు న్యాయ శాఖపై తమ ఆశలు పెట్టుకునేలా చేసింది. మంగళవారం నాడు, ది న్యూయార్క్ టైమ్స్ నివేదించారు DOJ సంస్థలోని భాగాలను (Chrome లేదా Android వంటి విభాగాలను స్పిన్ చేయడం) విచ్ఛిన్నం చేయమని ఫెడరల్ న్యాయమూర్తిని అడగడాన్ని పరిశీలిస్తోంది. శోధన డేటాను పోటీదారులతో భాగస్వామ్యం చేయమని Googleని బలవంతం చేయడం లేదా దాని డిఫాల్ట్ సెర్చ్-ఇంజిన్ ఒప్పందాలను వదులుకోవడం వంటి ఇతర ఎంపికలు దాని బరువును కలిగి ఉన్నాయి $18 బిలియన్ అది Appleతో ఒప్పందం చేసుకుంది.

iFixit CEO కైల్ వీన్స్ చెప్పారు బ్లూమ్‌బెర్గ్“నేను ClaudeBot (ఆంత్రోపిక్ యొక్క క్రాలర్ దాని కోసం బ్లాక్ చేయగలను క్లాడ్ చాట్‌బాట్) మా వ్యాపారానికి హాని కలిగించకుండా మమ్మల్ని సూచిక చేయడం నుండి. కానీ నేను Googlebotని బ్లాక్ చేస్తే, మేము ట్రాఫిక్ మరియు కస్టమర్‌లను కోల్పోతాము.

ఈ రెండింటినీ కలపడం వల్ల వచ్చే మరో సమస్య ఏమిటంటే, ఇది చిన్న AI స్టార్టప్‌ల కంటే Googleకి అపరిమితమైన ప్రయోజనాన్ని ఇస్తుంది. శోధనలో కనిపించడానికి ఆసక్తి ఉన్న ప్రచురణకర్తల నుండి కంపెనీ ఉచిత శిక్షణ డేటాను పొందుతుంది. దీనికి విరుద్ధంగా, AI కంపెనీలు పబ్లిషర్‌లకు వారి డేటా యాక్సెస్ కోసం బలవంతంగా చెల్లించవలసి వస్తుంది – మరియు అయినప్పటికీ, అది Google ఉచితంగా పొందే (ముఖ్యంగా) మదర్‌లోడ్‌కు జోడించబడదు.

ఆ దృక్కోణం నుండి, దానిని చదవడం ఆశ్చర్యకరం కాదు బ్లూమ్‌బెర్గ్కంటెంట్ డీల్‌లను చర్చించడానికి ప్రయత్నించే ప్రచురణకర్తలను Google నిరాకరిస్తోంది. (రెడిట్ ఒక్క మినహాయింపు ఉంది.) చాలా మంది ప్రచురణకర్తలు మనుగడ సాగించాల్సిన శోధన ఫలితాలకు బదులుగా వారు కోరుకున్న మొత్తం శిక్షణ డేటాను పొందినప్పుడు కంటెంట్ ఒప్పందాలపై డబ్బును ఎందుకు వృధా చేస్తారు?

“ఇప్పుడు మీరు కంటెంట్ కోసం చెల్లిస్తున్న టెక్ కంపెనీల సమూహాన్ని కలిగి ఉన్నారు, వారు దాని యాక్సెస్ కోసం చెల్లిస్తున్నారు, ఎందుకంటే వారు ఎలాంటి తీవ్రమైన మార్గంలోనైనా పోటీ పడగలగాలి” అని AI స్టార్టప్ టాకో ఇంక్ యొక్క CEO అలెక్స్ రోసెన్‌బర్గ్ చెప్పారు. , చెప్పారు బ్లూమ్‌బెర్గ్. “అయితే Google కోసం, వారు నిజంగా అలా చేయవలసిన అవసరం లేదు.”

ఇది పరపతికి వస్తుంది, ఇది నిరాశకు గురైన పబ్లిషర్‌లపై Google ప్రయోగిస్తుంది. పరిశ్రమ యొక్క ప్రస్తుత ఆర్థిక సమస్యలపై (గత ఎనిమిదేళ్లుగా ఆన్‌లైన్ ప్రకటన ఆదాయం కొండపైకి పడిపోయింది), AdWeek నివేదించారు మార్చిలో గూగుల్ యొక్క AI- రూపొందించిన శోధన సమాధానాలు సేంద్రీయ శోధన ట్రాఫిక్‌లో 20 నుండి 60 శాతం తగ్గుదలకు దారితీయవచ్చు.

Google – మరియు కొంతవరకు, మొత్తం వెబ్ – ఇక్కడి నుండి ఎక్కడికి వెళుతుందో తెలుసుకోవడానికి బంతి ఇప్పుడు న్యాయ శాఖ కోర్టులో ఉంది. బ్లూమ్‌బెర్గ్యొక్క పూర్తి కథనం చదవడానికి విలువైనది.

అప్‌డేట్, ఆగస్ట్ 16, 4:55PM ET: ఈ కథనం ప్రచురించబడిన తర్వాత Google ప్రతినిధి నుండి అనేక వివరణలను చేర్చడానికి నవీకరించబడింది.

AI స్థూలదృష్టిలో ఒక కథనాన్ని ఉపయోగించకుండా నిరోధించడం వలన Google వెబ్‌క్రాలర్ శోధన ఫలితాల్లో చేర్చకుండా నిరోధించవచ్చని అసలు కథనం పేర్కొంది. ఇది సరికాదని ప్రతినిధి నొక్కిచెప్పారు; దాని AI ఓవర్‌వ్యూల నుండి మొత్తం కథనాన్ని బ్లాక్ చేయడం వలన స్నిప్పెట్‌లు మరియు Google డిస్కవర్ వంటి ఇతర శోధన మెరుగుదలలను చేర్చకుండా నిరోధిస్తుంది, ఇది ప్రామాణిక వెబ్ ఫలితాల నుండి నిరోధించదు.

మార్పులను ప్రతిబింబించేలా కథనం యొక్క ఉపశీర్షిక సవరించబడింది మరియు Google నుండి పూర్తి ప్రకటన క్రింది విధంగా ఉంది: