आपकी क्लासिफाइड्स साइट पर AI क्रॉलर: असल में कौन-से ब्लॉक करने चाहिए, यह तय कैसे करें

आपके सर्वर लॉग में छुपे वे बॉट, जो Google नहीं हैं

किसी भी क्लासिफाइड्स डायरेक्टरी का रॉ एक्सेस लॉग सिर्फ एक दिन के लिए खोलकर देखें, तो विज़िटर्स की सूची इंसानों की सूची जैसी नहीं रह जाती। Googlebot और सामान्य ब्राउज़रों के साथ GPTBot, ClaudeBot, PerplexityBot, Bytespider, CCBot जैसे नाम भी मिलते हैं, और आधा दर्जन और नाम जिनका मतलब तब तक कुछ नहीं लगता जब तक आप उन्हें खोजकर न देखें। ये हर लिस्टिंग पेज पर पहुंचते हैं, उन पेजों पर भी जो एक घंटे पहले ही बदले गए हों, और यह सब किसी ऐसे शेड्यूल पर होता है जिसे कोई इंसान विज़िटर कभी फॉलो नहीं करता।

एडल्ट क्लासिफाइड्स डायरेक्टरी इस तरह की क्रॉलिंग के लिए ज्यादातर साइटों से बेहतर निशाना बन जाती है, और इसकी वजह कंटेंट के एडल्ट होने से नहीं, बल्कि कुछ और कारणों से जुड़ी है। लिस्टिंग लगातार बदलती रहती हैं, शहर और कैटेगरी की संरचना अलग अलग पेजों की संख्या को कई गुना बढ़ा देती है, और हर पेज पर ऐसी फोटो और टेक्स्ट होता है जिसे कोई क्रॉलर एक ही बार में इकट्ठा कर सकता है। जो खूबियां साइट को विज़िटर के लिए उपयोगी बनाती हैं, वही इसे स्क्रैप करने के लिए भी आसान बना देती हैं।

robots.txt वह फाइल है जिससे यह मामला सुलझना चाहिए, यह एक सादे टेक्स्ट में लिखे नियमों की सूची होती है जो हर नामित क्रॉलर को बताती है कि वह क्या फेच कर सकता है। यह डोमेन के रूट पर रहती है, कोई भी क्रॉलर इसे पढ़ सकता है, और जो कंपनियां यह दावा करती हैं कि वे इसका सम्मान करती हैं, जैसे OpenAI, Anthropic और Google, वे आम तौर पर करती भी हैं। लेकिन यह फाइल एक अनुरोध है, कोई ताला नहीं। प्रोटोकॉल में ऐसा कुछ नहीं है जो किसी क्रॉलर को मनाही वाला पेज फेच करने से रोके, और वेबसाइट की तरफ से भी कोई चीज़ इस नियम को लागू नहीं करती, जब तक ऑपरेटर अलग से कुछ और न जोड़े।

यह खामी पहले से ज्यादा अहम हो गई है, क्योंकि लॉग में दिखने वाले ये क्रॉलर एक जैसे नहीं हैं। कुछ पेज पर किसी मॉडल को ट्रेन करना चाहते हैं। कुछ अभी इसी वक्त किसी सवाल का जवाब देना चाहते हैं। कुछ असल में किसी व्यक्ति के अपने अनुरोध होते हैं, जो किसी असिस्टेंट के ज़रिए भेजे जाते हैं। इन तीनों को एक जैसा मानकर, यानी सबको ब्लॉक करके या किसी को भी ब्लॉक न करके, ऑपरेटर उस विकल्प को गंवा देता है जो वह वाकई चुन सकता था।

ट्रेनिंग, जवाब देना, और यूज़र का सवाल, एक ही नाम के पीछे तीन अलग काम

OpenAI तीन अलग अलग क्रॉलर चलाती है, और इन्हें आपस में मिलाकर समझ लेना किसी जल्दबाज़ी में लिखे गए robots.txt में सबसे सामान्य गलती होती है। GPTBot वे पेज इकट्ठा करता है जिनका इस्तेमाल आगे के मॉडल्स को ट्रेन करने में हो सकता है, और OpenAI का अपना दस्तावेज़ कहता है कि इसे मनाही करने से साइट का कंटेंट उस ट्रेनिंग डेटा से बाहर रहता है। OAI-SearchBot का ट्रेनिंग से कोई संबंध नहीं है, यह वह बॉट है जिसकी वजह से कोई पेज ChatGPT के सर्च फीचर में सोर्स के तौर पर दिखाया जाता है, और इसे GPTBot से अलग नियंत्रित किया जाता है, यानी कोई साइट ट्रेनिंग को ब्लॉक करते हुए भी सोर्स के रूप में चुने जाने की योग्यता बनाए रख सकती है। ChatGPT-User इनमें से कोई नहीं है, यह तब सक्रिय होता है जब कोई असली व्यक्ति ChatGPT से किसी पेज के बारे में सीधा सवाल पूछता है, और OpenAI साफ तौर पर कहती है कि robots.txt के नियम इस पर लागू नहीं भी हो सकते, क्योंकि यह फेच किसी स्वचालित क्रॉलिंग का नतीजा नहीं, बल्कि किसी खास इंसानी अनुरोध का जवाब है।

Anthropic भी यही तीन तरह का बंटवारा अलग नामों के साथ करती है। ClaudeBot ट्रेनिंग के लिए क्रॉल करता है, और Anthropic का सपोर्ट दस्तावेज़ कहता है कि इसके बॉट इस मामले में robots.txt के निर्देशों का सम्मान करते हैं। Claude-User और Claude-SearchBot क्रमशः तुरंत पूछे गए सवाल और सर्च में सोर्स के तौर पर दिखने के मामलों को संभालते हैं, और हर एक का अपना अलग ऑप्ट-आउट विकल्प है।

Google का तरीका इससे संकरा है, लेकिन इसे उलटा समझ लेना बहुत आसान है। Google-Extended असल में कोई क्रॉलर ही नहीं है, यह robots.txt में जोड़ा गया एक टोकन है जो यह नियंत्रित करता है कि Googlebot द्वारा पहले से फेच किए गए कंटेंट का इस्तेमाल Gemini को ट्रेन करने या उसके जवाबों को आधार देने में किया जा सकता है या नहीं। इसे मनाही करने से साइट की रैंकिंग या सामान्य Google सर्च में शामिल होने पर कोई असर नहीं पड़ता, क्योंकि Googlebot पहले की तरह ही क्रॉल करता रहता है। किसी क्लासिफाइड्स डायरेक्टरी के उन संभावनाओं में बदलाव, जब किसी का सवाल नीली लिंक्स की सूची के बजाय Google के AI Overviews के भीतर जवाब पा जाता है, एक अलग सेटिंग है, Google-Extended नहीं, क्योंकि Overviews सामान्य Googlebot क्रॉल पर ही आधारित होते हैं, इसलिए Extended टोकन को ब्लॉक करने से साइट Gemini की ट्रेनिंग से बाहर हो जाती है, लेकिन Overviews से बाहर नहीं होती। एकमात्र ऐसा नियंत्रण जो Overviews और सामान्य सर्च स्निपेट्स दोनों को एक साथ प्रभावित करता है, वह है nosnippet टैग्स का समूह, और यह एक ऐसा समझौता है जो ज्यादातर ऑपरेटरों को इसे चालू करने से पहले जितना लगता है, उससे कहीं बड़ा है।

व्यावहारिक नतीजा यह है कि कोई ऑपरेटर ऐसा robots.txt लिख सकता है जो हर नामित ट्रेनिंग क्रॉलर को मनाही करे, जबकि सर्च और सोर्स वाले क्रॉलर को छुए बिना छोड़ दे, यानी एक नतीजा हासिल कर ले बिना दूसरे को छेड़े। यह फर्क कोई संयोग से नहीं बनता, इसे हर बॉट के लिए अलग अलग, हाथ से लिखना पड़ता है।

Cloudflare की नई पॉलिसी क्या जोड़ती है, और अब भी क्या नहीं कर पाती

robots.txt सिर्फ एक सवाल का जवाब देने के लिए बनाई गई थी, कि कौन से पेज फेच किए जा सकते हैं। यह कभी इस दूसरे सवाल का जवाब देने के लिए नहीं बनी थी कि पेज मिल जाने के बाद उसके साथ क्या करने की इजाज़त है। Cloudflare की Content Signals Policy, जो सितंबर 2025 में लाई गई, ठीक यही दूसरी परत जोड़ती है। अब कोई साइट किसी भी user-agent समूह के नीचे एक Content-Signal लाइन जोड़ सकती है, जिसमें तीन वैल्यू होती हैं, search, ai-input, और ai-train, और हर एक को yes या no पर सेट किया जा सकता है। किसी एक को न लिखना यह बताता है कि ऑपरेटर ने उस इस्तेमाल पर कोई पसंद नहीं जताई है, इसका मतलब यह नहीं कि जवाब no है।

यह खास तौर पर इसलिए उपयोगी है क्योंकि इससे कोई ऑपरेटर एक ही जगह यह कह सकता है कि "इसे सर्च के लिए इंडेक्स करो, लेकिन इसे किसी मॉडल में मत खिलाओ और इस पर ट्रेनिंग मत करो," और यह ऐसा फर्क है जिसे पुराने robots.txt सिंटैक्स में बताने का कोई तरीका ही नहीं था। Cloudflare की मैनेज्ड robots.txt सेवा इस्तेमाल करने वाले लगभग 38 लाख डोमेनों के लिए search=yes, ai-train=no अपने आप जोड़ दिया गया; बाकी कोई भी इन लाइनों को खुद हाथ से लिख सकता है या contentsignals.org पर जाकर जनरेट कर सकता है।

इसकी असली सीमा खुद Cloudflare के अपने विवरण में है, ये सिर्फ घोषित पसंदें हैं, कोई तकनीकी रोक नहीं, और अगर कोई क्रॉलर इन्हें नज़रअंदाज़ करने का फैसला कर ले, तो उसे रोकने के लिए कुछ नहीं है, सिवाय उसके जो साइट ने अलग से जोड़ा हो, जैसे कोई फायरवॉल नियम या बॉट-मैनेजमेंट प्रोडक्ट।

यह सीमा सिर्फ सैद्धांतिक नहीं रही, पॉलिसी लॉन्च होने से एक महीने पहले ही इसका सबूत मिल गया। अगस्त 2025 में Cloudflare ने एक रिपोर्ट प्रकाशित की, जिसमें Perplexity पर यह आरोप लगाया गया कि वह ऐसे बॉट चला रही है जिन्हें Cloudflare ने स्टेल्थ क्रॉलर कहा, यानी ऐसे बॉट जो मनाही वाले टेस्ट डोमेनों को क्रॉल करने से पहले robots.txt फेच नहीं करते थे, और जो घोषित PerplexityBot को ब्लॉक किए जाने पर एक सामान्य Chrome-जैसे ब्राउज़र सिग्नेचर पर बदल जाते थे, और ऐसे IP रेंज से चलते थे जिन्हें Perplexity ने कभी सार्वजनिक नहीं किया था। इन निष्कर्षों के आधार पर Cloudflare ने Perplexity को अपने वेरिफाइड-बॉट प्रोग्राम से हटा दिया। Perplexity ने इस रिपोर्ट को एक पब्लिसिटी स्टंट बताया और इस आरोप पर असहमति जताई, लेकिन user-agent और IP से जुड़े ठोस सबूतों को बिंदुवार खारिज नहीं किया। किसी का भी पक्ष ज्यादा सही रहा हो, यह मामला अब तक का सबसे साफ उदाहरण है कि कोई घोषित नियम, चाहे robots.txt में हो या Content-Signal लाइन में, तभी किसी क्रॉलर को बांधता है जब वह क्रॉलर खुद उससे बंधने का फैसला करे।

वे दो कीमतें जो ऑपरेटर को असल में चुकानी पड़ती हैं

पहली कीमत वह है जो बिल में दिखती है। किसी सस्ते VPS या शेयर्ड-होस्टिंग प्लान पर चलने वाली क्लासिफाइड्स डायरेक्टरी, जहां इस श्रेणी के ज्यादातर ऑपरेटर असल में काम करते हैं, उसके पास आम तौर पर कोई असीमित पाइपलाइन नहीं, बल्कि एक मासिक डेटा-ट्रांसफर सीमा होती है, और कोई क्रॉलर उस सीमा में ठीक उसी तरह गिना जाता है जैसे कोई भुगतान करने वाला विज़िटर गिना जाता है। कोई ट्रेनिंग क्रॉलर जो किसी मल्टी-सिटी डायरेक्टरी की हर लिस्टिंग और फोटो को बार बार, एक तय शेड्यूल पर फिर से फेच करता है, वह ऐसा लोड जोड़ता है जिसका उन लोगों से कोई लेना देना नहीं, जिनके लिए साइट बनाई गई है, और होस्ट या CDN को किसी क्लासिफाइड्स बिज़नेस को टर्मिनेशन नोटिस देकर बंद करने की जो वही इंफ्रास्ट्रक्चर नाज़ुकता मौका देती है, उसी का मतलब यह भी है कि बॉट ट्रैफिक की वजह से यूसेज-आधारित सस्पेंशन में फंसा कोई अकाउंट ठीक उसी तरह के अचानक बंद होने के खतरे में रहता है। बॉट-मैनेजमेंट वेंडर Imperva ने अपनी 2026 Bad Bot Report में बताया कि मापी गई कुल वेब ट्रैफिक में आधे से थोड़ा ज्यादा हिस्सा स्वचालित ट्रैफिक का था, और उसमें से लगभग 40 प्रतिशत को मैलिशियस बताया गया; यह आंकड़ा एक ऐसे वेंडर से आया है जिसका इस समस्या में अपना व्यावसायिक हित जुड़ा है, लेकिन इसकी दिशा, यानी यह बात कि किसी साइट के बैंडविड्थ बिल का एक बड़ा हिस्सा असल में इंसानी ट्रैफिक नहीं होता, किसी भी रॉ एक्सेस लॉग में दिखने वाली तस्वीर से मेल खाती है।

दूसरी कीमत बिल में बिल्कुल नहीं दिखती। डायरेक्टरी के अपने डेटाबेस के खिलाफ आई कोई डिलीशन रिक्वेस्ट ऐसी चीज़ है जिसे ऑपरेटर वाकई पूरा कर सकता है, रेकॉर्ड ढूंढो, उसे हटाओ, और पक्का करो कि वह चला गया। लेकिन जो फोटो और बायो किसी ट्रेनिंग क्रॉलर ने पहले ही किसी ऐसे डेटासेट में इकट्ठा कर लिया हो जिसका मकसद किसी मॉडल को सामान्य पैटर्न सिखाना है, उसके लिए भेजने को ऐसा कोई बराबर अनुरोध नहीं होता। किसी ट्रेनिंग कॉर्पस के लिए कोई सपोर्ट एड्रेस नहीं होता, और यह पुष्टि करने का भी कोई तरीका नहीं कि किसी खास विज्ञापनदाता की तस्वीर सर्वर छोड़ने के बाद रखी गई या नहीं। यह उस कंट्रोल वाली समस्या का एक अलग, और ज्यादा कठोर रूप है, जो किसी फोटो से जुड़े सामान्य मेटाडेटा के ज़रिए किसी क्लासिफाइड्स साइट के किसी विज्ञापनदाता के बारे में लीक होने वाली जानकारी पर भी पहले से लागू होती है, एक बार कंटेंट बाहर चला जाए, तो यह बताने की ऑपरेटर की क्षमता कि वह कहां कहां पहुंचा, तेज़ी से घट जाती है, और जो विज्ञापनदाता यह पूछे कि "मेरी लिस्टिंग की फोटो आखिर कहां जाकर रुकती है," वह इस सीमा के बारे में एक ईमानदार जवाब का हकदार है, न कि ऐसा भरोसा जिसे ऑपरेटर खुद साबित नहीं कर सकता।

इसके लिए असल में क्या करें

शुरुआत मौजूदा robots.txt को पढ़ने से करें, यह अंदाज़ा लगाने से नहीं कि उसमें क्या लिखा होगा। किसी टेम्पलेट से बनी हैरान करने लायक संख्या में क्लासिफाइड्स साइटों के पास या तो कोई फाइल ही नहीं होती, जिससे हर क्रॉलर अपनी सीमाएं खुद तय कर लेता है, या फिर उनमें किसी स्टेजिंग एनवायरनमेंट से बचा हुआ एक ही जैसा "User-agent: *, Disallow: /" लिखा रह जाता है, जो Googlebot को भी बाकी सबके साथ ब्लॉक कर देता है और बिना किसी एरर मैसेज के चुपचाप साइट के पूरे ऑर्गेनिक सर्च चैनल को शून्य कर देता है।

सबसे पहले ट्रेनिंग वाले सवाल का फैसला करें, क्योंकि इसका एक ठोस जवाब मौजूद है। कम से कम GPTBot, ClaudeBot, Google-Extended, Bytespider, और CCBot के लिए साफ साफ disallow नियम लिखें, क्योंकि ये प्रमुख फाउंडेशन-मॉडल ट्रेनिंग क्रॉलरों को कवर करते हैं, जिनके user-agent नाम सार्वजनिक और दर्ज हैं। यह एक ऐसा फैसला है जो ऑपरेटर जानबूझकर ले सकता है, न कि महज डिफॉल्ट सेटिंग के भरोसे।

सर्च और सोर्स वाले सवाल का फैसला अलग से करें, और इसे वाकई तय करें, बजाय इसके कि ट्रेनिंग वाले नियम को ही कॉपी कर दें। OAI-SearchBot, Claude-SearchBot, और PerplexityBot यह तय करते हैं कि जब कोई किसी AI असिस्टेंट से ऐसा सवाल पूछे जिसका जवाब कोई लिस्टिंग दे सकती है, तो क्या डायरेक्टरी को सोर्स के तौर पर दिखाया जाएगा; इन्हें ब्लॉक करने से यह दिखना खत्म हो जाता है, और इन्हें इजाज़त देने से यह बना रहता है, और इसकी कोई वजह नहीं कि यह जवाब ठीक उसी के बराबर हो जो ऊपर की लाइन में GPTBot और ClaudeBot को दिया गया है।

अगर साइट Cloudflare पर चलती है, तो देखें कि क्या Content-Signal लाइनें अपने आप जोड़ी गई हैं, और क्या ये डिफॉल्ट सेटिंग्स ऑपरेटर की असली पसंद से मेल खाती हैं, क्योंकि यह स्वचालित सेटिंग समझदारी भरी तो है, लेकिन सामान्य है, किसी एक साइट के हिसाब से तय नहीं की गई। अगर यह मेल नहीं खाती, तो ये लाइनें कुछ ही मिनटों में हाथ से लिखी जा सकती हैं, या contentsignals.org पर जनरेट करके चिपकाई जा सकती हैं।

आखिर में, robots.txt और Content-Signal नियमों को आसान नब्बे प्रतिशत मानकर चलें, और यह मान लें कि बाकी बचे क्रॉलर, यानी वे जो वही करने को तैयार हैं जिसका आरोप Cloudflare ने Perplexity पर लगाया था, किसी टेक्स्ट फाइल से नहीं रुकेंगे, चाहे वह जितनी भी सावधानी से लिखी गई हो। उन्हें पकड़ने के लिए यह देखना ज़रूरी है कि किसी घोषित बॉट का नाम किसी ऐसे IP एड्रेस से आ रहा है जो उसकी सार्वजनिक रेंज के बाहर है, जिसे कोई CDN का बॉट-मैनेजमेंट फीचर अपने आप पकड़ सकता है यदि बजट इसकी इजाज़त दे, या जिसे कोई समय समय पर जांच करने वाला व्यक्ति एक्सेस लॉग में हाथ से देख सकता है। किसी भी तरह, लक्ष्य हर अनचाहे क्रॉलर को खत्म करना नहीं है, जो मुमकिन ही नहीं है; लक्ष्य यह पक्का करना है कि जो वास्तव में सुनते हैं, उन्हें साफ साफ बता दिया जाए कि तीन में से कौन सा काम करने की उन्हें इजाज़त है।