आपकी लिस्टिंग लाइव होने से पहले उन्हें कौन जांचता है: हर विकल्प की असली कीमत तब पता चलती है जब वह नाकाम होता है

वह सवाल जिसका जवाब आप सिर्फ खरीदारी करके नहीं पा सकते

लॉन्च के कुछ समय बाद हर क्लासिफाइड्स ऑपरेटर एक जैसी दीवार से टकराता है: लिस्टिंग इतनी तेजी से आने लगती हैं कि एक व्यक्ति के लिए हर एक को लाइव होने से पहले देख पाना मुमकिन नहीं रहता, और साइट को इस सवाल का ठोस जवाब चाहिए कि कौन क्या जांचेगा और कितनी तेजी से। पहली प्रतिक्रिया यही होती है कि कोई कीमत, कोई वेंडर, कोई ऐसा प्लान ढूंढा जाए जो समस्या को खत्म कर दे। लेकिन यह सोच लगभग तुरंत अपनी ही दीवार से टकरा जाती है, क्योंकि आउटसोर्स मॉडरेशन देने वाली कंपनियां जो रेट प्रकाशित करती हैं, वे असली बजट बनाने के लिए लगभग बेकार होते हैं। वेंडर की मार्केटिंग पेजों पर बताए गए रेट एक कंपनी की ब्लॉग पोस्ट से दूसरी में दस गुना तक बदल जाते हैं, वे शायद ही कभी बताते हैं कि एक रिव्यू फैसले में असल में क्या शामिल है, और इंडस्ट्री में जो चंद आंकड़े बार-बार दोहराए जाते हैं, वे ज्यादातर उन्हीं गिनी-चुनी स्व-प्रकाशित स्रोतों तक जाकर खत्म होते हैं जो एक-दूसरे को दोहरा रहे होते हैं, न कि किसी स्वतंत्र बेंचमार्क तक। जो ऑपरेटर इन्हीं आंकड़ों के आधार पर बजट बनाता है, वह असल में एक अंदाजे के आधार पर बजट बना रहा होता है।

इसका मतलब यह नहीं कि यह फैसला किया ही नहीं जा सकता, बस इसे एक अलग तरीके से लेना होगा: सही कीमत ढूंढकर नहीं, बल्कि यह समझकर कि कौन सा ढांचा साइट की असली मात्रा और जोखिम के हिसाब से फिट बैठता है, और हर विकल्प की असली कीमत क्या है, वह कीमत जो कभी इनवॉइस पर नहीं दिखती। तीन विकल्प, इन-हाउस ह्यूमन रिव्यू, आउटसोर्स ह्यूमन रिव्यू, और AI-फर्स्ट फिल्टरिंग, एक ही जगह पर नाकाम नहीं होते, और यह जानना कि हर एक कहां टूटता है, किसी भी सेल्स कॉल में मिलने वाले प्रति-लिस्टिंग रेट से कहीं ज्यादा कीमती है।

किसी डायरेक्टरी के लिए यह मुद्दा खासतौर पर अहम है क्योंकि यहां का कंटेंट न्यूट्रल नहीं होता। एक फोटो, एक हेडलाइन, या बताई गई उपलब्धता की समय-सीमा, या तो पूरी तरह वैध विज्ञापन हो सकती है, या ऐसी लिस्टिंग जिसे हटाना ही नहीं बल्कि कुछ मामलों में, सीधे डिलीट करने के बजाय आगे रिपोर्ट भी करना जरूरी होता है। अगर रिव्यू बहुत धीमा हो तो खराब लिस्टिंग लाइव बनी रहती हैं; अगर रिव्यू बहुत ज्यादा सख्त हो तो वैध विज्ञापनदाताओं का साइट पर से भरोसा टूट जाता है। दोनों ही गलतियां पैसे की कीमत चुकाती हैं, और कोई भी वेंडर के डेमो में नजर नहीं आती।

तीनों ढांचे अलग-अलग तरीकों से क्यों नाकाम होते हैं

शुद्ध AI-फर्स्ट फिल्टरिंग, यानी एक ऑटोमेटेड क्लासिफायर जो हर लिस्टिंग को स्कोर देता है और उसी स्कोर के आधार पर खुद ही मंजूर या खारिज कर देता है, बड़ी मात्रा में चलाने के लिए सबसे सस्ता विकल्प है और एक साफ-सुथरी लिस्टिंग को मंजूर करने में सबसे तेज। इसकी कमजोरी है संदर्भ (context)। जो क्लासिफायर साफ उल्लंघनों को पकड़ने के लिए ट्रेन किया गया है, वह साफ उल्लंघन तो अच्छे से पकड़ लेता है, लेकिन ऐसी किसी भी चीज में कमजोर पड़ जाता है जो उस संदर्भ पर निर्भर करती है जो उसे कभी दिखाया ही नहीं गया: कोई ऐसा वाक्यांश जो अलग से पढ़ने पर उल्लंघन लगता है पर असली लिस्टिंग में बिल्कुल ठीक है, या इसका उल्टा, कोई ऐसी लिस्टिंग जो हर कीवर्ड फिल्टर पार कर जाती है जबकि साइट की असली नीति का उल्लंघन उस तरह से करती है जिसे पकड़ने के लिए कोई फिल्टर बनाया ही नहीं गया था। सिर्फ AI पर चलने वाला रिव्यू इस्तेमाल करने वाले ऑपरेटर को इन दोनों तरह की चूक का पता तभी चलता है जब कोई विज्ञापनदाता गलत तरीके से खारिज किए जाने पर सार्वजनिक शिकायत करता है, या जब कुछ ऐसा जो कभी लाइव ही नहीं होना चाहिए था, पहले ही लाइव हो चुका होता है।

शुद्ध ह्यूमन रिव्यू, चाहे इन-हाउस हो या आउटसोर्स, हर फैसले के हिसाब से सबसे सटीक विकल्प है और साथ ही वह विकल्प भी है जो बड़े पैमाने पर सबसे खराब तरीके से टिकता है। एक इंसानी रिव्यूअर वह संदर्भ पकड़ लेता है जो क्लासिफायर से छूट जाता है, लेकिन एक इंसानी रिव्यूअर एक घंटे में सक्षमता से सिर्फ उतने ही फैसले कर सकता है जितनी उसकी सीमा है, उसके बाद क्वालिटी गिरने लगती है, और यह सीमा नहीं बदलती चाहे क्यू कितनी भी तेजी से बढ़ रहा हो। ट्रैफिक में अचानक उछाल, कोई मार्केटिंग कैंपेन जो उम्मीद से बेहतर चल गया, या मौसमी बढ़त, ऐसा रिव्यू क्यू जो अब तक रफ्तार बनाए हुए था, उसे कुछ ही दिनों में बैकलॉग में बदल देता है, और लिस्टिंग रिव्यू में बैकलॉग कोई मामूली इंतजार नहीं होता, या तो लिस्टिंग बिना जांचे लाइव कर दी जाती हैं ताकि क्यू खाली हो सके, या फिर वैध विज्ञापनदाता इतनी देर तक इंतजार करते हैं कि वे अपनी लिस्टिंग, और अपना पैसा, कहीं और ले जाते हैं।

हाइब्रिड मॉडल, यानी एक ऑटोमेटेड पहला दौर जो साफ-साफ मामलों को निपटा देता है और जिन मामलों पर भरोसा नहीं होता उन्हें इंसान के पास भेज देता है, यही वह ढांचा है जिसे असली पैमाने पर काम करने वाला लगभग हर प्लेटफॉर्म वाकई इस्तेमाल करता है, और वजह सीधी है: यही एकमात्र ढांचा है जिसमें मशीन की रफ्तार और इंसान की समझ, दोनों एक-दूसरे की कमजोरी को ढक लेते हैं, बजाय इसके कि दोनों उसी कमजोरी के आगे खुले पड़े रहें। यहां जो डिजाइन फैसला असल में मायने रखता है, वह यह नहीं कि हाइब्रिड मॉडल इस्तेमाल किया जाए या नहीं, लगभग सभी को करना ही चाहिए, बल्कि यह कि कॉन्फिडेंस थ्रेशोल्ड कहां तय की जाए। इसे बहुत नीचे रखें तो AI लगभग हर मामला इंसान को सौंप देता है, जिससे वही बैकलॉग की समस्या फिर खड़ी हो जाती है जिसे हाइब्रिड मॉडल हल करने के लिए बनाया गया था। इसे बहुत ऊंचा रखें तो AI चुपचाप ऐसी लिस्टिंग खुद ही मंजूर या खारिज करने लगता है जिन्हें कोई इंसान अलग तरीके से जांचता, और इसका पता तभी चलता है जब उनमें से कोई लिस्टिंग समस्या बन जाती है।

वह कीमत जो कभी इनवॉइस पर नहीं दिखती

जो भी इंसानी रिव्यू करता है, चाहे वह इन-हाउस स्टाफ हो या आउटसोर्स टीम, वह साइट पर आने वाला सबसे भयावह कंटेंट किसी और से पहले देखता है: वे लिस्टिंग जिन्हें फ्लैग किया जाता है, जिन पर अपील होती है, या जिन्हें आगे बढ़ाया जाता है, ठीक इसलिए क्योंकि उनमें कुछ ऐसा होता है जो दोबारा जांच की मांग करने लायक परेशान करने वाला है। इस एक्सपोजर को एक मामूली डेटा-एंट्री जैसा काम मानना, यह सोचना कि किसी भी रिव्यूअर को बिना किसी नतीजे के दूसरे से बदला जा सकता है, सिर्फ टीम चलाने का एक निर्दयी तरीका नहीं है। यह जिम्मेदारी (liability) का एक दस्तावेजी स्रोत है, और यह दस्तावेज इसलिए मौजूद है क्योंकि एक बहुत बड़े प्लेटफॉर्म ने इसका दूसरा रास्ता पहले ही आजमाया और उसे नुकसान उठाना पड़ा।

मई 2020 में, मेटा Scola v. Facebook मामले में 5.2 करोड़ डॉलर के सेटलमेंट पर सहमत हुई थी, यह मुकदमा एक पूर्व कंटेंट मॉडरेटर ने दायर किया था जिसे नौकरी के दौरान लगातार भयावह सामग्री देखने से पोस्ट-ट्रॉमेटिक स्ट्रेस डिसऑर्डर (PTSD) हो गया था। यह सेटलमेंट सितंबर 2015 और अगस्त 2020 के बीच कैलिफोर्निया, एरिजोना, टेक्सास, या फ्लोरिडा में फेसबुक के एक कॉन्ट्रैक्टर के लिए काम करने वाले मॉडरेटरों पर लागू होता था: हर योग्य मॉडरेटर को एक तय भुगतान, PTSD या इससे जुड़ी किसी स्थिति का निदान होने वालों के लिए 50,000 डॉलर तक का अतिरिक्त मुआवजा, साथ ही यह काम करने वाले मॉडरेटरों को लगातार मानसिक स्वास्थ्य काउंसलिंग उपलब्ध कराने की प्रतिबद्धता। यह मामला इस बात पर टिका नहीं था कि फेसबुक की मॉडरेशन नीति गलत थी। यह इस बात पर टिका था कि जिन कामकाजी हालातों में वह नीति लागू की जा रही थी, उन्हें वर्षों तक किसी और की समस्या मानकर टाला जाता रहा, जब तक कि किसी को इसका जवाब देना ही नहीं पड़ा।

एक छोटी डायरेक्टरी फेसबुक जैसे पैमाने पर रिव्यू ऑपरेशन नहीं चला रही होती, और इसका यह मतलब बिल्कुल नहीं कि इस भूमिका के लिए आउटसोर्स करना या किसी को नौकरी पर रखना अपने आप में गलती है। इसका मतलब यह है कि जिन ऑपरेशनल आदतों ने वह एक्सपोजर पैदा किया, यानी सबसे भयावह कंटेंट से किसी को बारी-बारी न हटाना, भयावह कंटेंट देखने के एक सेशन की कोई समय-सीमा तय न होना, सहारे (सपोर्ट) को बाद में सोची गई चीज की बजाय नौकरी में शुरू से शामिल न करना, ये सब दो लोगों की मॉडरेशन टीम पर उतनी ही लागू होती हैं जितनी पंद्रह हजार लोगों की टीम पर। इसका इलाज गलती की कीमत से कहीं सस्ता है: एस्केलेटेड कंटेंट किसे सौंपा जाए यह बारी-बारी तय करें, न कि उसे हमेशा के लिए उसी को थमा दें जो इसमें सबसे तेज निकलता है, एक रिव्यू सेशन कितनी देर चल सकता है इसकी असली सीमा तय करें जिसके बाद ब्रेक जरूरी हो, और यह सुनिश्चित करें कि यह काम करने वाले को पहले दिन से पहले ही पता हो कि उसे किस तरह की सामग्री दिखेगी और अगर इसका असर उस पर पड़े तो वह कहां मदद मांग सकता है।

वेंडर के कॉन्ट्रैक्ट में क्या लिखा होना चाहिए, और एक कोटेशन आपको क्या नहीं बता सकता

चूंकि प्रकाशित प्रति-लिस्टिंग और मासिक रेट बजट बनाने के लिए काफी भरोसेमंद नहीं होते, इसलिए भरोसा करने लायक इकलौता आंकड़ा वही है जिसे ऑपरेटर खुद मापता है: एक पायलट, जो साइट की अपनी लिस्टिंग पर असली मात्रा में चलाया जाए, और साइट के अपने टर्नअराउंड टारगेट के हिसाब से टाइम किया जाए, न कि वेंडर की डेमो रील या किसी असंबंधित इंडस्ट्री के रेफरेंस क्लाइंट के हिसाब से। जो पायलट असली लिस्टिंग पर टाइम नहीं किया जा सकता, क्योंकि वेंडर पहले रेट बताना पसंद करता है और परफॉर्मेंस बाद में दिखाना, वह चलाने लायक पायलट है ही नहीं।

कीमत चाहे जो भी हो, कॉन्ट्रैक्ट में जिन ऑपरेशनल जानकारियों का साफ-साफ जिक्र होना चाहिए, वे वही हैं जिन्हें वेंडर आमतौर पर धुंधला ही छोड़ते हैं: कौन सी भाषाएं मशीन अनुवाद की बजाय मातृभाषा-स्तर या धाराप्रवाह रिव्यूअरों से कवर होती हैं, असली रिस्पॉन्स-टाइम की प्रतिबद्धता किस चीज के आधार पर मापी जाती है, “आमतौर पर उसी दिन” जैसी बात नहीं बल्कि घंटों में बताई गई एक तय संख्या, रिव्यूअर की नौकरी के दौरान जो पहचान दस्तावेज और फोटो उसकी नजर से गुजरते हैं उनका क्या होता है, उन तक किसकी पहुंच है, और उन्हें कितने समय तक रखा जाता है, और जब कोई विज्ञापनदाता किसी अस्वीकृति पर विवाद करता है तो अपील की प्रक्रिया कैसी दिखती है। जो वेंडर कॉन्ट्रैक्ट साइन होने से पहले इन चारों सवालों का लिखित जवाब नहीं दे सकता, वह ऐसा वेंडर नहीं है जिसे ऑपरेटर ने वाकई परखा हो, चाहे उसकी सेल्स डेक कीमत के बारे में कुछ भी कहती हो।

जिस दूसरी शर्त पर जोर देना जरूरी है, वह है बाहर निकलने का रास्ता: एक कॉन्ट्रैक्ट अवधि इतनी छोटी, या एक टर्मिनेशन क्लॉज इतनी लचीली, कि पहली तिमाही खराब जाने के बाद प्रोवाइडर बदलने के लिए पूरे एक साल की भुगतान की गई खराब परफॉर्मेंस झेलनी न पड़े। जो वेंडर इस पर टालमटोल करते हैं, वे अपने पिच डेक के आंकड़ों पर खुद अपने ही भरोसे के बारे में कुछ इशारा कर रहे होते हैं।

वेंडर ढूंढने से पहले रिव्यू प्रक्रिया खुद बनाना

जो क्रम असल में काम करता है, वह किसी भी वेंडर से बातचीत शुरू होने से पहले शुरू होता है। सबसे पहले फैसले की नीति लिखें: एक छोटा दस्तावेज, कोई कानूनी बयान नहीं, जो साफ-साफ बताए कि क्या अपने आप पास होगा, क्या अपने आप खारिज होगा, और क्या इंसान के पास जाएगा, और यह सीधे साइट की अपनी सेवा-शर्तों (terms of service) से जुड़ा हो, न कि हर बार रिव्यूअर के निजी अंदाजे पर छोड़ दिया जाए। इस दस्तावेज के बिना, हर रिव्यूअर, चाहे इन-हाउस हो या आउटसोर्स, हर लिस्टिंग के साथ अपनी अलग नीति गढ़ रहा होता है, और दो रिव्यूअर एक ही लिस्टिंग पर असहमत हो जाते हैं, और यह फर्क तभी दिखता है जब एक विज्ञापनदाता दूसरे से अपने अनुभव मिलाता है और नतीजे में असंगत लागू करने का मामला सामने आता है।

पहले दिन से ही हर फैसले का रिकॉर्ड रखें, भले ही किसी स्प्रेडशीट में ही सही: क्या रिव्यू किया गया, क्या फैसला लिया गया, और कब। यह कोई फालतू का अतिरिक्त काम नहीं है, यह वही रिकॉर्ड है जिसे यूरोपीय संघ का नोटिस-एंड-एक्शन नियम किसी भी अवैध कंटेंट के रूप में फ्लैग की गई लिस्टिंग के लिए ऑपरेटर से पहले ही रखवाता है, और यह आदत इसके अनुपालन की बाध्यता बनने से पहले ही डाल लेने का मतलब है कि जब यह बाध्यता बनेगी, तब तक यह पहले से ही चल रही होगी।

शुरुआत इन-हाउस से करें, भले ही आगे चलकर आउटसोर्स करने की योजना हो। मालिक खुद या किसी अकेले रखे गए रिव्यूअर द्वारा एक महीने तक हर फैसला हाथ से लिया जाना, वही मात्रा और जटिलता के आंकड़े देता है जिन पर वाकई बजट बनाया जा सकता है, क्योंकि ये आंकड़े साइट की असली लिस्टिंग से आते हैं, न कि किसी वेंडर के “सामान्य ग्राहक” के अंदाजे से। यह महीना उन असामान्य मामलों को भी सामने ला देता है, वह लिस्टिंग टाइप जिसे परखना वाकई मुश्किल है, वह वाक्यांश जिस पर बार-बार दोबारा नजर डालनी पड़ती है, जिन्हें एक बड़ी टीम या बाहरी वेंडर से लगातार एक जैसा लागू करवाने से पहले लिखी हुई नीति में शामिल करना जरूरी होता है।

यह बुनियाद तैयार होने के बाद ही वेंडर से बातचीत कोई काम का जवाब दे पाती है, क्योंकि उस वक्त एक असली आंकड़ा होता है जिसके मुकाबले पायलट की परफॉर्मेंस परखी जा सके, असामान्य मामलों की एक असली सूची होती है जिस पर वेंडर को टेस्ट किया जा सके, और यह जांचने का एक असली आधार होता है कि बताया गया रेट उस काम की असली जरूरत को दिखाता है या सिर्फ वेंडर के इस अंदाजे को कि बाजार क्या स्वीकार कर लेगा। यह बुनियादी काम पूरा होने से पहले मॉडरेशन के लिए वेंडर ढूंढना, आंखें बंद करके खरीदारी करने जैसा है, चाहे कोटेशन का आंकड़ा कितना भी भरोसेमंद क्यों न लगे।