Кто проверяет ваши объявления до публикации: во что на самом деле обходится каждый вариант, когда он дает сбой
Вопрос, который ценником не решить
Рано или поздно после запуска каждый оператор доски объявлений упирается в одну и ту же стену: объявления поступают быстрее, чем один человек успевает просмотреть каждое перед публикацией, и сайту нужен реальный ответ на вопрос, кто и как быстро все это проверяет. Первый инстинкт: искать цену, поставщика, тарифный план, который снимет проблему сам собой. Этот инстинкт почти сразу упирается в собственную стену, потому что расценки, которые публикуют аутсорсинговые провайдеры модерации, почти бесполезны для реального бюджета. Тарифы на маркетинговых страницах поставщиков отличаются на порядок от одного блога компании к другому, там редко указывают, что именно входит в одно решение по проверке, а те немногие цифры, что кочуют по отрасли, в основном восходят к одной и той же горстке источников, которые пересказывают друг друга, а не к независимым замерам. Оператор, который планирует бюджет по этим цифрам, планирует его по догадке.
Это не значит, что решение нельзя принять в принципе, просто принимать его нужно иначе: не искать правильную цену, а понять, какая модель проверки подходит реальному объему и уровню риска сайта и во что каждая из них обходится способами, которые никогда не попадают в счет. Три варианта, штатная проверка людьми, проверка людьми на аутсорсе и модерация на основе ИИ, дают сбой в разных местах, и знание того, где именно ломается каждый из них, стоит больше, чем любая цена за объявление, названная на звонке с продавцом.
Для доски объявлений это особенно важно, потому что контент здесь не нейтрален. Фотография, заголовок или указанное время доступности могут быть совершенно законным объявлением, а могут оказаться материалом, который нужно снять и в некоторых случаях не просто удалить, а сообщить о нем куда следует. Ошибка в сторону излишней медлительности оставляет плохие объявления висеть на сайте; ошибка в сторону излишней жесткости подрывает доверие добросовестных рекламодателей к площадке. Обе ошибки стоят денег, и ни одна из них не видна на демонстрации у поставщика.
Почему три модели проверки ломаются по-разному
Чистая модерация на основе ИИ, когда автоматический классификатор оценивает каждое объявление и на основании этой оценки сам одобряет или отклоняет его, дешевле всего обходится при больших объемах и быстрее всего пропускает чистые объявления. Ее уязвимое место: контекст. Классификатор, обученный ловить очевидные нарушения, хорошо ловит именно очевидные нарушения и сравнительно плохо справляется со всем, что зависит от контекста, которого он никогда не видел: фразой, которая вне контекста читается как нарушение, а в самом объявлении вполне уместна, или наоборот, объявлением, которое проходит все фильтры по ключевым словам, но нарушает реальную политику сайта так, как ни один фильтр не был рассчитан заметить. Оператор, который полагается только на ИИ, узнает об обоих типах сбоя лишь после того, как рекламодатель публично пожалуется на несправедливый отказ, или после того, как в эфир уже вышло то, чего там быть не должно.
Чистая проверка людьми, что штатной командой, что на аутсорсе, точнее всего в расчете на одно решение и хуже всего масштабируется. Живой модератор замечает контекст, который упускает классификатор, но у него же есть жесткий предел числа решений, которые он способен качественно принять за час, и этот предел не сдвигается независимо от того, насколько срочно растет очередь. Всплеск трафика, маркетинговая кампания, сработавшая лучше, чем ожидалось, сезонный наплыв объявлений, и очередь, которая еще вчера справлялась, за считаные дни превращается в затор. А затор в проверке объявлений это не нейтральное ожидание: либо объявления публикуются без проверки, чтобы разгрузить очередь, либо добросовестные рекламодатели ждут достаточно долго, чтобы забрать свое объявление и свои деньги в другое место.
Гибридная модель, при которой автоматика делает первый проход, сама пропускает однозначные случаи и передает человеку все, в чем не уверена, это то, на чем реально работает почти любая площадка сколько-нибудь заметного масштаба, и причина проста: это единственная схема, где скорость машины и суждение человека закрывают слабое место друг друга, а не остаются оба уязвимы одновременно. Реальный вопрос конструирования здесь не в том, использовать ли гибридную модель, использовать ее стоит почти всем, а в том, где именно установить порог уверенности. Слишком низкий порог, и ИИ передает человеку почти все подряд, что воспроизводит ту самую проблему очереди, которую гибридная модель должна была решить. Слишком высокий порог, и ИИ тихо одобряет или отклоняет объявления, которые человек оценил бы иначе, и никто об этом не узнает, пока одно из таких объявлений не станет проблемой.
Расходы, которых нет ни в одном счете
Кто бы ни выполнял проверку людьми, штатный сотрудник или команда на аутсорсе, именно он первым видит худшие материалы, которые получает сайт: объявления, которые помечают, обжалуют или передают на эскалацию как раз потому, что в них есть что-то достаточно тревожное, чтобы посмотреть еще раз. Относиться к этой нагрузке как к рутинной технической операции, на которую можно без последствий поставить любого взаимозаменяемого сотрудника, не просто негуманно по отношению к команде. Это документально подтвержденный источник юридической ответственности, и документы существуют потому, что гораздо более крупная площадка уже опробовала такой подход и проиграла.
В мае 2020 года Meta согласилась выплатить 52 миллиона долларов по мировому соглашению в деле Scola v. Facebook, которое подала бывший модератор контента, у которой от постоянного контакта с тяжелым материалом в ходе работы развилось посттравматическое стрессовое расстройство. Соглашение распространялось на модераторов, которые работали на подрядчика Facebook в Калифорнии, Аризоне, Техасе или Флориде с сентября 2015 по август 2020 года: гарантированная выплата каждому модератору, имеющему право на компенсацию, плюс дополнительная выплата до 50 000 долларов тем, у кого диагностировали ПТСР или связанное с ним состояние, и постоянное обязательство предоставлять модераторам доступ к психологической поддержке. Дело было не о том, что политика модерации Facebook была ошибочной. Оно было о том, что условия труда, в которых эта политика применялась на практике, годами считались чужой проблемой, пока кому-то не пришлось за это ответить.
Небольшая доска объявлений не строит службу модерации масштаба Facebook, и ничего из сказанного не означает, что аутсорсинг или найм на эту роль сами по себе ошибка. Это означает, что рабочие привычки, которые создали такую нагрузку: отсутствие ротации при работе с самым тяжелым контентом, отсутствие лимита на длительность сессии проверки тяжелых материалов, отсутствие доступа к поддержке, встроенного в саму работу, а не предложенного задним числом, доступны команде из двух человек точно так же, как команде из пятнадцати тысяч. Исправить это стоит гораздо дешевле, чем расплачиваться за провал: ротировать тех, кто разбирает эскалированный контент, вместо того чтобы навсегда закреплять эту задачу за тем, кто справляется с ней быстрее других, установить реальный лимит на длительность одной сессии проверки, после которого положен перерыв, и убедиться, что человек, который будет выполнять эту работу, еще до первого рабочего дня знает, с каким материалом он столкнется и куда обратиться, если это на него повлияет.
Что должно быть прописано в договоре с поставщиком и чего не скажет вам ни одна цена
Раз опубликованные расценки за объявление и за месяц недостаточно надежны, чтобы планировать по ним бюджет, единственная цифра, которой стоит доверять, это та, которую оператор измерил сам: пилотный проект на реальных объявлениях сайта, при реальном объеме, с замером скорости относительно собственного целевого норматива сайта, а не демонстрационного ролика поставщика или референс-клиента из совершенно другой отрасли. Пилот, скорость которого нельзя замерить на реальных объявлениях, потому что поставщик предпочитает сначала назвать цену, а показатели продемонстрировать потом, не стоит того, чтобы его проводить.
В договоре, независимо от цены, должны быть прописаны те операционные детали, которые поставщики по умолчанию оставляют расплывчатыми: какие языки покрыты носителями или свободно владеющими сотрудниками, а не машинным переводом; относительно чего на самом деле измеряется обещанное время реакции, не формулировка "обычно в тот же день", а конкретное число часов; что происходит с документами, удостоверяющими личность, и фотографиями, которые модератор видит в ходе работы, кто имеет к ним доступ и как долго они хранятся; и как выглядит процедура обжалования, если рекламодатель оспаривает отказ. Поставщик, который не может письменно ответить на все четыре вопроса до подписания договора, это поставщик, которого оператор на самом деле не проверил, что бы ни говорила о ценах презентация для продаж.
Второй пункт, на котором стоит настоять, это возможность выйти из договора: достаточно короткий срок контракта или достаточно свободные условия расторжения, чтобы смена поставщика после неудачного первого квартала не означала, что нужно еще год оплачивать слабую работу. Поставщики, которые сопротивляются такому условию, тем самым сообщают кое-что о собственной уверенности в цифрах из своей презентации.
Как выстроить процесс проверки прежде, чем выбирать, кому его доверить
Последовательность, которая реально работает, начинается еще до разговора с любым поставщиком. Сначала нужно написать политику принятия решений: короткий документ, а не юридическое заключение, который прямо описывает, что проходит автоматически, что автоматически отклоняется, а что уходит на проверку человеку, и который напрямую привязан к собственным правилам сайта, а не отдан на личное усмотрение модератора при каждом случае. Без этого документа любой модератор, штатный или на аутсорсе, изобретает политику заново на каждом объявлении, и два модератора будут по-разному оценивать одно и то же объявление так, что это проявится как непоследовательное применение правил в тот момент, когда один рекламодатель сравнит свой случай с другим.
Фиксируйте каждое решение с первого дня, пусть даже в обычной таблице: что проверили, какое решение приняли и когда. Это не лишняя работа ради самой работы: это тот же самый учет, который правило ЕС об уведомлении и принятии мер уже обязывает оператора вести по любому объявлению, помеченному как незаконный контент, и если завести эту привычку до того, как она станет требованием комплаенса, она уже будет работать к тому моменту, когда таким требованием станет.
Начинайте своими силами, даже если в конечном счете планируется отдать проверку на аутсорс. Месяц, в течение которого владелец сайта или один нанятый модератор вручную принимает каждое решение, дает единственные цифры объема и сложности, на которые стоит опираться при планировании бюджета, потому что они получены из реальных объявлений сайта, а не из оценки поставщиком некоего типового клиента. За этот же месяц всплывают пограничные случаи: тип объявления, который действительно трудно оценить, формулировка, которую снова и снова приходится смотреть еще раз, и все это письменная политика должна учесть прежде, чем ее попросят последовательно применять более крупную команду или внешнего поставщика.
Только когда эта база уже есть, разговор с поставщиком дает полезный ответ, потому что теперь есть реальная цифра, с которой можно сверять результаты пилота, реальный список пограничных случаев, на которых можно проверить поставщика, и реальное основание судить, отражает ли названная цена то, что работа реально требует, или просто то, что, по мнению поставщика, готов принять рынок. Выбирать поставщика модерации до того, как эта подготовительная работа сделана, значит выбирать вслепую, каким бы уверенным ни выглядело число в коммерческом предложении.
