掲載審査は誰に任せるべきか、各方式が破綻したときの本当のコスト

価格比較では解決できない問い

サイトを立ち上げてしばらくすると、クラシファイド運営者は誰もが同じ壁にぶつかる。掲載申請の流入が、公開前に一人ひとり目を通せる速度を上回り始め、誰が何をどれだけの速さでレビューするのか、実際の答えが必要になるのだ。最初に頭に浮かぶのは、価格や業者やプランを探して問題を丸ごと解決しようとすることだろう。しかしこの発想は、ほぼ即座に別の壁に突き当たる。外部委託のモデレーション業者が公表している料金は、実際の予算を組む上でほとんど役に立たないからだ。業者のマーケティングページに載っている料金は、企業ごとに桁違いにばらつき、1件のレビュー判断に実際何が含まれるのかもほとんど説明されていない。業界内で繰り返し引用される数字も、たどっていくとほんの一握りの自社発信のソースが互いを引用し合っているだけで、独立した調査に基づくものではない。こうした数字を根拠に予算を組む運営者は、憶測を根拠に予算を組んでいるのと変わらない。

とはいえ、この判断が原理的に不可能というわけではない。ただ、アプローチを変える必要がある。正しい価格を探すのではなく、サイトの実際の掲載量とリスクにどの体制が合っているか、そして請求書には決して表れない形でそれぞれ何を犠牲にするのかを理解することだ。自社での人によるレビュー、外部委託の人によるレビュー、AI主導のフィルタリングという3つの選択肢は、それぞれ破綻する局面が異なる。どこで破綻するかを知っておくことは、営業電話で提示されるどんな単価よりも価値がある。

これがディレクトリサイトにとって特に重要なのは、扱うコンテンツが中立ではないからだ。写真、見出し、掲載可能な時間帯の表記は、完全に正当な広告である場合もあれば、削除しなければならない掲載、場合によっては単純に削除するのではなく通報が必要な掲載である場合もある。レビューが遅すぎる方向に誤れば、問題のある掲載がそのまま公開され続ける。逆に厳しすぎる方向に誤れば、正当な広告主のサイトへの信頼を失わせる。どちらの失敗もコストを生むが、そのどちらも業者のデモ画面には表れない。

3つの体制が、それぞれ違う形で破綻する理由

純粋なAI主導のフィルタリング、つまり自動分類器がすべての掲載にスコアを付け、そのスコアに基づいて自動承認または自動却下する方式は、大量の掲載を処理する上で最も安く、問題のない掲載を最も早く通せる。その弱点は文脈だ。明白な違反を検出するよう訓練された分類器は、明白な違反を検出することには長けているが、見たことのない文脈に依存する判断には比較的弱い。文脈から切り離せば違反に見えるが実際の掲載としては問題ない表現もあれば、逆にすべてのキーワードフィルターをすり抜けながら、どのフィルターも想定していない形でサイトの規約に実質的に違反している掲載もある。AI任せのレビューを運用している運営者がこの両方の失敗に気づくのは、広告主が不当な却下を公に訴えたあと、あるいは決して公開されるべきでなかったものがすでに公開されてしまったあとになる。

純粋な人によるレビューは、自社であれ外部委託であれ、1件ごとの精度は最も高いが、規模の拡大には最も弱い。人によるレビュアーは分類器が見落とす文脈を捉えられる。しかし、質を落とさずに1時間でこなせる判断の件数には上限があり、この上限はキューがどれだけ切迫して増えても動かない。想定以上にうまくいったマーケティング施策や季節的な急増などでアクセスが急増すれば、これまで処理しきれていたレビューキューは数日で滞留に転じる。そして掲載レビューの滞留は単なる待ち時間の問題ではない。キューを消化するために未レビューのまま公開してしまうか、正当な広告主が待ちきれずに自分の掲載と資金を他のサイトへ持っていってしまうか、どちらかの結果を招く。

ハイブリッド型、つまり自動判定でまず明白なケースを処理し、確信が持てないものだけを人に回す方式は、実際にある程度の規模で運営しているプラットフォームのほぼすべてが採用している。理由は単純で、機械の速さと人の判断力が互いの弱点を補い合う、双方の弱点がそのまま露出しない唯一の構造だからだ。ここで実際に重要な設計判断は、ハイブリッド型を採用するかどうかではない。ほぼすべての運営者が採用すべきものだからだ。重要なのは、確信度のしきい値をどこに置くかである。しきい値を低く設定しすぎると、AIはほとんどの判断を人に回すことになり、ハイブリッド型が解決するはずだった滞留の問題を再び生む。逆に高く設定しすぎると、AIは人であれば違う判断をしたはずの掲載を、気づかれないまま自動承認または自動却下し続け、その掲載が問題になって初めて発覚する。

請求書には決して載らないコスト

人によるレビューを担うのは、自社スタッフであれ外部委託チームであれ、サイトが受け取る中で最も過酷な素材を、誰よりも先に目にする立場にある。フラグが立てられ、異議申し立てや二次審査に回される掲載は、まさにその内容が二度見を要するほど不穏だからこそそこに送られてくる。この負荷を、誰と入れ替えても支障のない単純なデータ入力作業のように扱うのは、チーム運営として冷淡なだけではない。それは法的な責任を招くことが実例として記録されている問題であり、その記録が存在するのは、はるかに大きなプラットフォームがすでに別のやり方を試して失敗したからだ。

2020年5月、Metaは「Scola対Facebook」訴訟において5200万ドルの和解に応じた。この訴訟は、業務中に過激な素材への曝露が続いたことで心的外傷後ストレス障害(PTSD)を発症した元コンテンツモデレーターが起こしたものだ。和解の対象は、2015年9月から2020年8月の間にカリフォルニア州、アリゾナ州、テキサス州、フロリダ州のFacebook委託業者で働いていたモデレーターで、対象者全員への一律の支払いに加え、PTSDまたは関連疾患と診断された者には最大5万ドルの追加給付があり、さらにモデレーター業務に従事する人々へメンタルヘルスカウンセリングを継続的に提供することも約束された。この訴訟の争点はFacebookのモデレーション方針そのものが誤っていたかどうかではない。その方針が実行される現場の労働環境が、誰かが責任を問われるまで何年も他人事として扱われていたことにある。

小規模なディレクトリサイトはFacebookほどの規模でレビュー体制を組んでいるわけではないし、外部委託や人員採用そのものが誤りだという話でもない。ここで言いたいのは、そうした問題を生んだ運用習慣、つまり最も過酷なコンテンツから担当をローテーションさせない、過激な素材を扱うセッションの長さに上限を設けない、後付けではなく業務に組み込まれたサポート体制がない、といった状態は、2人で回すモデレーション体制にも、1万5000人規模の体制にも等しく起こりうるということだ。対策にかかるコストは、失敗した場合よりはるかに小さい。単に処理が速い人に二次審査対応の掲載を固定で任せきりにせず、担当をローテーションすること。1回のレビューセッションの時間に休憩を挟む実質的な上限を設けること。そして、この仕事を担う人が初日を迎える前に、どのような素材を目にすることになるのか、影響を受けた場合どこに相談すればよいのかを、あらかじめ伝えておくこと。

業者との契約に明記すべきこと、見積もりだけではわからないこと

公表されている1件あたりの単価や月額料金は予算の根拠にできるほど信頼できない以上、信頼に値する数字は運営者自身が直接測定したものだけだ。つまり、業者のデモ映像や無関係な業種の紹介事例ではなく、サイト自身の掲載を実際の量で使い、サイト自身が目標とする対応時間に照らして計測する試験運用である。業者がまず単価を提示し、実際の性能検証は後回しにしたがるせいで、実掲載に照らして時間を計測できない試験運用は、実施する価値がない。

料金にかかわらず契約書に明記すべきなのは、業者がデフォルトでは曖昧にしがちな運用面の詳細だ。機械翻訳ではなくネイティブまたは堪能なレビュアーが対応する言語はどれか。対応時間の約束は「通常は当日中」といった曖昧な表現ではなく、具体的な時間数で示されているか。レビュアーが業務中に目にする本人確認書類や写真はその後どう扱われ、誰がアクセスでき、どれだけの期間保管されるのか。広告主が却下に異議を申し立てた場合の異議申し立ての経路はどうなっているか。この4点すべてに契約締結前に書面で答えられない業者は、営業資料の料金がどれほど魅力的でも、運営者が実際に評価を終えた業者とは言えない。

もう一つ譲るべきでない条項が、退出条件だ。最初の四半期の結果が悪かった場合に業者を切り替えられるよう、契約期間を十分に短くするか、解約条項を十分に緩くしておく。丸1年分、期待外れの成果に料金を払い続ける羽目にならないようにするためだ。この条件に難色を示す業者は、自分たちの提案資料に載せた数字への自信のなさを、それとなく示しているとも言える。

業者を探す前に、レビュー体制を自前で作っておく

実際にうまくいく順番は、業者との商談を始める前から始まっている。まず判断基準の文書を作ることだ。法律文書である必要はなく、何を自動通過とし、何を自動却下とし、何を人の判断に回すのかを、サイト自身の利用規約に直接紐づけて、そのつど個々のレビュアーの裁量任せにせず、簡潔に明文化しておく。この文書がなければ、自社であれ外部委託であれ、すべてのレビュアーが掲載ごとに独自の基準を作り出すことになり、同じ掲載でもレビュアーによって判断が割れる。それは広告主同士がメモを見比べた瞬間に、対応の一貫性のなさとして表面化する。

初日からすべての判断を記録すること。スプレッドシートでも構わない。何をレビューし、どう判断し、いつ判断したかを残す。これはそれ自体のために発明された余計な作業ではない。違法コンテンツとしてフラグが立てられた掲載について、EUの通知・対応ルールが運営者にすでに義務付けている記録と同じものであり、これがコンプライアンス義務になる前にその習慣を作っておけば、義務化された時点ですでに運用が回っていることになる。

最終的に外部委託する計画であっても、まずは自社で始めること。オーナー自身か、雇った1人のレビュアーがすべての判断を1か月手作業でこなせば、予算の根拠として信頼できる唯一の掲載量と難易度の数字が得られる。それは業者が想定する典型的な顧客像からの推測ではなく、サイト自身の実際の掲載から得られる数字だからだ。その1か月は、判断が本当に難しい掲載の種類や、何度も二度見が必要になる表現といった、より大きなチームや外部業者に一貫して適用させる前に文書化した基準が対応しておくべきエッジケースも洗い出してくれる。

この基準ができて初めて、業者との商談は意味のある答えを生む。その時点で初めて、試験運用の成果を照らし合わせる実際の数字、業者を試すための実際のエッジケースのリスト、そして提示された料金が実際の業務内容を反映しているのか、それとも業者が市場に受け入れられると考えている水準にすぎないのかを判断する実際の根拠が揃うからだ。この下準備を済ませないままモデレーション業者を探すのは、見積もりの数字がどれほど自信に満ちて見えても、目を閉じたまま買い物をするのと同じである。