検索の順位は測れるのに、生成AIの露出は測れていない
この記事では、生成AIの回答に自社の情報が現れているかをどう測るかについて論じる。検索の順位を見るやり方はそのままでは使えず、数える対象から決め直す必要がある。
検索エンジンが情報流通の中心だったあいだ、露出の指標ははっきりしていた。検索順位があり、表示回数があり、クリック数があった。Google Search Console のような計測の道具が運営者に開かれており、自社のページがどの語で何回出たかを数えられた。
生成AIの回答には、それに当たるものがない。回答の文面は利用者ごとに変わり、引用はURLではなく文の断片として現れる。運営者向けの計測画面も用意されていない。GEO（＝生成AIの回答に引用されやすくする情報設計）を進めようにも、現状を知る手立てがそもそも無い。
その結果、多くの組織は生成AIに自社が出ているかどうかを知らないままコンテンツを作り続けている。測れないものは改善もできない。だから計測の設計が先に来る。
何を数えるのかを、先に決める
計測を始める前に、数える対象を三つに分けておく必要がある。一つ目は露出で、ある問いに対する回答の中に自社が何らかの形で現れたかを指す。二つ目は引用で、回答の根拠として自社のページが示されたかを指す。三つ目は言及の質で、現れ方が推奨なのか、比較の一例なのか、否定的な文脈なのかを指す。
この三つは別々のものだ。回答に社名が出ても根拠として引かれていない場合があり、根拠として引かれても推奨されていない場合がある。混ぜて一つの数にすると、増えたのか減ったのかがわからなくなる。三つを分けて記録すれば、打つ手も分かれる。
問いの集合を固定しないと、前後を比べられない
生成AIの回答は問いに強く依存する。語尾を変えただけでも回答は変わる。したがって「今月は露出が増えた」と言うためには、先月と同じ問いを投げていなければならない。問いをそのつど思いつきで作ると、前後の比較は成り立たない。
実務では、固定した問いの集合を作って使い回す。集合は三種類の問いで組む。自社名を含む問い、商品や分野の一般名で聞く問い、そして利用者が実際に抱える課題の言い方で聞く問いだ。三つ目が最も重要で、指名されない段階で見つかるかどうかを映す。
答えは揺れるので、一度の観測では決まらない
同じ問いを同じ日に二度投げても、生成AIの回答は一致するとは限らない。文の生成に確率が入り、RAG（＝回答を作る前にウェブを検索し、その結果を根拠にする仕組み）が引くページもその時々で変わる。一度出たから出るとは言えず、一度出なかったから出ないとも言えない。
だから観測は複数回行い、出た回数の割合で見る。割合で見ると、一度きりの当たり外れが消え、傾向だけが残る。観測の回数と日付、使ったモデルの名前を一緒に残しておけば、あとから条件の違いを切り分けられる。条件を書かない数字は、次の月に比べることができない。
計測を運用へ返すまでが設計である
測ること自体は目的ではない。割合が低い問いを見つけたら、その問いに答える記述が自社のページにあるかを確かめる。無ければ書き足し、あっても見つけにくい形なら見出しと要約を置き直す。書き換えたあとに同じ問いで測り直し、割合が動いたかを確かめる。
この一周が回り続ける状態になって、はじめて計測は設計になる。数える対象を三つに分け、問いの集合を固定し、複数回の観測を割合で見て、結果を書き換えに返す。生成AIの回答に自社が出ているかは、この手順を踏めば測れる。
