「データ分析で効果があった」と言えるまでに必要なこと

施策を出しました。翌週の数字が上がりました。報告では「効果がありました」と書きます。

ここで止まると、次に同じ施策を打っても再現しません。上がったことと、施策が上げたことは別だからです。

何があれば「効果があった」と言えるのか。順に書きます。

問題：前後比較だけでは分からない

施策の前後で数字を比べるやり方には、施策以外の理由が全部混ざります。

混ざるもの	例
季節	月末、給料日、連休、気温
他の施策	同じ週に打った広告、メール配信
外の出来事	天気、報道、競合のセール
自然変動	何もしなくても、週によって上下します

前週比が5%上がったとして、そのうち施策ぶんが何%かは、前後比較だけでは分けられません。

仕組み：比較対象を作る

効果を言うには、施策を受けていない相手が要ります。

方法	内容	精度	手間
A/Bテスト	対象をランダムに2つに分け、片方だけに出します	高いです	仕組みが要ります
対象外グループとの比較	施策の対象外の層と、同じ期間で比べます	中	低いです
前年同期比	1年前の同じ期間と比べます	低いです	低いです
前後比較のみ	施策の前後で比べます	参考程度	なし

可能なら常にA/Bテストです。ランダムに分けている限り、季節も天気も両方に等しくかかるため、差分が施策の効果になります。

A/Bテストが使えない場合

全員に出さざるを得ない施策（サイト全体の改修など）では、次善の策を取ります。

施策の影響を受けない指標を1つ選び、同じ期間で動いていないことを確認します
同じ期間に他の施策を打たないでください
施策の対象になりにくい層（例：別のチャネルから来た人）を参照に使います

期間の切り方

前後で同じ長さにする

「施策前1週間」と「施策後3日」を比べないでください。同じ曜日構成になるよう、7日単位で揃えます。

施策直後を含めない

出した直後は、一時的に跳ねることが多いです。

期間	扱い
出した当日〜2日	除外します。告知効果と物珍しさが混ざります
3日目〜	ここから計測します
2週間以降	定着したかを見ます

必要な期間の決め方

どれくらいの差を見つけたいかで、必要な期間が決まります。

見つけたい差	必要な件数の目安（各グループ）
大きい差（CVRが2倍など）	各100件程度の成果
中くらい（+30%）	各300件程度
小さい差（+5%）	各数千件

「+5%を検出したい」なら、1日10件しか成果がない施策では何か月もかかります。始める前に、期間が現実的かを確かめます。

差が誤差かどうか

指標を1つに決める

始める前に、判断に使う指標を1つだけ決めます。

決めること	例
主指標	購入率
副指標（悪化していないかの確認）	平均注文金額、問い合わせ件数
判断の基準	購入率が相対で10%以上改善したら採用

後から指標を選ばないでください。5つの指標を見れば、そのうち1つはたまたま良く見えます。

目安

各グループの成果件数	言えること
30件未満	数字で語りません。「判断できない」と書きます
30〜100件	倍近い差なら傾向として扱えます
100〜500件	20%以上の相対差
500件以上	10%以上の相対差

正式に言うなら、比率の差の検定（カイ二乗検定など）で確かめます。表計算ソフトでも計算できるため、報告の前に一度は通しておきます。

言い方を揃える

状況	書き方
差が十分	「購入率が2.1%から2.6%へ、相対で24%改善」
差が小さいです	「差は確認できませんでした」
件数が足りません	「件数が少なく、判断できない。◯月まで継続します」

「効果があったと思われる」で濁さないでください。3つのどれかで書きます。

やること

手順1. 始める前に1枚書く

施策：
主指標：
比較の方法：（A/B／対象外との比較／前年比）
計測期間：◯月◯日〜◯月◯日（直後2日は除外）
採用する条件：主指標が◯%改善
見る副指標：

この紙を施策の前に作ります。後から作ると、結果に合わせて条件が動きます。

手順2. 除外する条件を決める

除外するもの	理由
社内からのアクセス	動作確認が混ざります
自動化された巡回	人の行動ではありません
キャンセル・返品	成果として数えません
期間中の障害発生時間	条件が違います

手順3. 集計してから中身を見る

主指標の結果を出したあとで、属性別や流入別に分けて見ます。ただし、分けた結果で判断を変えません。分けた結果は次の仮説に使います。

手順4. 結果を残す

採用・不採用にかかわらず、1施策1行で記録します。

日付	施策	主指標	結果	判断
2月3日	カート内の送料表示	購入率	2.1%→2.6%	採用
2月10日	ボタンの色変更	購入率	差なし	不採用

不採用の記録が一番価値があります。同じことを半年後にもう一度試すのを防げます。

失敗例

失敗	何が起きるか	代わりにやること
前後比較だけで効果を言います	季節や他施策の影響が混ざります	比較対象を作ります
結果を見てから指標を選びます	どんな施策でも「効果あり」になります	主指標を1つ、事前に決めます
施策直後から計測します	一時的な跳ねを効果と誤認します	最初の2日を除外します
期間の長さが前後で違います	曜日構成の差が混ざります	7日単位で揃えます
件数が少ないまま結論を出します	偶然を再現性のある成果として扱います	「判断できない」と書きます
同じ週に複数の施策を打ちます	どれが効いたか分けられません	期間をずらします。無理ならA/Bで分けます
不採用の結果を残しません	同じ施策を繰り返します	1施策1行で記録します

まとめ

上がったことと、施策が上げたことは別です。前後比較だけでは分けられません
効果を言うには、施策を受けていない比較対象が要ります。可能なら常にA/Bテスト
主指標は1つ、始める前に決めます。後から選べばどんな施策も成功になります
施策直後の2日は除外します。期間は7日単位で揃えます
見つけたい差の大きさから、必要な件数と期間を先に見積もります
「効果があったと思われる」で濁さないでください。差がある／ない／判断できないで書きます
不採用の記録を残します。同じ施策の繰り返しを防げます

最初にやることは、施策を出す前に7行の紙を書くことです。これがあるだけで、報告の会話が「上がりましたね」から「採用します」に変わります。