コピーのA/Bテストは、二つの文章を出してクリック率が高い方を選ぶ作業ではありません。誰のどの迷いを、どの情報で減らし、どの事業行動が改善すると考えるかを、比較可能な形で確かめる方法です。
『この見出しの方が刺さる』『短いコピーの方が読まれる』『顧客の言葉を使えば売れる』という意見は、仮説としては使えます。しかし、担当者の好み、過去の成功、他社事例だけでは、自社の顧客とオファーで結果が出るか分かりません。
A/Bテストでは、同じ時期の訪問者を複数案へ割り付け、行動を比較します。ただし、ツールが自動で正しい結論を出すわけではありません。途中で数字が良い時に止める、指標を大量に見て都合の良いものを選ぶ、広告や価格も同時に変えると、偶然や別要因をコピーの効果と誤認します。
オンライン講座では、CTAクリックの後にフォーム、日程予約、説明会、購入、受講開始があります。強いコピーでクリックが増えても、対象外相談や欠席が増えれば改善ではありません。入口の行動と、事業上の成果・顧客品質をつなげます。
A/Bテストの前に『コピーの問題』を観察する
テスト案を作る前に、どこで誰が何を理解できていないかを特定します。ページ全体を一度に作り直すと、差が出ても理由を説明できません。
ファネルの詰まりを分ける。どの段階かで、コピー、操作、価格、流入、商品、確認メールなど疑う原因が変わります。
- 広告はクリックされるがLPですぐ離脱する
- LPは読まれるが主要CTAが押されない
- CTAは押されるがフォームを開始しない
- フォーム送信後に日程を確定しない
- 予約するが説明会へ参加しない
- 説明会へ来るが対象外・期待違いが多い
- 購入するが開始・課題提出が進まない
定性データで理由の候補を得る。アクセス解析は止まった場所を示しますが、理由は断定できません。顧客インタビュー、未購入者、相談記録、フォームの自由回答、タスク型テストを組み合わせます。
『料金が高い』という声も、総額が分からない、他プランとの差が分からない、価値を信じられない、予算時期が違う可能性があります。
コピーで解ける問題か確認する。日程の空きがない、価格が採算と合わない、支援内容が不足、決済が壊れている場合、文章変更では解決しません。商品・運用・技術の担当へ戻します。
コピーは事実を分かりやすく伝えられますが、存在しない価値や証拠を作れません。
検証可能なコピー仮説を作る。良い仮説は、対象、観察した問題、原因、変更、期待する行動、理由を含みます。『見出しを改善すればCVRが上がる』では広過ぎます。
仮説の基本形。『広告から来た初回講座制作者は、現在の見出しでは撮影代行と誤解している。商品企画から販売導線までの成果物を補足へ示すと、自分向けか正しく判断でき、対象適合する無料相談予約が増える』とします。
この仮説なら、対象流入、誤解、変更箇所、予約、適合を測れます。
根拠の強さを記録する。一人の意見、複数の相談、行動データ、過去テスト、技術エラーなど根拠の種類と件数を書きます。強い声が一件あっただけで全体へ適用しません。
仮説が外れたとき、顧客理解、原因、表現、計測のどこを更新するか判断できます。
反証条件を決める。予約率が上がっても対象適合率が一定以上下がる、理解テストで撮影代行の誤解が残る、表示速度が悪化する場合は採用しないと決めます。
成功条件だけでなく、悪化と停止の基準を先に持ちます。
バリエーションは一つの意味の違いを作る。A案とB案の違いを説明できるようにします。単語を少し言い換えるだけでは差が小さく、見出し、画像、価格、フォームを全て変えると学びが曖昧です。
価値仮説を変える。A案は『専門知識を一つのオンライン講座へ』、B案は『商品企画からLP・販売導線まで一括構築』とします。前者は進歩、後者は支援範囲を中心にしています。
どちらが勝つかより、初見の人が何を重視し、どの人が反応するかを学びます。
表現だけを変える。意味は同じまま、専門語を一般語へ、抽象語を成果物へ、CTAを『送信』から『無料相談の日程を選ぶ』へ変えるテストもあります。
目的が明確さの改善なら、オファーや証拠を同時に変えません。
大幅改修は本質的な差を定義する。全面リライトを比較する場合も、『講師中心から顧客の仕事中心へ』『機能一覧から成果物の時間軸へ』など設計上の違いを記録します。
結果から個々の単語効果は言えません。ページ戦略として優劣を判断します。
主要指標とガードレール指標を決める。測れる指標を全て並べるのではなく、仮説に最も近い主要指標と、悪化してはいけない品質指標を決めます。結果を見てから都合のよい指標へ変更しません。
コピー箇所に近い指標。見出しならスクロール、主要CTA、予約開始、商品説明ならプラン詳細、カート、申込完了、CTA文言ならクリックとその後の完了を見ます。
近い指標は変化を検出しやすい一方、事業価値から遠いことがあります。
事業成果に近い指標。説明会参加、対象適合、購入、粗利、受講開始、初回課題、返金です。時間がかかり件数が少なくても、最終判断に必要です。
高額講座では、フォーム送信より参加と適合を主要指標にする場合があります。
ガードレール指標。主要指標が改善しても、品質が設定範囲を超えて悪化したら採用を止めます。
- 対象外相談・不適合率
- 説明会欠席・キャンセル
- 返金・苦情・期待違い
- ページ速度・エラー
- サポート対応時間
- プラン別の利益・提供能力
GA4などのイベント計測を先に検証する
テスト前に、イベントが正しい意味で一度だけ記録されるか確認します。計測が壊れていれば、統計以前に結果を判断できません。
イベント仕様書を作る。イベント名、発火条件、ページ、パラメータ、除外条件、利用するレポート、担当者を書きます。CTAの位置やバリエーションIDを必要な範囲で付けます。
氏名、メール、自由記述など個人情報を分析イベントへ送らないようにします。
ファネルを段階に分ける。Google Analytics 4は、Webやアプリの利用者行動をイベントとして計測する仕組みを提供しています。外部予約・決済との連携と重複を確認します。
- LP表示
- CTAクリック
- フォーム表示・開始
- エラー・送信
- 日程予約完了
- 説明会参加
- 購入・決済
- 受講開始・初回課題
本番前に実際の行動で試す。各バリエーションをスマートフォンとPCで開き、クリック、戻る、再読込、二重送信、エラー、予約、購入を試します。リアルタイム・デバッグと業務システムの件数を照合します。
同意設定やブラウザで欠損することを前提に、完全な真実ではなく測定データとして扱います。
サンプル・期間・停止条件を事前に決める。何件あれば十分かは、基準率、検出したい差、許容する誤り、割付、販売周期で変わります。固定の『千訪問』では決まりません。
検出したい最小差を事業で考える。0.1ポイントの差が統計的に検出できても、制作・運用費を上回らない場合があります。反対に、高額講座で対象適合が改善するなら少数でも価値があります。
基準率、訪問数、追加件数、粗利、運営負荷から、判断する価値のある差を決めます。
販売周期と曜日を含める。平日と週末、給料日前後、ウェビナー日、メール配信直後で訪問者が変わります。少なくとも主要な周期を含め、季節イベントを記録します。
募集期間が短い講座では、十分な同時テストが難しいことを認め、期別比較と定性調査を使います。
途中の勝ちで止めない。毎日結果を見て有意・有利になった瞬間に止めると、偶然の上振れを勝者にしやすくなります。事前の期間・判断手順に従います。
逐次検定に対応する方法を使うなら、ツールの前提を理解します。通常の固定標本手順と混ぜません。
統計結果を『真実』ではなく証拠として読む。p値、信頼区間、ベイズ確率など、ツールごとに表示は違います。数値の意味を理解せず、緑色の勝者表示だけで決めないでください。
p値だけで効果の大きさを判断しない。米国統計学会の声明は、p値が仮説の真である確率や効果の大きさを直接示すものではなく、科学・事業判断を単一の閾値だけへ基づけるべきでないと説明しています。
変更前後の率、絶対差、相対差、件数、区間、コスト、品質を合わせて見ます。
多重比較と事後分析に注意する。五つのコピー案、十の指標、複数端末を見れば、偶然よく見える組合せが増えます。主要比較を事前に決めます。
結果後のセグメント分析は次の仮説探索として扱い、同じデータで確証したと主張しません。
差がない結果から学ぶ。有意差がないことは、二案が完全に同じ、永遠に効果がないという意味ではありません。検出力不足、変更差が小さい、仮説が違う、指標が遠い可能性があります。
結果の不確実性と、次に変更する価値があるかを記録します。
低トラフィックで無理にA/Bテストしない。月数百訪問や募集回数が少ない講座では、小さな差を同時実験で判断するまで時間がかかります。『統計的な勝者』を作るために期間を無限に延ばしません。
重大な理解問題を定性テストする。対象者へページを読んでもらい、誰向け、何が得られる、必要時間、価格、次の行動を言い直してもらいます。重大な誤解は少人数でも発見できます。
反応率の推定ではなく、問題発見の目的で使います。
販売期ごとに一つ変更する。毎回の募集で一つの主要仮説を変え、流入、広告、価格、講師、期間、件数、下流品質を記録します。完全な実験ではありませんが、条件差を説明できます。
一回良かっただけで確定せず、次の募集でも傾向を見ます。
大きな障害を先に直す。ボタンが動かない、価格が見えない、対象者を誤解するなど明らかな問題は、A/Bテストで半数に悪い体験を残さず修正します。
基本的なアクセシビリティ、法務、正確性もテスト対象の勝敗にしません。
具体例：無料相談CTAのコピーを検証する
専門家向けオンライン事業化支援LPで、現在のCTAが『無料相談に申し込む』とします。クリックはあるものの、日程予約完了が低く、相談者から『何を話すか分からなかった』という声がありました。
仮説とバリエーション。仮説を『商品案が未定の人は、相談で何を得られるか分からず日程選択を止める。CTAと直前説明で、経験から商品テーマと必要な支援を整理すると示せば、対象者の予約完了が増える』とします。
A案は現行、B案は『無料相談で、商品にできるテーマを整理する』。直前に所要時間、確認項目、相談後の選択肢を同じ範囲で追加します。
指標と停止条件。主要指標はLP訪問あたり日程予約完了、補助はCTAクリック、ガードレールは説明会参加、対象適合、担当者の事前確認工数とします。
予約は増えても対象適合が事前基準を超えて悪化する場合、採用せず、対象条件の説明を見直します。
結果の解釈。B案でクリックだけ増え、予約完了が変わらないなら、CTA後の予約画面、空き枠、フォーム、信頼が次の問題かもしれません。コピーが弱いという結論だけにしません。
予約と適合が改善した場合も、実装後と次の流入期で再確認し、学習記録へ残します。
テスト結果を実装・共有する
テストツール内の勝者を放置せず、本番へ正しく実装し、学びを再利用できる形にします。負けたテストも、同じ仮説の繰り返しを防ぐ資産です。
実験カードを残す。
- 観察した問題と根拠
- 対象・流入・期間
- 仮説と反証条件
- A・Bの違い
- 主要・品質指標
- 件数、率、差、不確実性
- 汚染要因と限界
- 実装判断と次の仮説
本番実装後を監視する。実装がテストと同じか、イベントが残るか、速度・アクセシビリティが悪化しないか確認します。恒久実装後に効果が縮小・反転することもあります。
広告や顧客構成が変わったら、過去の勝者を普遍的な正解とみなしません。
まとめ
オンライン講座のコピーA/Bテストは、好きな文章を競わせる作業ではありません。ファネルの問題を観察し、顧客の定性データから、対象・原因・変更・行動を含む仮説を作ります。
主要指標、品質指標、イベント、必要サンプル、期間、停止条件を配信前に決めてください。結果はp値や勝者表示だけでなく、絶対差、件数、利益、対象適合、受講後の期待で読みます。
参考資料・出典
本文の事実確認と実務上の判断に用いた資料です。各資料の結論をそのまま当てはめず、自社の顧客・商品・計測条件に合わせて検証してください。
- CXL: Copy Testing in the Digital Age — 顧客調査、仮説、定性評価、比較実験によってコピーを検証する考え方を参照。
- Kohavi et al.: Online Controlled Experiments at Large Scale — オンライン対照実験の設計、指標、実験文化、直感に反する結果を参照。
- American Statistical Association: Statement on Statistical Significance and P-Values — p値の意味、効果量・文脈・完全な報告と単一閾値への依存を避ける原則を参照。
- Google Analytics: Set up events — Web・アプリの利用者行動をイベントとして計測し、デバッグする仕組みを参照。
- FTC: Advertising and Marketing Basics — コピー上の主張が真実で、非欺瞞的で、証拠に基づくという前提を参照。
あなたも、自分の経験をオンライン講座にしてみませんか？
tamatebakoでは、専門家が培ってきた知識や技術を、オンライン講座として販売できる状態までまとめて構築しています。企画、カリキュラム、教材、販売ページ、申込み後の流れまで、一括して相談できます。
まだテーマが決まっていなくても問題ありません。これまでの仕事や顧客から相談されてきたことを伺い、どんな講座が作れそうかを一緒に整理します。