Firebase の A/B テスト改善のお知らせ
2017年12月19日火曜日
この記事はデベロッパー アドボケート、Todd Kerpelman による The Firebase Blog の記事 "Announcing Better A/B Testing with Firebase" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。
ほとんどのアプリのデベロッパーは、アプリの長期的な成功において、小さな変更が大きな違いを生むことを知っています。多くの場合、「購入」ボタンの表現、サインアップ フローで表示されるダイアログの順番、ゲームの特定のレベルの難易度といった細部に注意を向けるところから、トップチャートに掲載されるアプリと勢いを失うアプリとの差が生まれます。
しかし、正しい変更を行ったかどうかは、どうすればわかるのでしょうか。もちろん、経験に基づいて推測したり、友人に聞いたり、グループで討論したりすることもできるでしょう。しかし多くの場合、アプリの変更に対するユーザーの反応を知るもっともよい方法は、単にその変更を試してみて、自分の目で確認することです。A/B テストはこの考えに基づいています。この機能を使うと、無作為に選択されたユーザーに対して 2 つ（またはそれ以上）のバージョンのアプリを同時にリリースし、実際にどちらのバージョンでより望ましい結果が得られるかを確認できます。
Firebase Remote Config では、「無作為のパーセンタイル」条件を使って単純な A/B テストを実行できましたが、今回はさらにそれが進化し、Firebase にまったく新しい実験レイヤーが追加されています。これは、Remote Config と通知を使った仕組みで、高度な A/B テストをすばやく簡単に設定して評価できるようにするものです。その仕組みを簡単に紹介しましょう。
新しい A/B テスト機能を使うと、Remote Config で管理している任意の値の組み合わせを使って A/B テストを作成できます。A/B テストを設定すると、さまざまな実験の挙動を定義できます。まずは、実験に参加するユーザーの数……
実行するバリアントの数や、各バリアントでのアプリの挙動……
さらに、実験の目標を定義できます。
目標は実験ごとに違うかもしれません。そのため、A/B テストはさまざまな一般的な成果に対応できるようになっています。たとえば、アプリの合計収益や維持率の増加、クラッシュ数の減少などを指定できます。また、アプリ内チュートリアルの終了など、Google Analytics for Firebase で計測している任意のイベントの発生回数の増加も指定できます。
A/B テストを定義すると、Firebase は無作為に選択した対象端末のユーザーに対して異なるバリエーションのアプリを配信します。Firebase は長期にわたってユーザーの行動を計測し、先ほど定義した目標に応じた成果が出たと思われる場合、通知してくれます。Firebase の A/B テストは、無料で使えるウェブサイトのテストおよびパーソナライズ製品である Google オプティマイズで使われているのと同じベイズの統計モデルを使って結果を計測しています。
先日、生活習慣の改善をサポートするアプリである Fabulous は、Firebase の A/B テストを使ってアプリのオンボーディング フローを改善しました。ユーザーが最初にアプリを起動すると、習慣として行うべき内容が表示され、よい習慣を作る方法が文字で説明されたあと、簡単なルーチンを行ってみることが提案されます。Fabulous チームは、このオンボーディング プロセスからいくつかのステップを省けば、プロセスを完了できるユーザーが増えるかもしれないと考えました。
典型的なユーザーが初めて Fabulous を使う際に表示される画面
そこで A/B テストを実施して、ユーザーごとに、文字を表示しない、簡単なルーチンを実行するよう提案する部分を表示しない、その両方を表示しない、のいずれかになるようにしました。そして、オンボーディング プロセスから両方の手順を省くと、オンボーディング フローを完了するユーザーが 7% 増加することがわかりました。さらに重要なのは、オンボーディングの手順が短くなっても、アプリの維持率にマイナスの影響がない点を確認できたことです。
Firebase Notifications コンソールを使うと、アプリの通知メッセージで A/B テストを行うこともできます。いくつかの異なる通知メッセージを試し、どれを使った場合にその通知からアプリを開くユーザーが増えるかを確認できます。また、どのメッセージを使えば、購入などのアプリ内で意図した操作を行ってくれるユーザーが増えるかも確認できます。
A/B テストは、本日（*原文公開当時）よりすべての Firebase デベロッパーがベータ版として利用できます。ぜひ試してみたいという方は、アプリが Remote Config または Firebase Cloud Messaging を使うようになっており、ライブラリを最新かつ最高のバージョンにアップデートしていることを確認してください。A/B テストの詳細は、いつでもドキュメントで確認できます。または、私たちが制作している動画シリーズ、プロの A/B テストをご覧ください。
そして Firebase Console を開き、アプリの改善を始めましょう。実験は一度に 1 つずつ行うようにしてください！
Reviewed by Khanh LeViet - Developer Relations Team
Firebase の A/B テスト改善のお知らせ
ほとんどのアプリのデベロッパーは、アプリの長期的な成功において、小さな変更が大きな違いを生むことを知っています。多くの場合、「購入」ボタンの表現、サインアップ フローで表示されるダイアログの順番、ゲームの特定のレベルの難易度といった細部に注意を向けるところから、トップチャートに掲載されるアプリと勢いを失うアプリとの差が生まれます。
しかし、正しい変更を行ったかどうかは、どうすればわかるのでしょうか。もちろん、経験に基づいて推測したり、友人に聞いたり、グループで討論したりすることもできるでしょう。しかし多くの場合、アプリの変更に対するユーザーの反応を知るもっともよい方法は、単にその変更を試してみて、自分の目で確認することです。A/B テストはこの考えに基づいています。この機能を使うと、無作為に選択されたユーザーに対して 2 つ（またはそれ以上）のバージョンのアプリを同時にリリースし、実際にどちらのバージョンでより望ましい結果が得られるかを確認できます。
Firebase Remote Config では、「無作為のパーセンタイル」条件を使って単純な A/B テストを実行できましたが、今回はさらにそれが進化し、Firebase にまったく新しい実験レイヤーが追加されています。これは、Remote Config と通知を使った仕組みで、高度な A/B テストをすばやく簡単に設定して評価できるようにするものです。その仕組みを簡単に紹介しましょう。
新しい A/B テスト機能を理解する
新しい A/B テスト機能を使うと、Remote Config で管理している任意の値の組み合わせを使って A/B テストを作成できます。A/B テストを設定すると、さまざまな実験の挙動を定義できます。まずは、実験に参加するユーザーの数……
実行するバリアントの数や、各バリアントでのアプリの挙動……
さらに、実験の目標を定義できます。
目標は実験ごとに違うかもしれません。そのため、A/B テストはさまざまな一般的な成果に対応できるようになっています。たとえば、アプリの合計収益や維持率の増加、クラッシュ数の減少などを指定できます。また、アプリ内チュートリアルの終了など、Google Analytics for Firebase で計測している任意のイベントの発生回数の増加も指定できます。
A/B テストを定義すると、Firebase は無作為に選択した対象端末のユーザーに対して異なるバリエーションのアプリを配信します。Firebase は長期にわたってユーザーの行動を計測し、先ほど定義した目標に応じた成果が出たと思われる場合、通知してくれます。Firebase の A/B テストは、無料で使えるウェブサイトのテストおよびパーソナライズ製品である Google オプティマイズで使われているのと同じベイズの統計モデルを使って結果を計測しています。
A/B テストでオンボーディングを改善する: 事例紹介
先日、生活習慣の改善をサポートするアプリである Fabulous は、Firebase の A/B テストを使ってアプリのオンボーディング フローを改善しました。ユーザーが最初にアプリを起動すると、習慣として行うべき内容が表示され、よい習慣を作る方法が文字で説明されたあと、簡単なルーチンを行ってみることが提案されます。Fabulous チームは、このオンボーディング プロセスからいくつかのステップを省けば、プロセスを完了できるユーザーが増えるかもしれないと考えました。
典型的なユーザーが初めて Fabulous を使う際に表示される画面
そこで A/B テストを実施して、ユーザーごとに、文字を表示しない、簡単なルーチンを実行するよう提案する部分を表示しない、その両方を表示しない、のいずれかになるようにしました。そして、オンボーディング プロセスから両方の手順を省くと、オンボーディング フローを完了するユーザーが 7% 増加することがわかりました。さらに重要なのは、オンボーディングの手順が短くなっても、アプリの維持率にマイナスの影響がない点を確認できたことです。
Notifications のテストとの組み合わせ
Firebase Notifications コンソールを使うと、アプリの通知メッセージで A/B テストを行うこともできます。いくつかの異なる通知メッセージを試し、どれを使った場合にその通知からアプリを開くユーザーが増えるかを確認できます。また、どのメッセージを使えば、購入などのアプリ内で意図した操作を行ってくれるユーザーが増えるかも確認できます。
スタートガイド
A/B テストは、本日（*原文公開当時）よりすべての Firebase デベロッパーがベータ版として利用できます。ぜひ試してみたいという方は、アプリが Remote Config または Firebase Cloud Messaging を使うようになっており、ライブラリを最新かつ最高のバージョンにアップデートしていることを確認してください。A/B テストの詳細は、いつでもドキュメントで確認できます。または、私たちが制作している動画シリーズ、プロの A/B テストをご覧ください。
そして Firebase Console を開き、アプリの改善を始めましょう。実験は一度に 1 つずつ行うようにしてください！
Reviewed by Khanh LeViet - Developer Relations Team