グロービスの、サブスクリプション型オンライン動画学習サービス「GLOBIS 学び放題」。

今回は「GLOBIS 学び放題」のプロダクトマネージャー神崎様と、リードエンジニアの功刀様に、ユーザー行動分析ツール「Amplitude（アンプリチュード）」を導入していただいたきっかけ、導入後の変化、具体的な取り組みやその効果についてお話を伺いました。

オンライン定額制動画学習サービス「GLOBIS 学び放題」

− 御社のサービスと特徴を教えてください

「GLOBIS 学び放題」は、グロービスが保有するビジネスナレッジを、基礎から応用まで、いつでも、どこでも学べる定額制動画学習サービスです。
前向きなキャリア実現や仕事の困りごとを解決したいビジネスパーソンに対し、ビジネス学習を基礎から体系的に学べることを売りにしています。

サービス開始から約5年経ち、コース動画数は600、ユーザーIDの累計は個人・法人合わせて20万以上のプロダクトです。

決め手は、使いやすさ・スピード感・導入後のフォロー体制

Amplitude導入時のデータ活用に関する課題について

神崎様｜
導入時の課題は二つありました。
一つ目は、弊社はユーザー継続率をプロダクトのKPIに置いており、その達成に向けブレイクダウンした細かい指標の可視化や運用が十分ではなかったことです。
プロダクト内のユーザーの詳細なアクションや、それがどうKPIに繋がっているのか、改善のための分析ができていない課題がありました。

功刀様｜
二つ目は、分析のスピード感や、分析作業の際に発生する手間です。社内データベースにアクセスしデータを引っ張ってくる際、SQLを書いて抽出する作業にかなり時間を費やす上に、SQLを扱える人材が限られているため、チーム内で分析を行うにはハードルが高いという課題がありました。
そのためデータ専門チームに仕事を依頼せねばならず、要件伝達のコミュニケーション毎にリソースが必要となり、コスト面でも課題がありました。

他の分析ツールは使っていましたか？ GoogleAnalytics・MixPanelとの比較は？

神崎様｜
2年程前に使用していたのは、GoogleAnalyticsとFirebaseといった基本的な分析ツールで、加えて手作業のSQLデータ抽出がメインでした。しかし前述のスピード感と品質の課題から良いツールを探していたところ、Amplitudeの日本カントリーマネージャーである米田様が発信しているnote記事でAmplitudeを知り、弊社から問い合わせをしました。

その他MixPanelも比較検討しましたが、導入検討が進むにつれてAmplitudeの使いやすさを実感していたので、それ程細かい比較は行いませんでした。

そもそもAmplitudeほど高度な行動分析を行えるツールが他になく、比較と言うより探りながらの検索を行っていた中で、Amplitudeの記事は、目的や課題感に対する打ち手やソリューションが一番細かく書かれていたので、そこが決め手となりました。

Amplitudeを選んだ理由、導入の決め手を教えてください

神崎様｜
一つは、数値の運用が十分ではない・スピード感という元々持っていた課題を解決できるツール、という期待値を満たしてくれると思ったことです。

もう一つは、米田様からご紹介頂いたAmplitude代理店のDearOneさんに試験導入時の検証をご相談させて頂いた際に、試験導入が非常にやりやすく話も円滑に進んだため、導入後のフォローも安心してお任せできると感じた点でした。

スムーズな実装で、デザイナーもAmplitudeでデータ活用

Amplitude実装までのスピード感はどうでしたか？

功刀様｜
最初の1週間はDearOneさんからレクチャーをして頂き、まずは社内データ1千万件程をAmplitudeに入れて試すことになりました。その作業自体が非常にスムーズで、実際にGLOBIS 学び放題のデータを使うとどんな感じなのか、最初の数週間で試すことができました。

その後タクソノミー設計や埋めるべきテンプレートを頂き、どのようなログを送信すべきかの設計を複数回繰り返し、実装に至りました。結果、ログの設計や実装を経ての本運用を3ヶ月程で完了することができました。

神崎様｜
利用開始時は、「ログを取得するツールの変更」という大きな作業にも関わらず、非常にスムーズに行えたとの印象です。

タクソノミー設計 ^*1 … Continue readingについてはいかがでしたか？

功刀様｜
DearOneさんとペアで一緒に作成して、弊社で埋めて、もう一度レビューして頂くという作業を複数回繰り返しました。

当初、エクセルシートを見て難しそうだと思ったのですが、担当者の方が手取り足取り教えて下さったお陰で、問題なく実現できました。

運用メンバー構成と心情の変化を教えてください

神崎様｜
プロダクトグロース担当の開発チームは当時5、6名で、チーム内に小さく導入しました。
その後、データ活用やマーケチームといった他のチームに展開しましたが、メインで使っているのは開発チームです。

元々自分と功刀さんがSQLを叩いて施策の効果検証までデータの可視化を行っており、それがやりやすくなるということを伝えていたため、他メンバーにも不安はありませんでした。

また、デザイナーはデータ活用から遠い存在でしたが、Amplitudeで簡単に可視化や集計ができることを伝えると、積極的に使うようになりました。施策作成時にアイデア発想や示唆出しをチーム全体でできるという、使い始めてからのポジティブな変化もありました。

功刀様｜
神崎さんと自分が結構盛り上がって推していたのですが、徐々に1on1や個別ミーティングで、デザイナーからもAmplitudeの触り方を教えてほしいと言われるようになりました。今ではデザイナーも直接Amplitudeで分析を行っています。

神崎様｜
導入は功刀さんが頑張ってくれました。
特にユーザー調査などを行っているデザイナーは定性調査のプロフェッショナルなので、大量のデータも扱えるようになると強いと思います。

チーム内議論もデータドリブンに意識変容し、建設的な議論が可能に

Amplitudeを活用することでの社内の変化はありましたか？

神崎様｜
弊社はOKRという目標設定フレームワークを使っており、3か月単位で目標が変わります。その達成に向け小さなKPIを設計し、Amplitudeでダッシュボードを作り、数字を可視化しながら3か月を過ごすのが前提です。

これまでも3か月の中で施策を行ってきましたが、分析に時間を要していたため施策の実行回数が上がりませんでした。Amplitude導入後は分析の効率化が実現できたため、施策の実行回数を増やすことにつながったと思います。

功刀様｜
簡単にチャートが作れるため、エビデンスベースで会話しようとする意識がメンバーに生まれました。また、実際にリアルタイムで議論を行っている中でも、疑問が出てきたらすぐにAmplitudeを用いてエビデンスを確認するという機会も増えました。

神崎様｜
議論の中で「この施策でこの仮説ならあの数字はどうなるか」という時に、Amplitudeがあればその場ですぐに見れるので、非常にスピーディーで良いですね。

功刀様｜
チーム内議論の意識変化だけでなく、チーム外のメンバーとの議論効率も上がりました。例えばある機能を追加・削除する際に、その機能が現在どのくらい使われ、KPIにどれほど貢献しているか定量的に可視化することで、事実に基づいた建設的な議論ができる点で変化がありました。

また、アプリ内で表示するコンテンツを決める際に、Amplitudeによって抽出された内容を利用するケースもありました。

重要KPIが8ポイント改善！施策実行回数は２倍に

Amplitudeでユーザー行動分析した後の、施策実行の効果を教えてください

神崎様｜
弊社は継続率改善が大きなKPIであり、中間KPIを二つ置いています。一つはユーザー利用開始2か月後のリテンション率であり、半年間で5ポイントほど改善しました。
もう一つは、利用初期に付いている7日間のトライアル期間中に3コース修了頂くと、その後リテンションが高いことがエビデンスとしてあります。その3コース以上修了率も半年間で8ポイントほど改善しました。

マジックナンバーについて

神崎様｜
先ほど述べたように、トライアル7日間で3コース以上修了、というのが弊サービスのマジックナンバーの1つなのですが、これはAmplitude導入前もしくは導入初期に、DS（データサイエンス）チームと一緒に細かい中間指標を決めようという中で導き出した数字です。

Amplitudeは、3コース以上修了率と相関のある行動を見るという、さらに手前の部分で使用しています。

施策の内容や回数について、具体的に教えてください

功刀様｜
チームで議論して、前クォーターでグロースのために10施策を打ってAmplitudeで確認するというサイクルを回していました。その中で様々な施策を行いました。

神崎様｜
例えば、よく検索されているキーワードをUIの目立つところに出す、という施策を行いました。というのも、弊社はコース数が600と多く、初期ユーザーはどこから学べばよいかわからないという課題感があります。

そこで、例えば営業職のユーザーの方なら、自分と同様の他の営業職のユーザーがよく検索しているコース、よく見ているコースはどれか、といったことをUIのわかりやすい箇所で提示することにより、まずはそのコースを見てみようという行動を取って頂く施策がヒットしました。

また施策を打つ回数も飛躍的に伸び、大体導入前の2倍になったという感覚です。

今後どのように活用されて行きますか？

神崎様｜
現状、示唆出しに十分使えているかどうかの活用度で言えば、満足度は30%くらいです。
どちらかと言うと（前半で述べたように）施策の可視化や、分析時にスピーディーに結果を出せるので、施策の実行回数UPにつながっています。

一方で、施策の質向上にはまだまだ有効活用できていないので、施策の質を上げるための示唆出し、例えばコンパスチャートやペルソナチャートといった便利な機能を今後はより活用していきたいです。

また、開発チーム以外に使ってもらう流れをより強化していきたいと考えています。
弊社はコンテンツを内製しているため、コンテンツ制作チームがあるのですが、データドリブンでやり切れていない部分もあります。教材としてあるものを作って出すアウトプットに対しては責任があるのですが、アウトカム（成果）につながっているかどうかは見切れていない部分もあります。

企画制作が得意なメンバーが多いので、こういうコンセプトで動画を作ると見てもらえるのではとか、学習が進むのではという視点で作っています。それはそれでもちろん良いのですが、その効果検証やそれが本当に正しいのかという論点の検証には至っていません。

開発チーム以外にもAmplitudeツールを提供して、例えばA/Bテストで検証してみる等、検証の文化を横展開していきたいと考えています。

DearOneに今後期待することを教えてください

功刀様｜
チャートの使い方や分析方法について、ハードルが下がって誰でも使いやすくなっていますが、誰でも使いやすいからこそ、知らず知らずのうちに間違った使い方をする可能性もあります。ですので時には分析方法の軌道修正についてレビューを頂きたいです。

また、マジックナンバーからさらに手前のマジックナンバーを出す示唆出しのアドバイスを頂けると有難いです。

− インタビュアー後記

▼株式会社DearOne グロースマーケティング部 カスタマーサクセス 小島健一

弊社では、Amplitudeの導入、導入から初期のご活用いただくフェーズをご支援させていただきました。
インタビューの中でもあったように、Amplitudeを導入しデータ活用の環境を整備したことによって、「チーム内の意識変化に繋がった、事実に基づいた建設的な議論ができるようになった」との点、とくに嬉しく感じております。
Amplitudeを習熟し、特性をご理解いただいたことでスピーディーな施策実施、効果検証が実現できたと考えております。
引き続き、お役立ちできるよう尽力して参りたいと思います。