はじめまして！DearOneの小林と申します。
私事ですが、私はつい先日、突然の異動で経営企画からこのGrowth Marketing関連の事業を行うグロースマーケティング部へ配属になりました。
この記事では、そんな何もわかっていない社会人2年目でも理解できるような形で、サービスをグロースさせるために必要なデータ連携のポイントについてお話しさせていただきます。
最後まで読んでいただけますと幸いです。それでは話の本題に移りましょう。
データ連携について、2年目社員の疑問
近年、企業のデータ活用のニーズは年々伸び続けており、またそれに伴い、企業も様々な種類のデータを、様々なツールを用いて活用するようになってきています。
そのため、DearOneで働いていると、先輩方がクライアントから以下のような相談を受けている光景をしばしば目にします。
「お宅のアプリやツールにうちのPOSデータ*1※店舗のPOSレジなどから取得する購買データを連携したいんだけど…」
また私自身、これまで業務を行う中で
「データ連携とは言うけれど、具体的にどこからどんなデータがどんな風に連携されているんだろう…」
とふと疑問に思うことがありました。
そんな中、今回記事を書く機会をいただいたので、データ活用で必要とされるデータ連携について、その全体像の理解をまとめました。
まずはデジタルマーケティングにおけるデータ活用全体の流れについてご説明します。
データ活用におけるデータの流れ
データ活用の4ステップ
データ活用を行おうとした際、重要な要素となるのが「どこからデータを取り、どのようなツールを使って、最終的にどのように活用していくのか」というような、データ活用の全体像をデザインすることになります。
そして、私たちDearOneでは、デジタルマーケティングにおいてデータ活用をする際にはデータを「ためる」「整える」「分析する」「つかう」という大きく4つのステップがあると考え、それらを踏まえることでサービスのグロースにつながるようなデータ活用が実現できると考えています。
具体的な4ステップの流れとしては、
- まずはサービスやプロダクトに関係するデータを様々なデータソースから集め（「ためる」）
- それらを会員IDなどのユーザーを特定できるIDを軸に形を整え（「整える」）
- BIツール（ビジネス上のデータ分析などを行うためのツールの総称）などを用いて分析し（「分析する」）
- そして最終的に施策実施やサービスのUI/UX改善などで活用する（「つかう」）
という流れになります。
データ活用のやり方にはこの他にも様々な形がありますが、今回はこの4ステップの流れを前提として話を進めていきます。
データ活用の中で重要性を増しているデータ連携
そして現在、上記のデータ活用の4ステップそれぞれにおいて、世界中の企業から様々なツールが提供されています。
少し前までは大手ベンダーが提供するオールインワン型の製品でこの4ステップをまとめて行う考えが主流でしたが、近年ではデータ活用を行う側のニーズが多様化、複雑化してきたため、それぞれのステップに特化した専門的なツールを組み合わせてデータ活用全体の構成を設計していくBest of Breed（ベストオブブリード）という考え方が一般的になってきています。
Best of Breedについて、詳しくはこちらの記事をご覧ください
このBest of Breedの考え方が加速し、さらに細かい粒度でさまざまなツールを組み合わせて構築するデータ基盤をModern Data Stack（モダンデータスタック）と呼び、マーケティング分野においても注目を集めているようです。
また、IoT*2Internet of Things:物のインターネット化などが進み、様々なデータソースからデータを取得することが出来るようになっています。それらのことに伴い、データ活用において異なるツール間でデータを連携するケースが増えてきています。データ活用のリアルタイム性なども求められるようになり、データ活用全体をワークさせるためのデータ連携の重要性についても増してきています。
ここからはこのデータ活用におけるデータ連携についてお話ししていきます。
データ活用におけるデータ連携
例えば、先述のデータ活用の4ステップの流れに沿って、データ連携の部分に注目して見てみると、そこには大きく3つの流れがあることが見えてきます。
データ連携の3つの流れ
1.【ためる】データソースからデータレイク、DWHへの連携（Forward ETL）
まず、データを活用するには、様々なデータソース（POS、アプリやWebのログ、IoT製品など）からデータを取り出し、それをDWH*3Data Ware Houseの略称。様々なデータを溜めておくためのツール。と呼ばれる、AWSやSnowflakeなどのデータベースにためていく必要があります。
そしてその際には、各種データソースとDWHの間のデータ連携を構築する必要があります。このデータ連携の工程をForward ETL（フォワード イー・ティ・エル）と呼びます。ETLとは Extract:抽出 Transform:変換 Load: 格納 の略語で、Forward ETLは、データソースからデータを送る宛先であるDWH等に連携するプロセスになります。
バラバラなデータソースからデータを抽出し、それを有効なデータの形に変換し、一つの個所にまとめて格納することで、データ活用の土台となる部分を構成します。
2.【整える～分析する】DWHからCDP、分析ツール（BIツール）への連携（Reverse ETL）
集められた各種データはDWHに溜められ、今度はそのデータをCDP*4Customer Data Platformの略称。やBIツールなどの外部ツールに連携されます（今回の4ステップの流れではCDPへ連携します）。
CDP（Customer Data Platform）
CDPは、DWHなどで集められたデータを整形する機能や、ユーザーIDなどの一意のIDに紐づいてデータ統合を行う機能などを持ったツールです。
データ活用のためのツール構成の中にCDPが入ることでCDPがデータのハブとして機能し、様々なツールが個々に連携することで起きるツールのサイロ化や、ツールごとに異なる粒度/仕様/ID体系のデータが蓄積されることで起きるデータのカオス化といった問題を解消することが出来ます。
CDPについてはこちらの記事をご覧ください。
さらにDWHをCDPのように機能させることができる「コンポーザブルCDP」が、グローバルではデータ活用基盤のトレンドになっています。「データ連携」「セグメント作成」「ID統合」など、マーケティングにおいて必要な機能をDWHに持たせることができるというソリューションです。従来のCDPで発生するストレージコストを削減できるため、当社でもお問い合わせいただくことが増えています。
コンポーザブルCDPとして注目されている「Hightouch」の詳細はこちら
BI（Business Intelligence）ツール
また、データをBIツールなどに連携することで、データの可視化や深い分析などを行うことが出来ます。
BIツールごとに出来る分析は異なりますが、例としてAmplitudeでは、MAUなどの数値の把握だけでなく、ユーザーのリテンション分析やユーザーのロイヤル化のキーとなる具体的な行動（マジックナンバー）の特定などをユーザーの行動データを取得することで実現しています。
このような、ETLを経て外部からDWHに溜められたデータを今度はCDPやBIツールといった外部のツールへ連携するプロセスを、Forward ETLの逆を行うプロセスとしてReverse ETL（リバース イー・ティ・エル）と呼びます。（Forward ETL、Reverse ETLの2つをまとめてETLと呼ぶ場合もあります。）
【つかう】分析ツールから施策実行ツールへの連携
そしてBIツールなどでデータの分析を行った後は、その分析結果から得られたデータを実際のマーケティング施策を行うためのMAツールに連携することで、よりスムーズに効果的な施策を実施することができます。
例えば、分析によって有効な施策ターゲット群を割り出し、セグメントとして施策実行ツールや広告に連携することなどで、よりそれぞれのユーザーに合わせたOne to Oneマーケティングを可能にします。
その他にも、BIツールの分析結果は広告配信、プロダクトのUI/UX改善、特集やキャンペーン施策の実施などにも活用することができます。今後のデジタルマーケティングにおいて、BIツールを用いた高度かつスピーディな分析はより当たり前になっていくと考えられます。
ここまでで、「どこでデータ連携が必要となるのか」という事が見えてきました。
次にご説明するのは、「どのようにデータを連携するのか」という点になります。
データ連携を考える際のポイントとなる観点
データ活用の全体像が決まり、実際に連携の方法を考える際には、以下の2つの観点を、実現したいマーケティング施策やデータの流れから逆算した形で考えることが重要になります。
- データの形
- データ連携の頻度
データの形
データ連携においては、連携の始点（From）と終点（To）におけるそれぞれのデータの形を考えることが重要となります。DearOneで扱っている世界No.1の行動分析ツール Amplitude へ POSデータを入れることを例に挙げてみたいと思います。
Amplitudeについてはこちらの記事をご覧ください
POSデータ（From）をAmplitude（To）へ連携する際、Amplitudeでは、各データを「イベント名、イベントプロパティ、ユーザープロパティ」といった情報が含まれる形式にしておく必要があります。
イベントとは、Amplitudeなどのツールでユーザーの行動を分析するために使う取得するデータの形式のことです。アプリ上の「決済をする」ボタンが押されたことを「決済を行うイベント」と定義することで、ユーザーの決済という行動をデータとして収集することが出来ます。
イベント形式でデータを取得するメリットについてはこちらの記事をご覧ください
一方、取得したPOSデータは基本的にそのような形にはなっておらず、そのままの状態ではAmplitudeに連携することはできません。そのため、AmplitudeにPOSデータを連携する際には、事前にそれらが含まれるような形にデータの形を変換することが必要になります。
このように、データを連携する際には、終点と始点のデータの形を事前に理解し、どのような形にデータの変換を行えばよいのかということを把握しておく必要があります。
実際のデータ連携の場合、ツール同士で連携をする際はAPI連携によって行われることが多くあります。その際も各ツールのAPIの仕様をしっかり読み解き、必要となるデータの形式を理解した上でAPI連携を実装することが必要となります。
多くのMarTechツールでは、技術的な知見が求められ工数もかかるこのAPI連携をスムーズにするための、特定のツールとのコネクタを持っています。一方で、特にDWHから外部のツールへのデータ連携（Reverse ETL）の際は、コネクタがない場合が多く、先述のPOSデータについてもその連携に課題がありました。
それに対して、Hightouch（ハイタッチ）*5Reverse ETL機能を備え、送るデータのセグメンテーションなども出来る海外ツール。のようなそれぞれのツールに合わせた形に自動でデータを変換しデータ連携をしてくれるツールも解決策として登場してきています。
終点と始点のデータの形を事前に理解しておくことで、データを連携する際にはどのような形にデータの変換を行えばよいのかということが見えてきます。ツールを導入したとしても、そこにデータが適切な形で連携されていかなければ1つのシステムとして機能させることはできず、効果的なマーケティングを実現することはできません。
データ連携の頻度
データ連携の際に考えるもう一つのポイントは、データ連携の頻度になります。
データによっては、日々更新されてほしいもの（日々の店舗の売上データなど）や月次の頻度でよいもの（会員の入会状況などあまり更新の頻度が高くないもの）、またはリアルタイムで把握したいもの（アプリやサイト内のユーザーの行動履歴など）などがあります。
データアーキテクチャを考える段階で、この連携の頻度を実現したいマーケティング施策などから逆算して考えておかないと、
「ユーザーの反応に合わせてリアルタイムで施策を打ちたいのにデータが入ってこない」
「必要以上にデータが更新されてコストがかさんでしまう」
などの問題が発生してしまいます。
このデータ連携の頻度によって実現できるマーケティングが大きく変わってきてしまうので、データ環境の構築の前に十分検討する必要があります。そして検討の際には、最終的にどのようなマーケティングで、ユーザーに対してどのようにコミュニケーションを取りたいのかといったことから逆算して考えることが重要となります。
以上の
- データの形
- データ連携の頻度
の2点が、データ連携の際に考えるべき重要な観点となります。
まとめ
今回はデータ活用におけるデータ連携について、
- データ活用全体の流れ
- データ連携のタイミング
- データ連携のポイント
などの点からその概要を説明してきました。この記事を通して、データ連携の重要性について何か得るものがありましたら幸いです。
マーケティングを促進するためのデータ連携やデータ活用に最適なツールの導入・運用、成果を出すためのデータ分析・施策立案などをご支援しています。事業のグロースに向けたデータ活用に課題をお持ちの方は、お気軽にお問い合わせください。
