【GCP 社内活用】ソフトバンクのコンテンツ配信サービス「バスケットLIVE」「5G LAB」アプリログをBigQuery で分析

BigQuery・Data Portal とは？

これらサービスにおけるBigQuery 活用例をお話する前に各プロダクトを簡単にご紹介します。

BigQuery とは

BigQuery を説明する前に、まず「ビックデータ」の話をさせてください。
今頃のAIやIoT分野はもちろんさまざまな分野で「ビックデータ」というワードをよく耳にすると思います。まず、その定義をみてみると一般的なデータ管理やデータ処理ソフトでは扱うことができないほどの大きなデータの集合のことを「ビックデータ」といいます。

BigQuery は、そのビッグデータに対して、Google のインフラストラクチャの処理能力を活用してSQLクエリを超高速に実行し、インタラクティブな分析クエリを実現することができます。

そのほか主な機能としてBigQuery ML、BigQuery BI Engine やBigQuery GISのほか、Google Cloud Next '20:OnAir ではなんと、Amazon Web Services やMicrosoft Azure (近日対応予定)にあるデータにアクセスしセキュアにデータ分析することのできるBigQuery Omni が発表されました！
（参考）BigQuery: クラウド データ ウェアハウス | Google Cloud
（参考）Google Cloud Next '20:OnAir

ご興味のある方はぜひ「BigQuery Omni - マルチクラウド の分析でデータを活用」記事をご覧ください。
（参考）BigQuery Omni - マルチクラウド の分析でデータを活用

Data Portal とは

Google が提供するデータ可視化ツール（BIツールともいいます）です。
BigQuery コネクタを使用することで、BigQuery で分析したデータをわかりやすく表やグラフなどで可視化することができます。Data Portal にはさまざまなテンプレートが用意されており操作が簡単です。BigQuery のほかGoogleアナリティクスを含むさまざまなデータを取り込むことも可能です。

BigQuery とスプレッドシート の連携

スプレッドシート^※でBigQuery データコネクタを利用しBigQuery に接続することができます。これによりスプレッドシート 上でデータセットの分析を行い、リアルタイムで共有することが可能です。
さらに、Google Cloud Next '20:OnAir で発表された、Connected Sheets の一般提供によりBigQuery データウェアハウスの処理能力とスケーラビリティをスプレッドシート で利用することが可能になりました。
（参考）Google スプレッドシートでテラバイト規模のデータの分析がさらに簡単に

※スプレッドシート とBigQuery を接続するには、次のいずれかの契約が必要です。

• G Suite Enterprise
  
• G Suite Enterprise Essentials

業務への活用方法をご紹介

アプリログをデータベースに格納し、BigQuery でクエリ実行、Data Portal とスプレッドシート で可視化を行っています。データ処理を自動化することで作業リソースを大幅に削減することができました。

視聴データをData Portal でレポート化

Data Portal のBigQuery コネクタを使用すると、Data Portal 内のBigQuery テーブルからデータにアクセスしてレポートやグラフを作成することができます。
アプリから取得した視聴データからコンテンツ別の視聴数を計算するクエリを作成し、定期的にクエリが処理されるように自動スケジュールしています。
Data Portal でグラフ化することで、アプリの使用状況を視覚的に確認できるようになっています。

応援ランキングをData Portal で実装

Data Portal では、HTMLのiframe埋め込みを利用してレポートをウェブサイトに埋め込むことができます。以前、視聴者による人気投票を行った際は、BigQuery 上で投票の集計を行い、Data Portal 上でランキング形式のレポート作成しウェブサイトへ埋め込みました。

レポート作成用の分析データをスプレッドシート に集約

Data Portal とは異なり、スプレッドシート には企画に役立てるためのレポート集計を実施しています。視聴実績や新規ユーザー獲得実績等から費用検証を実施し、コンテンツ制作に役立てたり、経路別視聴実績の取得し、施策やプロモ等、アクションプランの検討に活用しています。

Why GCP ? Why BigQuery ?

なぜGCP を選んだか、それはずばりBigQurery を利用したかったからです。
BigQurery なら大量のデータを安価に分析することができます。BigQurery を使ってよかった主なポイントを2点に絞ってお伝えします。

その１．クエリ処理時間がかなり短縮された

もともと、他のデータ分析ツールを利用しており、データの少ない初期はクエリ処理も数分で完了していましたが、取り扱うデータが膨大になっていき、１年が経過する頃には処理に2～3時間かかるようになってしまいました。そこで、実験的にBigQuery で同じデータセットを使い、同様の処理を実施したところ、数分で処理が完了したことからBigQuery を本格稼働することに決めました。
クエリ処理時間が短縮されたとこで、”とりあえずデータを収集”する運用に切り替えることができました。以前までは、集計・分析の処理にかかる時間を考慮し取得するデータをかなり絞る必要がありましたが、BigQuery を使い始めてから、とりあえずBigQuery に全てのデータを格納するようになったため、後から「この数値取っておけばよかった」と後悔することがなくなりました。

その２．データベースに不慣れなメンバーも業務参加が可能

エンジニアチームではなかったので、クエリを書けたり、データベースの利用経験があるメンバーが少ないことが開発当初の大きな課題でした。ですが、BigQurery とData Portal およびスプレッドシート（Connected Sheets ）を組み合わせたことで、データベースやSQLに慣れていない社員でも比較的容易に、データからグラフや表を作成できるようになりました。さらに、Googleアカウントにより簡単に社内共有することも可能です。
報告資料作成やアプリ状況分析に費やしていた時間が短縮され、アプリ開発やプロモーションを話し合う時間にまわせるようになったと思います。

さいごに

BigQuery はGCP 内のサービスの親和性が高いだけではなく、AWS のS3バケットからデータを転送する仕組みがあったり、GCP のMLエンジンと組み合わせて予測を行ったり、また、他のBIツールのとの連携もどんどん進化して行っています。
Data Portal はGCP の強力なBIサービスの一つですが、Data Portal の分析レポートをエンドユーザー向けにも公開し、情報更新の手間と開発リソースを削減したりすることにもチャレンジしていきたいです。またデータを集約する仕組みやビッグデータをパイプラインで処理する仕組みなども用意されているので、これらを活用しさらに改善をしていきたいと感じています。

まだまだ社内ではPowerPoint にデータを貼り付けて数値を見せるなど、報告時にBIツールだけでレポートすることを良しとしない風潮がありますが、BIツール自体はさまざまな機能が改善されていっており、社内のWebコンテンツ等にも埋め込む事が出来ますので、経営会議や対外的な資料は除外しても、社内での定期報告は自動化して業務効率化を図りたいと思っています。

BIツール 【Tableau】 を活用した「GCP データ分析ソリューション」

ソフトバンクでは、BIツールである「Tableau」も取り扱っており、お客さま要件に合わせてBigQuery のデータをTableau で可視化したり、Tableau サーバー自体をGCP 上に構築し、社内のデータを可視化する基盤として構成するようなご提案も可能です。
また、データに対する課題をアセスメントし、データ分析をするにあたって強力な基盤であるGCP を使って、統合的にサポートする「GCP データ分析ソリューション」もご提供しております。膨大なデータの分析・可視化と聞くと難しそうに聞こえるかもしれませんが、上記のツールを利用することで今までデータ分析の経験がないという方でも業務に取り入れることができます。
ご興味のある方はぜひ、ソフトバンク法人向けページよりお問い合わせください。

関連サービス