Google Cloud の請求情報を BigQuery に投入、さらに可視化して分析してみました(第1弾)

"Google Cloud の請求情報を BigQuery に投入、さらに可視化して分析してみました(第1弾)" (2021年11月18日 掲載)

目次

こんにちは!

サービスを購入している側も、サービスを提供している側も、誰もが必ず請求に関するデータを持っていると思います。予算管理とも直結しているのでどの立場でも、先月と比べてどうなっている?3ヵ月前と比べてどうなっている?1年前は?などなど、色々と気になっている部分があるのではと思いますが、その分析はどんな手法で行っているでしょうか。

今回は4つの記事に分けて Google Cloud の請求データを BigQuery へ接続し、さらに Data Portal や Connected Sheets を使って分析してみた方法についてご紹介したいと思います。

第1弾:Google Cloud 請求データを BigQuery へつなぐ方法 --> ★ 今回はこちらのご紹介!
第2弾:BigQuery の請求データを Connected Sheets へ接続して分析・可視化
第3弾:BigQuery の請求データを DataPortal へ接続して分析・可視化
第4弾:請求データ分析してみた結果のまとめ

BigQuery・Data Portal・Connected Sheets とは?

本編に入る前に、まず各サービスを簡単にご紹介します。

BigQuery とは

BigQuery を説明する前に、まず「ビックデータ」の話をさせてください。
今頃のAIやIoT分野はもちろんさまざまな分野で「ビックデータ」というワードをよく耳にすると思います。まず、その定義をみてみると一般的なデータ管理やデータ処理ソフトでは扱うことができないほどの大きなデータの集合のことを「ビックデータ」といいます。

BigQuery は、そのビッグデータに対して、Google のインフラストラクチャの処理能力を活用してSQLクエリを超高速に実行し、インタラクティブな分析クエリを実現することができます。

その他、主な機能としてBigQuery ML、BigQuery BI Engine やBigQuery GISのほか、Google Cloud Next '21:OnAirでは、Google Cloud、Amazon Web Services(AWS)、Microsoft Azure をまたぐクロスクラウド分析を1つの画面で実施できるようになるBigQuery Omniの一般提供の発表がありました!

ご興味のある方はぜひ「BigQuery Omni が AWS と Azure で利用可能になり、クロスクラウド データ分析が実現」記事をご覧ください。

Data Portal とは

Google が提供するデータ可視化ツール(BIツールともいいます)です。
BigQuery コネクタを使用することで、BigQuery で分析したデータをわかりやすく表やグラフなどで可視化することができます。Data Portal にはさまざまなテンプレートが用意されており操作が簡単です。BigQuery のほかGoogle アナリティクスを含むさまざまなデータを取り込むことも可能です。

Connected Sheets とは

Google スプレッドシート(∗) でBigQuery データコネクタを利用しBigQuery に接続することができますが、この機能のことを Connected Sheets といいます。これにより Google スプレッドシート 上でデータセットの分析を行い、ピボットテーブルやグラフで可視化、リアルタイムで共有することが可能です。

(∗) Connected Sheetsを利用するには、以下のいずれかの契約が必要です。

  • Google Workspace Enterprise Essentials
  • Google Workspace Enterprise Standard
  • Google Workspace Enterprise Plus

Google Cloud 請求データを BigQuery へつなぐ方法

それでは、本題に入りまして BigQuey へ Google Cloud 請求データをエクスポート、接続する手順をご紹介していきたいと思います。

前提条件

1. 課金が有効になっている Google Cloud プロジェクトが用意されていること

Google Cloud プロジェクト(以下、プロジェクト)は請求先アカウントに紐づく必要があります。なお、請求データのエクスポート先は、BigQuery の一つのデータセットの指定したテーブルのみとなり、複数のエクスポート先を指定することはできません。

2. 作業する Google アカウントに必要な権限が設定されていること

請求データおよび料金データ(∗)の BigQuery へのエクスポートを有効化するには、以下の権限が必要です。

  • 対象の Cloud 請求先アカウントに対する請求先アカウント管理者のロール

  • 請求データおよび料金データが格納される BigQuery データセットを含む Cloud プロジェクトに対する BigQuery ユーザーのロール

  • ターゲット データセットを含む Cloud プロジェクトに対する resourcemanager.projects.update 権限

(∗) Google Cloud の SKU ごとの料金のことを料金データといい、その料金データを格納するテーブルを料金データテーブルといいます。Google Cloud コンソールからも料金を表示、ダウンロードできますが、ここでは割愛いたしますので、ご興味のある方は、こちらの公式ページをご参照ください。

作業手順

作業手順は大きく3つとなります。
1. BigQuery Data Transfer Service API を有効にする

BigQuery Data Transfer Service API ページに移動し、対象プロジェクトを選択してAPIを有効化します。

""

2. データを保存する BigQuery データセットを作成する

2-1. プロジェクト名のメニューから[データセットを作成]をクリックします。

""

2-2. 必要な項目を設定の上、[データセットを作成]をクリックします。請求データが継続的に BigQuery へエクスポートされるため、テーブルの有効期限は設定しません。

""

データセット作成が完了すると以下のような画面になります。

""

3. データセットに書き込む料金データと請求データの Cloud Billing エクスポートを有効にする

3-1. ナビゲーションメニューの[お支払い] > [リンクされた請求先アカウントに移動]をクリックします。

""

3-2. [課金データのエクスポート] > [BIGQUERY EXPORT]タブの[標準の使用料金] (∗) 欄にある[設定を編集]をクリックします。

""

(∗) ここでの標準の使用料金は、請求データと同じです。
標準の使用料金は、アカウント ID、請求書の日付、サービス、SKU、プロジェクト、ラベル、ロケーション、費用、使用量、クレジット、調整、通貨など、標準の Cloud 請求先アカウントの使用料金情報が含まれます。
なお、現在は標準の使用料金のほか、詳細の使用料金も BigQuery へエクスポートできるようになっています。詳細な使用料金データには、標準の使用料金データに含まれている全ての情報と、リソースレベルの費用データ(サービス使用量を生成する仮想マシンや SSD など)を提供する追加のフィールドが含まれます。
ただし、現時点では US または EU マルチリージョン データセットしかサポートしていません。

3-3. 標準の使用料金データのエクスポートを設定する画面にて、プロジェクトとデータセットIDを選択して保存します。

""

3-4. 認証を求められますので、Google アカウントでログインしてGoogle Cloud Pricing BigQuery Export への権限付与を許可します。

""

これで標準の使用料金のエクスポート設定が有効化されました。

""

3-5. 続きまして、料金データの BigQuery へのエクスポート有効設定を行います。
設定方法は、標準の使用料金と同様なので、3-3と3-4をご参考ください。

""

料金データのエクスポート設定が完了すると以下のような画面になります。

""

以上で、Google Cloud の使用料金および料金データのエクスポート作業は完了となります。

設定完了後、BigQuery データセットへ投入されるまでには請求データは数時間、料金データは最大48時間かかります。

4. BigQuery で請求データを確認する

以下の画面は、BigQuery のデータセットに請求データが投入された後のイメージとなります。

""

BigQuery エディタからクエリを入れて実行すると結果がすぐ反映されます。

""

次回は、第2弾として BigQuery の請求データを Connected Sheets へ接続して分析・可視化する方法をご紹介したいと思います。どうぞ楽しみにお待ちください。

Google Cloud (GCP) に関する課題やご興味のある方はぜひ、ソフトバンク法人向けページよりお問い合わせください。

[法人向けGCP 紹介ページ]

""

あわせて読みたい記事

【事例】先進的なAIサービスを展開するSENSY株式会社のGoogle Cloud 活用方法とは

グループウェアリソース管理アプリ「Provii!!」にて、オンプレミスからGCPへの移行事例

【GCP 社内活用】ソフトバンクのコンテンツ配信サービス「バスケットLIVE」「5G LAB」アプリログをBigQuery で分析