Google Cloud の請求情報を BigQuery に投入、さらに可視化して分析してみました（第1弾）

2021年11月18日掲載

Google Cloud の請求情報を BigQuery に投入、さらに可視化して分析してみました（第1弾）

こんにちは！

サービスを購入している側も、サービスを提供している側も、誰もが必ず請求に関するデータを持っていると思います。予算管理とも直結しているのでどの立場でも、先月と比べてどうなっている？3ヵ月前と比べてどうなっている？1年前は？などなど、色々と気になっている部分があるのではと思いますが、その分析はどんな手法で行っているでしょうか。

今回は4つの記事に分けて Google Cloud の請求データを BigQuery へ接続し、さらに Data Portal や Connected Sheets を使って分析してみた方法についてご紹介したいと思います。

第1弾：Google Cloud 請求データを BigQuery へつなぐ方法　-->　★ 今回はこちらのご紹介！
第2弾：BigQuery の請求データを Connected Sheets へ接続して分析・可視化
第3弾：BigQuery の請求データを DataPortal へ接続して分析・可視化
第4弾：請求データ分析してみた結果のまとめ

BigQuery・Data Portal・Connected Sheets とは？

本編に入る前に、まず各サービスを簡単にご紹介します。

BigQuery とは

BigQuery を説明する前に、まず「ビックデータ」の話をさせてください。

今頃のAIやIoT分野はもちろんさまざまな分野で「ビックデータ」というワードをよく耳にすると思います。まず、その定義をみてみると一般的なデータ管理やデータ処理ソフトでは扱うことができないほどの大きなデータの集合のことを「ビックデータ」といいます。

BigQuery は、そのビッグデータに対して、Google のインフラストラクチャの処理能力を活用してSQLクエリを超高速に実行し、インタラクティブな分析クエリを実現することができます。

その他、主な機能としてBigQuery ML、BigQuery BI Engine やBigQuery GISのほか、Google Cloud Next '21:OnAirでは、Google Cloud、Amazon Web Services（AWS）、Microsoft Azure をまたぐクロスクラウド分析を1つの画面で実施できるようになるBigQuery Omniの一般提供の発表がありました！

ご興味のある方はぜひ「BigQuery Omni が AWS と Azure で利用可能になり、クロスクラウドデータ分析が実現」記事をご覧ください。

Data Portal とは

Google が提供するデータ可視化ツール（BIツールともいいます）です。

BigQuery コネクタを使用することで、BigQuery で分析したデータをわかりやすく表やグラフなどで可視化することができます。Data Portal にはさまざまなテンプレートが用意されており操作が簡単です。BigQuery のほかGoogle アナリティクスを含むさまざまなデータを取り込むことも可能です。

Connected Sheets とは

Google スプレッドシート(∗) でBigQuery データコネクタを利用しBigQuery に接続することができますが、この機能のことを Connected Sheets といいます。これにより Google スプレッドシート上でデータセットの分析を行い、ピボットテーブルやグラフで可視化、リアルタイムで共有することが可能です。

(∗) Connected Sheetsを利用するには、以下のいずれかの契約が必要です。

Google Workspace Enterprise Essentials
Google Workspace Enterprise Standard
Google Workspace Enterprise Plus

Google Cloud 請求データを BigQuery へつなぐ方法

それでは、本題に入りまして BigQuey へ Google Cloud 請求データをエクスポート、接続する手順をご紹介していきたいと思います。

前提条件

1. 課金が有効になっている Google Cloud プロジェクトが用意されていること

Google Cloud プロジェクト（以下、プロジェクト）は請求先アカウントに紐づく必要があります。なお、請求データのエクスポート先は、BigQuery の一つのデータセットの指定したテーブルのみとなり、複数のエクスポート先を指定することはできません。

2. 作業する Google アカウントに必要な権限が設定されていること

請求データおよび料金データ(∗)の BigQuery へのエクスポートを有効化するには、以下の権限が必要です。

対象の Cloud 請求先アカウントに対する請求先アカウント管理者のロール
請求データおよび料金データが格納される BigQuery データセットを含む Cloud プロジェクトに対する BigQuery ユーザーのロール
ターゲットデータセットを含む Cloud プロジェクトに対する resourcemanager.projects.update 権限

(∗) Google Cloud の SKU ごとの料金のことを料金データといい、その料金データを格納するテーブルを料金データテーブルといいます。Google Cloud コンソールからも料金を表示、ダウンロードできますが、ここでは割愛いたしますので、ご興味のある方は、こちらの公式ページをご参照ください。

作業手順

作業手順は大きく3つとなります。

1. BigQuery Data Transfer Service API を有効にする

BigQuery Data Transfer Service API ページに移動し、対象プロジェクトを選択してAPIを有効化します。

2. データを保存する BigQuery データセットを作成する

2-1. プロジェクト名のメニューから[データセットを作成]をクリックします。

2-2. 必要な項目を設定の上、[データセットを作成]をクリックします。請求データが継続的に BigQuery へエクスポートされるため、テーブルの有効期限は設定しません。

データセット作成が完了すると以下のような画面になります。

3. データセットに書き込む料金データと請求データの Cloud Billing エクスポートを有効にする

3-1. ナビゲーションメニューの[お支払い] > [リンクされた請求先アカウントに移動]をクリックします。

3-2. [課金データのエクスポート] > [BIGQUERY EXPORT]タブの[標準の使用料金] (∗) 欄にある[設定を編集]をクリックします。

(∗) ここでの標準の使用料金は、請求データと同じです。

標準の使用料金は、アカウント ID、請求書の日付、サービス、SKU、プロジェクト、ラベル、ロケーション、費用、使用量、クレジット、調整、通貨など、標準の Cloud 請求先アカウントの使用料金情報が含まれます。

なお、現在は標準の使用料金のほか、詳細の使用料金も BigQuery へエクスポートできるようになっています。詳細な使用料金データには、標準の使用料金データに含まれている全ての情報と、リソースレベルの費用データ（サービス使用量を生成する仮想マシンや SSD など）を提供する追加のフィールドが含まれます。

ただし、現時点では US または EU マルチリージョンデータセットしかサポートしていません。

3-3. 標準の使用料金データのエクスポートを設定する画面にて、プロジェクトとデータセットIDを選択して保存します。