アリババグループを幅広く支えるCloud Native Multi-Model DatabaseのAlibaba Cloud Lindormについて

1. Multi-Model Databasesが登場した背景

Multi-Model Databaseは複数のデータモデルをサポートするデータベースです。このデータベースを紹介する前に背景を少し説明します。

現在、Web、IoT、産業、金融、製造業、SNS、ゲーム、地図、etc、様々な分野において、Relational Databaseに適さないデータモデルを持つデータ処理基盤が求められるようになっています。例えば、次の図のIoT基盤を例に見てみましょう。

IoT基盤であれば、APM（Application Performance Management：システムの性能を監視、管理）も付帯されています。そこから発生するデータを大きく分類すると「メタデータ」「運用データ」「デバイスの関係」、そこから因数分解すると、メタデータはテーブル形式なのでRelational Database、運用データはトラッキング・ログ・メトリクスの3種類があり、トラッキングは主キーがあるけどデータの流れ、レコードによってはフィールドの長さが異なるためWide-Column、ログはDocument形式かJSON形式、メトリクスは時系列、デバイス関係はkafkaで取得し、kafka内のストリーム処理エンジン（ksqlDB）へ、それぞれ集約し、OLTP（OnLine Transaction Processing）データベースとして参照や更新処理等、データの運用をします。

そのあと、OLAP（Online Analytical Processing）、データ分析のためにApache Hiveやら、Apache Spark、Elasticsearchなどにデータを渡して分析をします。このフローだとそれぞれの目的に応じたデータベースプロダクトサービスを配置するため、「開発範囲の増加」「オペレーティングコストの増加」「アクセス効率の低下」「リソースコストの肥大化」といった大きな4つの問題が発生します。これを解決するものが、Multi-model Databaseです。

Multi-Model Databaseであれば、先述の構成がどのように解決するか説明します。
Multi-Model Databaseは、１つのプラットフォームで、メタデータをRelational Databaseとして格納、運用データのトラッキングやログはWide-column、メトリクスは時系列、デバイスの関係はkafka Consumer（ストリーミングとして取得）しながら、OLTPデータベースとして参照や更新処理等、データの運用ができます。

OLAP、データ分析の面でもメリットがあります。Multi-Model Databaseには検索機能が付帯されてるため検索出来ることや、データ分析基盤へシームレスにExportすることができます。Multi-Model DatabaseはArangoDB、OrientDB、Couchbaseなどがあり、それぞれのデータベースサービスごとによって色々な解決方法があります。

2. クラウド上のMulti-Model Databasesとは

クラウド上のマルチモデルデータベースとはどんな価値があるのでしょうか。著者の折衷案として次の通りにざっくりまとめてみました。

• 運用の複雑さからの解放
  異なるデータベースを併用運用することによる、運用の複雑化・煩雑化を排除

• データの柔軟性
  データモデリング（正規化や設計、RDBに格納するためのクレンジングやETL処理など）の労力から解放

• データの一貫性
  アプリ側から時系列、Key-Value、ドキュメントなど異なるデータを格納後、このデータを一貫した状態で管理

• 高可用性
  複数の異種システム全体が正常に動作し続けるよう、地理的高可用性構成やリージョン/Zone単位で分散

• トランザクション処理
  複数の異種システムにまたがってトランザクション処理は困難だったものを、マルチモデルデータベースで対処

• Low Cost
  スケーリングユーザーのワークロードに応じて、コンピューティングの処理能力やストレージの拡張等自動スケーリングを提供

• 開発速度の向上
  ビジネスや開発スタイルの変化に即応し、多様多種なデータモデルにも学習コスト不要で柔軟に対応

Alibaba Cloudからもクラウド上のMulti-Model DatabaseのLindormが登場しています。本記事ではLindormを中心に説明します。

3. Alibaba Cloud Lindormとは

Lindormは、インターネット、モノのインターネット、自動車インターネット、産業用インターネットなどのために設計、最適化された統合処理を持つクラウドベースのMulti-Model データベースです。

ワイドカラム、時系列、テキスト、オブジェクト、ストリーム、空間など様々なデータの統合アクセスと統合処理をサポートし、各種オープンソース標準インタフェースと互換性があり、サードパーティのエコシステムユーティリティのシームレスな統合を実現します。

Lindormは小売、ログ、監視、請求、広告、ゲーム、ソーシャルネットワーク、車両管理、およびその他幅広いシナリオに適したデータベースであり、アリババグループのコアビジネスをサポートする重要なデータベースの1つです。

Alibaba Cloud Lindormは最近国際サイトにリリースしたばかりですが、実はアリババグループの様々な小売等エコシステムと深いかかわりを持ちながら、プロダクトサービスとして10年以上の歴史を持っています。どのような歴史をもつか、説明します。

アリババグループの1つであるTaobaoという巨大ECサイトで、顧客ユーザーの増加や事業の成長に伴い、OracleやMySQLなどのリレーショナルデータベースでは対応しきれない程に大量のデータかつ様々なデータモデルを扱う背景から、Alibabaは2010年からオープンソースのApache HBaseを使い始めるようになりました。

アリババグループが大規模分散データベースとしてApache HBaseを選定した理由は、GoogleでApache HBaseと同じアーキテクチャであるBigTableは、Googleの検索サービス、Chat、Maps、Gmail、Spreadsheets、Youtubeなどで幅広い実績があり、FacebookでもApache HBaseによる豊富な実績があるためです。ちなみにそのBigTableは現在Google Cloud BigTableとして商用利用することができます。

当初AlibabaはApache HBaseをベースとしたアーキテクチャで実装しましたが、TaobaoではPOSや購買履歴のほか、メッセージ機能、トラッキングログ、IoTデータ、検索機能、、などオープンソースのApache HBaseだけでは満たせないシナリオが幾つかあり、パフォーマンスが厳しいなどいくつか困難に遭遇していました。解決策として、AlibabaはオープンソースのApache HBaseコアコミッター9名によって編成されたチームで、Apache HBaseからMulti-Model DatabaseのLindormを独自開発、2011年3月にLindorm 1.0版をTaobaoへリリースしました。以降、TaobaoはLindormをコアアーキテクチャとして2022年現在でも運用しています。

TaobaoにLindorm 1.0 リリース後、Taobaoの事業成長・拡大化につれてAlibabaはLindormの新機能開発や最適化等改修を10年近く重ねていました。その過程で、LindormはApache HBase の7倍以上のパフォーマンスでデータの読み込み/書き込み処理、1,000を超える大規模クラスタ対応化、処理ピーク時は5,000万リクエスト/秒（RPS）を捌けるなど、オリジナルのApache HBaseを上回るMulti-Model Databaseとしてサービス完成度を高めていったのです。Lindormの読み込み処理・書き込み処理はOracle Databaseを上回るレベルに至っています。

2019年8月にAlibaba Cloud 中国サイトでフルマネージドサービスのApsaraDB for HBaseサービスに Lindormのクラウドサービスとして Performance-enhanced Edition バージョン (Lindorm) をリリース。保険、リテール、IoT、製造業、金融、ゲーム、オフィス、広告、オンライン教育、ソーシャルメディアなど50を超える企業利用者を集めつつ、顧客等フィードバック収集や機能拡充・最適化等開発のサイクルを重ねて、今年2022年9月に国際サイトでLindormがリリースされました。

Lindormは現在、アリババグループエコシステムを支えるCloud-Native Multi-Model Databaseとして、幅広い領域で存在感を放っています。

＜参考＞
・History of Lindorm

・HBaseConAsia2018 Keynote 2: Recent Development of HBase in Alibaba and Cloud

4.Alibaba Cloud Lindormの機能について

Alibaba Cloud Lindormはリリースして10年以上および50を超える様々な企業による利用実績を持つCloud-Native Multi-Model Databaseです。本章では、Alibaba Cloud Lindormを利用するにあたり、押さえておきたい基本事項、サービス特徴を説明します。

4-1. Lindormが実現するマルチデータモデル

Lindormは「ワイドカラム」「Key-Value」「時系列」「検索」のデータモデルを扱うことができるうえ、「分散ファイルシステム」「Apache Sparkら分散コンピューティング」「ストリーミング」の構成を併せて持ちます。これらは、Lindormクラスター生成時に選択されたエンジンの種類によって、どのようなサービス展開ができるかが決まります。

＜参考＞

・Alibaba Cloud Lindorm Product Introduction

4-2. Lindormアーキテクチャ

LindormはCloud-Native Multi-Model Databaseとして、Apache HBase、Cassandra、TSDB、Apache Solr、Apache Spark、Apache Kafkaなどのエンジンを統合した、ハイブリッド構成で搭載しています。

そのため、1つのデータベースでRDB、Key-Value、Wide-column、時系列などの様々なデータモデルに対し、SQLクエリでOLTPデータ運用、インタラクティブ分析、機械学習などのシナリオを満たすことができます。例えば、JSONデータがデータソースだった場合、LindormはCassandoraのCQI APIというコマンドインターフェースを備えているのでCQI APIによりJSONファイルをワイドカラム形式のワイドテーブルへ変換し格納します。

そのあと、JSONに対するテキスト全文検索を行う際にはElasticsearchより高速かつカスタマイズがしやすいApache SolrエンジンによるLindorm Searchindexで全文検索ができます。

Lindormの計算エンジンはオープンソースのApache SparkをLindorm向けに改良したLinSparkを搭載しており、オープンソースのSparkのUI／SDK／API／プログラミングインターフェースを完全にサポートしながら、Lindormストレージエンジンの機能を深く統合しつつ分散コンピューティング処理を効率的に実行します。

Apache Spark（LinSpark）により、入ってきたデータに対しPythonもしくはScala、SQLで大量のデータをメモリ内もしくはバッチで迅速に処理しながら計算処理、ETL、分析、機械学習などが行えます。

ストレージはHDFS（Hadoop Distributed File System、分散ファイルシステム）をAlibabaがLindorm向けに改良したLindorm DFSを実装。これにより、往来のHDFSよりリソース効率が10倍以上向上し、往来のリレーショナルデータベースのストレージスペースに対しLindorm DFSとして80%近く高圧縮されるため、コスト削減ができます。

Lindormの特徴は次の通りです。

LowCost

• 低コストのCloud-Native Multi-Model Database
• 最小のストレージコストで、多層ハイブリッドストレージメディアをサポート
• インテリジェントな機能圧縮アルゴリズムにより、最大1/10以上の データ圧縮
• 自動的なホット/コールドストレージをサポートし、データストレージの包括的なコストを大幅に削減
• データライフサイクル管理機能と自動削除機能を提供

Cloud-native

• プールされたリソース：ストレージとコンピューティングの分離に基づく完全な分散アーキテクチャにより、コンピューティングリソースとストレージリソースのそれぞれ独立したスケーリングをサポート
• 高い伸縮性：運用中のサービスに影響を与えずに、二段階で拡張
• 自動スケーリング：手動での容量管理不要で、サーバーレスベースの自動スケーリングを提供

統合管理

• 最も機能豊富なCloud-Native Multi-Model Database
• マルチデータモデル、ワイドカラム、時系列、オブジェクト、テキスト、メッセージキュー、空間などをサポート
• データアクセス、ストレージ、検索/取得、コンピューティング、分析、AIのための融合処理とサービス機能
• データ変換処理、ETL、同期処理、サブスクリプション機能、機械学習機能が付帯しており、二次開発は不要

互換性

• SQL、HBase、Cassandra、S3、Solr、HDFS、Kafka、その他多くのオープンソース標準インターフェースとの互換性あり
• Spark、Flink、Hiveなどのオープンソースのコンピューティングエンジンとシームレスな統合
• Lindormの変更データをリアルタイムで変更し、コンシューマー（kafkaと同じくメッセージをTopicから読み出すためのクライアントライブラリ）をカスタイマイズ
• 現在の主流データベースからのスムーズなオンライン移行をサポート

5. Lindormコアアーキテクチャ

Lindormのコアアーキテクチャは次の通りです。

5-1. データの自動階層化

Lindormはタイムラインを使ってデータを格納していきます。その過程にて、Lindorm独自アルゴリズムにより、直ぐに使うデータはHot Dataへ自動的に昇格、使う予定があるかわからないものはWarn Data、使う予定が少ないものはCold Dataへ自動で降格します。自動的なデータの階層化構成により、ユーザーは何も意識することなくCold Dataは80%のコスト削減、Hot Dataは15%のアクセス性能向上といったパフォーマンスを享受できます。

5-2. 高性能・高スループット

LindormはオープンソースのApache HBase コアコミッター9名以上によって開発されたプロダクトサービスなので、その分パフォーマンスはApache HBaseを上回ります。

例えば、LindormとApache HBaseと同じスペックで20億レコードによるスループット比較では、Lindormのほうが読み取り処理が3倍近く早く、書き込み処理は3倍以上高速です。同じく20億レコードでR99（リクエストの99%は10ms以内に帰ってくる）を実現しており、Apache HBaseの数倍のコストパフォーマンスを得られます。

5-3. フルサーバレス

Lindormはサーバレスモードもあり、使った分だけ課金する構成もできます。

5-4. グローバル分散データベース

LindormはCassandraのアーキテクチャも備えており、Cross-Zone展開をサポートしています。複数のZoneにLindormインスタンスをデプロイすることにより、障害等有事の際でもLTS（Lindorm Tunnel Service：データ同期サービス）により、100ms以内の素早い復旧を実現するため、高可用性構成を確保できます。

5-5. 統合データへのアクセス処理

Lindormは、Lindorm SQLによって、計算エンジン、Lindorm ワイドカラムエンジン、検索エンジンそれぞれにクエリ投与しながら、運用データベース（※）およびOLAPデータ分析を実現します。
※Lindormは強い整合性と結果整合性をサポートするため、トランザクションを持つOLTPデータベースよりサービングという表現で運用データベースになります。

5-6. Lindorm MLによる機械学習

Lindorm 時系列エンジンにてSQLでAR、ARMA、ARIMAなどの統計モデルを使った異常検知や変化点検知、トレンド検出、クラスタリングなどの機械学習機能があり、SQLだけで機械学習を実現することができます。

例えば、IoTやAPI、ログ、メトリクスなどのデータをLindormへリアルタイム格納しながら毎秒おきに教師あり機械学習（Deep Learning）でリアルタイム予測といった、シンプルな構成ができます。

＜参考＞
AZFT次世代データベース技術研究所はAlibaba Cloud Lindorm時系列エンジンによりタイミング予測で成果を得られた事例
https://azft.alibaba.com/newspage/?id=150

6. Lindormユースケース

6-1. IoV（Internet of Vehicles、自動車業界のインターネット化）

Lindormに書き換えることで、大量データの書き込み処理、ETL、分析の大幅短縮化、ストレージコストの大幅削減化により、TCOと運用コストの削減を提供

<参考>
https://www.alibabacloud.com/help/en/lindorm/latest/a-storage-and-processing-solution-for-iov-data

6-2. 車両搭載システム

Lindormは自動車インターネットにおける運転軌跡、車両の状態、位置情報などの重要なデータを毎秒おきに保存し、リアルタイムでETLしながらデータ処理や分析、他アプリケーションへのデータ連携を実現。

Lindormは１つのプラットフォームでデータ運用、データ分析、データ処理、バッチ処理、機械学習、ストレージとしての保存など幅広い領域で活用できるため、非常に低コストながら開発や連携における柔軟性を併せて持つため、開発者の負荷を大きく軽減します。

6-3. 財務数値化とリスク管理

6-4. アリババエコシステム

そのほか、Lindormによる事例はHelpページなど幅広く搭載していますので、よかったらこちらも参考にしてください。

＜参考＞

・業界事例（中国語ですが、Google翻訳などで参考にいただけますと幸いです）
　https://help.aliyun.com/document_detail/207916.html

・インターネット広告
　https://developer.aliyun.com/article/782172

・リアルタイムマーケティング
　https://developer.aliyun.com/article/791440

・ソリューション
　https://www.alibabacloud.com/help/en/lindorm/latest/solution

7. Lindormとその他プロダクトの比較

7-1. ApsaraDB for HBaseとLindormの違い

Apache HBaseと、ApsaraDB for HBase、Lindormは後者２つがAlibaba Cloudプロダクトサービスという時点でかなり大きく異なります。

先述通り、オープンソースのApache HBaseを、Apache HBaseコアコミッター達によってクラウドサービス向けにフルマネージドサービスとしてリリースしたのがApsaraDB for HBase、そこからアリババグループ向けにMulti-Model Databaseとして機能的にLindormテスト展開したのがApsaraDB for HBase Performance-enhanced Edition、Lindormとしてプロダクトサービスの機が熟し、商用リリースしたのがLindormです。

そのため、ApsaraDB for HBase Performance-enhanced EditionとLindormは機能的にあまり大差ないですが、Lindormだけ時系列エンジンが搭載しており、その影響でLindormのみLindorm MLという機械学習機能が付帯されています。

＜参考＞
https://www.alibabacloud.com/help/en/lindorm/latest/lindorm-vs-hbase-vs-cassandra

https://www.alibabacloud.com/help/en/apsaradb-for-hbase/latest/product-introduction-overview

7-2. Azure Cosmos DBとLindormの違い

Azure Cosmos DBとLindormはどちらも優れたCloud-Native Multi-Model Databaseですが、文化や考え方も若干異なります。

LindormはHBase、Cassandra、Solr、Spark、Phoenix、HDFS、Kafkaなど様々なエンジンを融合した独自アーキテクチャなので、様々なエンジンを使ったサービスの横串展開ができます。一方、Cosmos DBはデータベース作成後、配下にコンテナが生成され、そこでRedis、HBase、Cassandra、MongoDB、Neo4jなどデータベースの種類を選定することで、コンテナ配下のアイテムで使えるデータベースが利用できます。

Cosmos DBは階層化構造でそれぞれのデータベースを利用する仕組みなので、様々なエンジンを使ったサービスの横串展開する際は、コンテナレイヤーレベルでデータを橋渡しする必要があります。

8.日本リージョンを含めた、Lindorm展開リージョン

本サービスは2022年11月15日時点でほとんどのリージョンで利用することができます。

• シングルゾーンによるデプロイは、日本を含めたほとんどのリージョンにてサービス提供しています。

• マルチゾーンによるデプロイは、シンガポール、インドネシア、深圳、香港、杭州、上海、北京、河北省リージョンにて利用できます。

9.料金

Lindormは要件に応じて「Lindorm」「Lindorm Standalone」「Lindorm Tunnel Service」のいずれかを選定できます。

<参考>
https://www.alibabacloud.com/help/en/lindorm/latest/series

※エンジンの種類によっては最低限必要とするNode台数があるため、詳しくはヘルプを参照のうえ選定ください。

10.Lindorm検証について

LindormはApache HBase/Cassandra/Spark/Solr/HDFSベースの接続インターフェースを持っていることや、Active-Active Multi-zone構成、Lindorm MLという機械学習機能が付帯されています。いくつか検証しましたので、後日別記事にて紹介する予定です。

11.さいごに

Lindormは10年以上もアリババグループを支えたCloud-Native Multi-Model Databaseです。Apache HBase、もしくはCassandra、Apache Solrが初めての人でも、Lindormは非常にシンプルなSDK / APIで操作することもできますし、Apache HBase、もしくはCassandra、Apache SolrにはないSQLベースで操作をすることもできます。

Web三層とデータ分析基盤をこれから考えている人にも、Lindorm1台でデプロイし双方運用、データを定期的にS3へバックアップという構成もできます。

それほどにLindormはMulti-Model Databaseとしても完成度が高いため、気になる方はお試し利用してみるといいでしょう。

関連サービス