Elasticsearch 機械学習での異常検知体験｜クラウドテクノロジーブログ

異常とは

周期的異常

下に時系列データを19個用意しました。AAL, AWEなど1つ1つが各航空会社の予約数を集計したものを時系列で表しています。ご覧ください。

まず緑色の線（つまりAAL社の予約数）を見てみます。明らかに2016年2月9日4時ごろのAAL社の予約数は他の日、時間帯より明らかに高いです。これは明らかに異常な状況といえます。しかし、この法則が毎週または毎月一定の時間帯で繰り返されているなら、このような状況も正常と言えるはずです。

もう一つの例としては、私たちは大都市に住んでいます。例えば、北京は金曜夜のピーク時、市内を出る車がとても多く、他の平日（月〜木）よりも明らかに多いです。もし一週間分だけの統計データを取ってみれば金曜だけ明らかに異常です。しかし毎週金曜がもれなくそうならこのようなピークも正常だといえます。この結論を出すには、長期的にデータを収集して分析する必要があります。

クラスタリングによる異常

先程用いた19個の時系列データ（各航空会社の予約数を集計）の別バージョン(別日に取得したもの)を見てみます。今度は19個のデータをグループとして眺めてみます。すると、ほとんどのデータが下部にかたまっているのが見てとれます。これを"normal"グループとします。逆に緑色の線（NKS）が１つだけ上部に外れて存在しているのが見てとれ、これを"anomalous"、つまり異常だと判断する事ができます。

まとめると、ほとんどのものが同じ挙動を示している中、ある一部のものがそこから外れた動きをしていると、異常だと判断する。

以上をまとめると、もし私達があることが異常と言ったら、それは以下の1つまたは2つに当てはまるはずです。

データの動きが急に大きく変化するとき（周期的異常）
あるデータとそれ以外のデータとが全く異なるとき（クラスタリングによる異常）

ElasticsearchのMachineLearning機能は、実際のデータに基づいて自動的に適切なデータモデル（データ分布）を選んでくれます。ほとんどの場合は一つ目のデータモデル（正規分布）です。そして他の確率イベントが発生した時に異常としてそれを検出します。

MachineLearning機能の異常検知について

MachineLearning機能ではElasticsearchに存在するデータを使用して、教師なしでデータモデルを構築します。新しいデータを事前に作成したデータモデルと比較して、データ中の異常または挙動を識別することにより、時系列データを自動的に解析することができます。ElasticsearchのMachineLearning機能では、以下のような機能があります。

異常検出
異常スコアリング（異常度合いを表す0から100までの点数で、高いほど異常だという意味）

これを使う前に、データの適用性を検証する必要があります。以下の三つのことを考えなければなりません。

データは時系列データですか？（データの種類）
どの項目・指標を重要な項目として分析したいですか？（分析対象・ターゲット）
データの取得する期間はどれくらいですか？（データの期間）

実際には、MachineLearning機能のAPIを通じてあなたのデータを分析することができます。

データの異常を発見するためには、分析する項目・指標を定義する事が非常に重要なポイントです。例えば、以下のように定義する事が考えられます。

所定の期間に出力された「ログ数」
所定の期間に受信された「404応答値」
所定の期間に使用した「ディスク使用量」
顧客：例えばアプリケーション応答時間またはエラーカウント
利用可能性：例えば正常運行時間(MTBF)または平均メンテナンス時間（MTTR）
業務：例えば毎分注文数、売上、或いはアクティブユーザー数

MachineLearningのもう一つの重要な機能は、分析した時系列データの将来の動向を予測することです。Kibanaのインターフェースを使って予測する以外に、ElasticsearchもAPIインターフェースを提供しています。この機能を使うには、予測しようとする期間を指定する必要があります。

ElasticsearchのMachineLearning機能の構造

下図はMachineLearning機能のプロセスを簡略化して示しています。

さらにMachineLearningの処理を切り出したものが以下です。

このようなレイアウトはMLがオンライン（リアルタイム）で実行でき、新しいデータをどんどん分析し学習できることがポイントです。このプロセスはMLでも自動的に処理されますので、ユーザーはこのすべてを実現するために必要な複雑なプロセスを心配する必要はありません。

分析の種類

Kibana 7.0は4種類の「異常検出ジョブ」が用意されており、分析タスクを実行するために必要な設定情報などが含まれています。各異常検出ジョブは1つまたは複数の検出器を持っており、データ内の特定フィールドに対する分析を行います。実行できる分析の種類については以下です：

Single-metric jobs：一つのインデックスフィールド(指標)でのみ分析します。例えばCPU使用率のみから分析するとき。
Multi-metric jobs：複数のインデックスフィールド(指標)に対してデータ分析を実行しますが、各フィールドはそれぞれ分析を行います。例えば、CPU使用率とディスク使用量など同時に分析しそれらの関係性(関連するか)をみたいときなど。
Advianced jobs：複数のインデックスフィールド(指標)に対してデータ分析を実行できます。Multi-metric jobsとの違いは、検出器と影響フィールドを細かく設定できます。（完全なカスタマイズ）
Population jobs：クラスタリングによる異常検知を実行するもので、同じ挙動をする多くのデータの中から、ある一部の外れた動きを検出します。

今回は、single-metric jobsを使用した例を示します。

single-metricで異常検知体験

今回扱うデータは公開されているNABデータの一部（file：art_daily_flatmiddle.csv）を使います。

基本的に、single-metric jobでは、分析検出器としてインデックスフィールドを一つだけを指定できます。ここでは、NABデータを用いて、single-metric jobの手順を説明します。

1.データのインポートとIndexの作成

早速データをインポートします。MachineLearningの「Data Visualizer」より、直接csvフォマートファイル「art_daily_flatmiddle.csv」をElasticsearchにインポートします。すると自動的にIndex「art_daily_flatmiddle」が作成されます。