公平で、説明可能なAIって何？

大手のクラウドで、以下のようなAI関連サービスをご存知でしょうか（ディープラーニングに限らず、機械学習も指して本記事内ではAIと表現します）。

• AWS：SageMaker Clarify
• Azure：Responsible AI dashboard
• Google Cloud：Vertex Explainable AI
• IBM Cloud：Watson OpenScale（watsonx.governance）

AWSのSageMakerやGoogle CloudのVertex AIなどのサービス名を聞いたことがあるという方もいるかもしれません。AIモデルを構築するサービスです。

上にあげたサービスは、SageMakerではなく、SageMaker Clarifyです。Vertex AIではなく、Vertex Explainable AIです。モデル構築サービスに対する、何か別の役割を担ったサービスとなります。AzureやIBM Cloudにもモデル構築サービスはあり、その名前を踏襲してはいませんが、AWSやGoogle Cloudと同じポジションでのサービスとして、上のサービスが存在しています。

実はこれは、AIモデルのバイアスを検出したり、予測結果を説明するためのサービスとなります。

本記事では、AIモデルを構築するサービスとは別のサービスと機能がどうして必要なのかを探っていきます。

背景

AI技術が急速に進展し、企業のAI導入も増加しています。モデルの性能として正解率、適合率、再現率などの精度に注目が集まりがちですが、公平性や透明性、セキュリティ・堅牢性、安全性などの指標の重要性も認識されつつあります。

性能以外のAIガバナンスという観点も考慮しなくてはならない理由を列挙してみます。

• 公平性：AIシステムは、開発者の、また使用されるデータのバイアスを反映する可能性があります。特定の人々やグループに対する偏見や不平等が生じることがあります。
• 説明性（透明性）：深層学習のようなアルゴリズムのパラメータの挙動を追いかけることは、複雑で難しい場合があります。だからと言って、一切説明ができない、では信頼を得られません。
• データの質と量：大量のデータが必要であり、同時にデータは正確でなければなりません。データが偏っている場合、AIシステムが不正確な結果を生成する可能性があります。
• セキュリティとプライバシー：個人情報が利用されないような保護が必要となるケースが出てくる場合があります。個人情報が同意のないまま吸い上げられ利活用されるかもしれません。
• 堅牢性：不正なデータに対して、望ましくない挙動を起こすことがあります。意図的に引き起こし悪用されないようにしなければなりません。
• 倫理問題：AIが人々の行動や決定に影響を与える場合、倫理的な問題が生じる可能性があります。例えば、自動運転車が事故を起こした場合、責任は誰にあるのかという問題が生じます。

他にもまだまだあるのですが本題に戻りましょう。先のAIサービスは公平性と説明性（透明性）への課題を解決するために焦点を当てたサービスです。

AIに公正性と説明性が求められるのはなぜ？

公平性と、説明性に焦点をあて、もう少し詳しく見ていきましょう。

公平性

英語では、フェアネス（fairness）と言います。
悪意を持たないでモデルを構築すれば公平になるというわけではありません。バイアスが生まれる原因は大きく３つあります。

• データの偏り
  訓練データへのラベル付けに偏りがある場合、AIの判断にも偏りが生じます。例えば、無意識にでも特定の人種や性別への評価をよくしていた、などの、アノテータの思い込みが入り込む場合があります。
• サンプルの偏り
  訓練データが予測対象を反映していない場合に発生します。例えば、ある特定の人種や性別のデータを選択していなかった場合、その人々に対するサービス提供や意思決定が不公正になる可能性があります。
• 学習（帰納）バイアス
  汎化したモデルが現実の対象を予測できていないことがあります。汎化の過程で少数データが過小評価される、などです。

公平であることを、誤解がないように少し補足します。
本来、バイアスがかかってはいけないデータが、予測にバイアスをかけ、公平ではなくなることを問題にしている点にご留意ください。

お金を貸せるかどうかのローン審査をする際に、収入がなく、借金がある方へは貸出判定は厳しくせざるを得ないでしょう。
意図した不公正が起きることは問題ではありません。意図しない不公平が発生することが問題です。

もう一つ例を出します。公共自治体においては、収入がなくなり、生活に困っている方へ、社会保障の役割が求められます。
データから得られる性格は一律に決まっているわけではありません。文脈によってその目的と意義を踏まえて判断することが大事になってきます。

説明性

英語では、XAI（Explainable AI：説明可能なAI）や、解釈可能性（Interpretability）と表現されます。

AIによる決定がどのように導かれたのかを人間が理解できなければ、AIの判断結果への信頼性を得られない可能性があります。

法的責任の観点も意識しなければなりません。AIが誤った結果を導いた場合、その責任をどのように追及するかという問題があります。AIの判断であった場合でも、最終的な責任が人間にある領域では、説明責任が生まれることがあります。

具体例を出します。
AIを使った医療診断支援システムでは、患者の症状や検査データをもとに、病気の診断や治療法の提案を行うことができます。しかし、AIがどのような理由で診断や治療法を提案しているのかを理解できない場合、患者がその結果に対して信頼を持つことが難しくなります。