機械学習を用いたシステムの分析・統計的な評価

背景

機械学習を用いたシステムの信頼性・安全性を検証するためにはデータセットが必要となる。データセットの品質に偏りがあり、ノイズが入っているような低品質のデータセットに対する精度は低くなることがある。そのため、 高品質のデータセットと低品質のデータセットが混在している場合、機械学習を用いたシステムを一律に評価しても妥当性が不明瞭になるという問題がある。そのようにデータセットの品質にばらつきがある場合でも、妥当性のある評価することを目的とする。Dataset Fault Tree Analysis for Systematic Evaluation of Machine Learning Systems[1]ではDataset Fault Tree Analysisという手法を用いて安全分析からテストまでを系統的に実施し、データセットの品質にばらつきがある状態でも、機械学習を用いたシステムに対して妥当性のある評価している。本記事ではDataset Fault Tree Analysisについて説明する。

Dataset Fault Tree Analysis

Dataset Fault Tree Analysisとは機械学習システムを系統的に分析・評価する手法である。これは誤認識が発生する要因をもとにデータセットを故障木として構築することで、系統的な分析を行うことができる。また、標本に対する誤認識率をテストで求め、そこから母集団の誤認識を推定することで、統計的な評価を行うことができる。故障木の葉として表されている部分の認識率を求めることで、故障木の中間部分や根の認識率も求められる。評価対象のシステムに対してx%以上の割合で真の認識率がy%以上であることを保証できる。

Fig. 1 故障木の例
Fig. 2 データセットの関係
Fig.3 Fault Tree for datasetsの例

補足

大学院で行った実験では自動運転用の画像から車両や歩行者を検出するシステムに対して、Dataset Fault Tree Analysisを適用した。その際にFault Tree for datasetsを作成するために、日本自動車工業会の自動運転の安全性評価フレームワーク Ver1.0 [3]を参考にした。自動運転の安全性評価フレームワーク Ver1.0は自動運転技術の安全性を評価するための ガイドラインであり、安全の論理的な網羅性・実行性・透明性を具備した安全論証体系・ 安全性評価手法・安全性判断手法がまとめられている。このようなガイドラインがない場合は Fault Tree for datasets を作成することは困難である。その場合、安全 分析を行い、ボトムアップに故障が発生する要因を洗い出すところから始める必要がある。 FMEA(Failure Mode and Effect Analysis)や HAZOP (Hazard and Operability Studies)といった手法で故障を分析し、その後で Fault Tree for datasets を作成すること になるだろう。

参考

  1. Toshiaki Aoki, Daisuke Kawakami, Nobuo Chida, Takashi Tomita: Dataset Fault Tree Analysis for Systematic Evaluation of Machine Learning Systems. PRDC 2020: 100–109
  2. W. Hoeffding: Probability inequalities for sums of bounded random variables, Journal of the American Statistical Association, vol. 58, no. 301, pp. 13–30, 1963.
  3. 日本自動車工業会. 自動運転の安全性評価フレームワーク Ver1.0. Retrieved from https://www.jama.or.jp/safe/automated_driving/pdf/framework.pdf

--

--

Software engineer

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store