「AIを使う」を発明の構造にする［4/4］

「この設備のリスクスコアは0.82です」

数字が出てくると、技術の説明が急に具体的になったように感じます。

0.82なら高いのか、低いのか。
どの値になったら注意すべきなのか。

つい、そちらへ目が向きます。

でも、発明を整理するとき、私はその前に一度戻ります。

その0.82は、何を表していて、何から、どう作られた数字なのか。

まず見たいのは、そこです。

0.82は、何の0.82なのか

例えば、設備に取り付けたセンサの情報から、AIが異常のリスクを評価するシステムがあるとします。

その結果として、

「リスクスコア0.82」

が表示される。

ここで「0.82」という数字だけを見ると、かなり明確に見えます。

ところが、

「これは何を表す値ですか」

と聞くと、話は少し変わります。

異常が起きる確率なのか。

正常状態からどの程度外れているかを表す独自の評価値なのか。

そもそも、この0.82はどんな尺度の上の0.82なのか。

0から1までの値なのか、上限や下限が別にあるのか、それとも他の値との比較に意味がある指標なのか。

さらに、AIモデルが直接出している値なのか、モデルの出力に別の計算を加えて作った値なのかでも意味は変わります。

同じ「0.82」でも、その数字が何を表しているかは同じとは限りません。

数字には、その数字が作られるまでの処理がある

そこで私は、0.82から逆向きにたどります。

例えば、設備から得られた情報をモデルが処理し、何らかの値を出す。

その値が、そのままリスクスコアになる場合もあります。

一方で、複数の出力を組み合わせたり、別の式で変換したりした後に、「リスクスコア0.82」が作られる場合もあります。

実際の構成はシステムごとに違います。

だから確認したいのは、

どの処理を通り、
どの段階で、
その値が作られたのか。

ということです。

数字から生成過程へ遡ると、「リスクスコア」という名前だけでは見えていなかった処理が出てくることがあります。

score、probability、confidenceは同じではない

AIやITの説明では、「スコア」「確率」「信頼度」といった言葉が使われます。

ただ、これらを同じ意味として扱うことはできません。

scoreは、モデルや周辺の処理が出す評価値や指標を広く指して使われることがあります。

一方、probabilityは、確率として表された値です。

confidenceという名称も、モデルやシステムが予測の確からしさを表すものとして使われますが、何をどのように計算した値なのかは実装によって確認する必要があります。

したがって、

「confidenceが0.82だから、82％の確率で正しい」

とは、その数字の作り方を確認せずには言えません。

名前が「リスクスコア」だから、リスクの確率だとも限りません。

数字の呼び方から意味を補うのではなく、その値がどう定義され、どの尺度で表され、どう生成されているのかを見る必要があります。

数字を遡ると、次に確認すべき処理が見えてくる

例えば、0.82がモデルの直接出力ではなく、複数の値を組み合わせて作られていると分かったとします。

すると、

なぜ、その値を組み合わせているのか。

なぜ、その計算方法なのか。

その処理を変えると、最終的なスコアはどう変わるのか。

というところが次の確認対象になります。

逆に、モデルが出した値をそのままリスクスコアとして使っているのであれば、その値が何を表すように設計されているのかを見ることになります。

ここで、その計算方法に発明性があると先に決めるわけではありません。

数字がどこから来たのかを確認することで、技術のどの部分を次に詳しく見るべきかが分かります。

「0.82の後」より、まず「0.82の前」を見る

実際のシステムでは、リスクスコアを使って警報を出したり、人に確認を求めたりすることもあります。

ただ、それは数字ができた後の話です。

技術の説明を聞いていると、「リスクスコア」という値が、どのように作られたかを説明されないまま登場することがあります。

そんなとき私は、0.82が高いか低いかを考える前に、

この0.82は何を表すのか。

どんな尺度の値なのか。

モデルの出力そのものなのか。

それとも、その後の処理で作られた値なのか。

と、数字ができるところまで遡ります。

「リスクスコア0.82」と書いて終わるのではなく、その0.82が生まれるまでを見る。

数字そのものも、技術を構成する処理の結果として確認しておきたいところです。

本シリーズのブログ記事です。こちらもよろしければご参照ください。
・「AIで予測する」では、まだ発明の姿が見えない――入力から利用までを追う
・AI発明、「設備データを入力する」だけでは分からない――取得から入力までを見る
・CNNを別のモデルに替えたら、何が変わるのか――モデル選択から発明を見る