DIGITAL BUSINESS EYE'S
この画像がセクシャル? 過学習が巻き起こすAI(ディープラーニング)のとんでも判別
facebookが巻き起こしたAIの判別精度
面白いネタが転がり込んできたので、今回はAIの特に「過学習」という現象に関してお話しできればと思います。
※AIの基礎的なお話は、第8回コラム「AI(人工知能)とディープラーニング」をご参照ください。
さて下の画像、みなさんいったい何に見えますか?
「え、何って【たまねぎ】でしょ。」
とおしかりを受けそうですが、この画像がfacebookの広告掲載用のAIに「不適切な広告」としてはじかれた。というのです。
そうAIにはこれが【不適切ななにか】に見えた(というか判別した)のです。
「え、ちょっとお茶目なAI」と僕はクスッとしてしまいましたが、皆様はいかがだったでしょうか。
人によっては気分を害した人もいたかもしれませんね。
※AIの基礎的なお話は、第8回コラム「AI(人工知能)とディープラーニング」をご参照ください。
さて下の画像、みなさんいったい何に見えますか?
「え、何って【たまねぎ】でしょ。」
とおしかりを受けそうですが、この画像がfacebookの広告掲載用のAIに「不適切な広告」としてはじかれた。というのです。
そうAIにはこれが【不適切ななにか】に見えた(というか判別した)のです。
「え、ちょっとお茶目なAI」と僕はクスッとしてしまいましたが、皆様はいかがだったでしょうか。
人によっては気分を害した人もいたかもしれませんね。
AIが画像を判別する方法とは
ではどうしてそんな判別になってしまったのでしょうか?
その話に移る前にまず、そもそもAIがどのように画像を判別するのか。一般的な画像認識の方法に基づきお話いたします。
① 画像データとは、何か? ドットとピクセル(=画素)について
画像はドットと呼ばれる色の集合体です。右上の一番端のドットの色が「紫」、左下が「うすい青」といったように見えますが、データ上はそう表現しません。
あくまでも数字やアルファベットの組み合わせで表現され、その表現データがいくつも集まって画像のデータになります。
こうした色にデータが重なったものをピクセル(=画素)と呼びます。
例えばよく聞く~万画素という表現は、~万個分の色のデータの塊ともとらえることができます。
② 動画とは何か?
実は動画はこうした~万画素という画像が1秒当たり30枚ほどで重なった画像の集合体なのです。
ではこうした画像が数字やアルファベットデータが~万画素=~万個集まったデータはどう判別されるのか。
このピクセル(=画素)データが画像のこの位置(例えば一番左端あたり)にこういう割合で配置されている場合、これは「玉ねぎ」である。
という判別をします。
しかし、「玉ねぎ」の画像は一種類ではありません。輪切りに切った画像もあれば、皮の色が違うものもあるでしょう。また、撮影したアングルによっても当然変わりますので、その組み合わせは多種多様。
これをAIはどう判別するのでしょうか?
その話に移る前にまず、そもそもAIがどのように画像を判別するのか。一般的な画像認識の方法に基づきお話いたします。
① 画像データとは、何か? ドットとピクセル(=画素)について
画像はドットと呼ばれる色の集合体です。右上の一番端のドットの色が「紫」、左下が「うすい青」といったように見えますが、データ上はそう表現しません。
あくまでも数字やアルファベットの組み合わせで表現され、その表現データがいくつも集まって画像のデータになります。
こうした色にデータが重なったものをピクセル(=画素)と呼びます。
例えばよく聞く~万画素という表現は、~万個分の色のデータの塊ともとらえることができます。
② 動画とは何か?
実は動画はこうした~万画素という画像が1秒当たり30枚ほどで重なった画像の集合体なのです。
ではこうした画像が数字やアルファベットデータが~万画素=~万個集まったデータはどう判別されるのか。
このピクセル(=画素)データが画像のこの位置(例えば一番左端あたり)にこういう割合で配置されている場合、これは「玉ねぎ」である。
という判別をします。
しかし、「玉ねぎ」の画像は一種類ではありません。輪切りに切った画像もあれば、皮の色が違うものもあるでしょう。また、撮影したアングルによっても当然変わりますので、その組み合わせは多種多様。
これをAIはどう判別するのでしょうか?
AIの判別方法、ディープラーニング(DL)とは
AIの判別方法の1つにディープラーニングがあります。
ディープラーニングとは第3次AIブームを支える考え方で、2000年代初頭にカナダトロント大学がAIの世界大会にて初めてその概念を実用し注目を浴びました。
例えば、一般的な機械学習では、教師データ(例えば凄腕のライフプランナー)を元に(因子)
あるゴール(例えば保険を売る)に最短のプロセスを導き出すようにプロセスを(例えば聞き出しポイント)
を明確にしてそれを模倣するプログラムを構築することになります。
わかりやすく言うとこういう目的にはこういう質問をこういう順番ですると得たい目的にたどり着きやすい。となります。
一方、ディープラーニングでは、
色んな方法を元に(因子)に対しあるゴール(例えば保険を売る)にプロセスそのものが変化したケースを多数用意しその時折のベター解を提案するプログラムを構築する。
こういうお客様のこんな状況(=ケース)にはこういう質問や答えをしながら、話の内容がこう変化したらこういう話も差し込んだ方が契約確立が高まる。
といったようにいくつもの質問や回答方法を用意し、時折によって変化させます。
機械学習もディープラーニングも最終的にたどり着きたいゴールに対して道筋を計算するのですが、そのたどり着き方の道筋がより多種多様なのがディープラーニングによる判別方法となります。
ディープラーニングとは第3次AIブームを支える考え方で、2000年代初頭にカナダトロント大学がAIの世界大会にて初めてその概念を実用し注目を浴びました。
例えば、一般的な機械学習では、教師データ(例えば凄腕のライフプランナー)を元に(因子)
あるゴール(例えば保険を売る)に最短のプロセスを導き出すようにプロセスを(例えば聞き出しポイント)
を明確にしてそれを模倣するプログラムを構築することになります。
わかりやすく言うとこういう目的にはこういう質問をこういう順番ですると得たい目的にたどり着きやすい。となります。
一方、ディープラーニングでは、
色んな方法を元に(因子)に対しあるゴール(例えば保険を売る)にプロセスそのものが変化したケースを多数用意しその時折のベター解を提案するプログラムを構築する。
こういうお客様のこんな状況(=ケース)にはこういう質問や答えをしながら、話の内容がこう変化したらこういう話も差し込んだ方が契約確立が高まる。
といったようにいくつもの質問や回答方法を用意し、時折によって変化させます。
機械学習もディープラーニングも最終的にたどり着きたいゴールに対して道筋を計算するのですが、そのたどり着き方の道筋がより多種多様なのがディープラーニングによる判別方法となります。
ディープラーニングと過学習
多種多様な条件を元に結論を導き出すディープラーニングという解析手法によるAI。一見無敵なように思えますが当然ながら弱点があります。
それが「過学習」といわれるものです。
例えば、あなたが登山をしていたとしましょう。登山道はA,B,Cの3コースあります。
年間70万人の登山客のほとんどが見晴らしがよく、なだらかな道が続くAコースを選択し、険しいB,Cコースを通る登山客はほとんどいません。
当然、あなたもAコースを通ろうとしますが、前日の大雨で道がふさがってしまいました。
さてディープラーニングでの判別を行うAIはなんと判断するでしょうか?
実は固まって動けなくなるのです。つまり判断できない。
なぜなら、精度の高いプロセス=Aコースが最適解だ!が常に選択されるからです。
この状態を「過学習」といいます。
おそらく皆さんも毎日のように「過学習」を目の当たりにしているのではないでしょうか?
たまたま目にした「マンガの広告」、ちょっと間違って触れてしまいました。
するとどうでしょうか?ここでもあそこでも広告欄に「マンガの広告」ってことはないでしょうか?
実は多くの広告表示を見た何億というWEBの足跡が7回表示すれば、あなたが1回は広告をクリックしてくれるという黄金律(=迷惑な過学習AI)で表示し続けるのです。
それが「過学習」といわれるものです。
例えば、あなたが登山をしていたとしましょう。登山道はA,B,Cの3コースあります。
年間70万人の登山客のほとんどが見晴らしがよく、なだらかな道が続くAコースを選択し、険しいB,Cコースを通る登山客はほとんどいません。
当然、あなたもAコースを通ろうとしますが、前日の大雨で道がふさがってしまいました。
さてディープラーニングでの判別を行うAIはなんと判断するでしょうか?
実は固まって動けなくなるのです。つまり判断できない。
なぜなら、精度の高いプロセス=Aコースが最適解だ!が常に選択されるからです。
この状態を「過学習」といいます。
おそらく皆さんも毎日のように「過学習」を目の当たりにしているのではないでしょうか?
たまたま目にした「マンガの広告」、ちょっと間違って触れてしまいました。
するとどうでしょうか?ここでもあそこでも広告欄に「マンガの広告」ってことはないでしょうか?
実は多くの広告表示を見た何億というWEBの足跡が7回表示すれば、あなたが1回は広告をクリックしてくれるという黄金律(=迷惑な過学習AI)で表示し続けるのです。
過学習とビジネス
今回の不適切な?「玉ねぎ」さん。
実は様々なデータを大量に投入し判別のパターンを作った結果、不幸にして「不適切な画像」のロジックに当てはまったのかもしれません。
日本はAIによる解析研究では世界のトップレベルです。少なくともAIのオリンピック的カンファレンスにおいては。
しかし、「過学習」の壁を超えた方法でカナダのトロント大学に抜かれました。
では方法は何か?
それは定期的な「遮断」です。
前述の登山の例のようにわざとAコースを遮断して、遮断した結果としてBコースやCコースのどちらを選択するのかを定期的に選ばせるようにしたのです。
「過学習」は知りすぎた、経験しすぎた故の出来事かもしれません。
しかし、時として冗談のような間違いの元にもなります。
ビジネスでも同じことがあるのではないでしょうか。
いつもと違う思考や視点を排除せず、たまにその判断に従ってみる。
目の前にいつもと違う 風景=画像 が見えてくるかもしれませんね。
実は様々なデータを大量に投入し判別のパターンを作った結果、不幸にして「不適切な画像」のロジックに当てはまったのかもしれません。
日本はAIによる解析研究では世界のトップレベルです。少なくともAIのオリンピック的カンファレンスにおいては。
しかし、「過学習」の壁を超えた方法でカナダのトロント大学に抜かれました。
では方法は何か?
それは定期的な「遮断」です。
前述の登山の例のようにわざとAコースを遮断して、遮断した結果としてBコースやCコースのどちらを選択するのかを定期的に選ばせるようにしたのです。
「過学習」は知りすぎた、経験しすぎた故の出来事かもしれません。
しかし、時として冗談のような間違いの元にもなります。
ビジネスでも同じことがあるのではないでしょうか。
いつもと違う思考や視点を排除せず、たまにその判断に従ってみる。
目の前にいつもと違う 風景=画像 が見えてくるかもしれませんね。
October 13 , 2020
S.Kurasawa