対話型機械学習 (Interactive Machine Learning, IML) について

普段は Computer Graphics や Human-Computer Interaction を勉強しているのですが、最近は機械学習も少し勉強しています。今回は Human-Computer Interaction とも関わりの深いトピックである「対話型機械学習 (Interactive Machine Learning, IML)」について簡単にまとめます。

参考文献

ある機械学習の専門家にこちらの記事をおすすめされました。

Saleema Amershi, Maya Cakmak, W. Bradley Knox, Todd Kulesza:
Power to the People: The Role of Humans in Interactive Machine Learning.
AI Magazine 35(4): 105-120 (2014)
PDF download

この文献は interactive machine learning のサーベイというよりは、この分野を知らない人のための教科書的な導入として書かれているようです。

Interactive Machine Learning とは

そもそも伝統的な機械学習は

[...] a powerful tool for transforming data into computational models that can drive user-facing applications.

です。つまり、データがあって、ユーザがいるわけですが、ここで問題となるのはこの "computational models" を構築する作業は肝心のユーザではなく別の "skilled practitioners" (データサイエンティスト？) が行うという点です。したがって、この "practitioners" は実際のユーザと打ち合わせをしながら、適切な特徴量選択やパラメタチューニングを反復的に行っていく必要がありました。

伝統的な機械学習ではユーザが直接モデル構築を行わないため学習と使用が乖離している。

伝統的な機械学習に対し、モデル構築の過程で直接ユーザと対話することで、より良いユーザエクスペリエンスやより効果的な学習機構を目指すものを interactive machine learning と呼ぶようです。これによって、例えば "practitioners" を挟む間接的なやり方よりも、直接学習と使用のサイクルを回すことができます。

Interactive Machine Learning ではユーザが直接モデル構築に関与する。

文献の中では、伝統的な機械学習と比較した際の interactive machine learning の特徴として、以下の三点が挙げられています。

モデルの更新がより rapid である（ユーザ入力に対し即座にモデルを更新する）
モデルの更新がより focused である（モデルの特定の側面だけが更新される）
モデルの更新がより incremental である（一回の更新の大きさが小さく、劇的に変わることがない）

これらの条件が満たされることによって、機械学習の専門家でないユーザでも "low-cost trial-and-error or focused experimentation with inputs and outputs" をすることができ、効果的になると述べられています。

事例：画像のセグメンテーションにおける Interactive Machine Learning

Human-computer interaction の文脈において interactive machine learning という言葉が初めて使われたのは以下の論文だそうです：

Jerry Alan Fails and Dan R. Olsen, Jr..
Interactive machine learning.
In Proc. IUI '03. (Best Paper Award)
PDF download

この研究は画像のセグメンテーション（ここでは前景と背景を分ける）において、ユーザが前景（または背景）のピクセル群をブラシストロークによって対話的にマークしていくことで classifier の学習を進めていくという手法が提案されています。

これはちょうど Adobe Photoshop CC 2015 などに搭載されている「クイック選択ツール」の挙動と似ていると思います：

また、この研究で行われたユーザスタディにおいて得られた重要な知見の一つとして、システムの挙動（その時点での classifier によって得られるセグメンテーションの可視化）に応じてユーザが挙動（どこを次にマークするか）を変えた、という点が挙げられます。具体的には、システムがセグメンテーションに失敗した部分をユーザが直す、ということが行われたそうです。この事実は、interactive machine learning では interaction design が学習の効果に大きく寄与するということを示唆していると考えられます。

Interactive Machine Learning に関する学会・会議など

Interactive machine learning の研究は主に CHI, UIST, IUI などの human-computer interaction に関する国際会議で発表されることが多いようです。これは、学習で用いられるモデルそのものよりも、interaction design における知見や human factor の扱いに関する知見が interactive machine learning においては大きな課題であるからだと思われます。