論文読み: KinectFusion

KinectFusion について少しだけ調べたので備忘録として簡単にまとめておきます。

KinectFusion とは

KinectFusion は Microsoft Research Cambridge にて行われた非常にインパクトのある研究です。

KinectFusion とは、Kinect を動かして得られる depth データを元にリアルタイムで Kinect のポーズ (位置と向きの 6-DOF) を推定し、同時にシーン全体を 3D reconstruction する (三次元モデルを構築する) ことができるという画期的な技術です。

これほどの計算をリアルタイムで行えるというだけでも驚きですが、更に驚きなのはその reconstruction の精度です。Kinect から得られる非常にノイズの強い depth データを使っているにも関わらず、例えば 1mm 程度の溝が再現できるような精度が出せるようです。

KinectFusion を用いると geometry-aware AR を高精度に実現できたりします。

また、公式の SDK にも将来的に組み込まれるという話もあります。
http://blogs.msdn.com/b/kinectforwindows/archive/2012/11/05/kinect-fusion-coming-to-kinect-for-windows.aspx

論文

調べるまで知らなかったのですが、KinectFusion に関する論文は 2 つあるようです。

Newcombe, Richard A., Andrew J. Davison, Shahram Izadi, Pushmeet Kohli, Otmar Hilliges, Jamie Shotton, David Molyneaux, Steve Hodges, David Kim, and Andrew Fitzgibbon
KinectFusion: Real-time dense surface mapping and tracking
ISMAR 2011

Shahram Izadi, David Kim, Otmar Hilliges, David Molyneaux, Richard Newcombe, Pushmeet Kohli, Jamie Shotton, Steve Hodges, Dustin Freeman, Andrew Davison, and Andrew Fitzgibbon
KinectFusion: real-time 3D reconstruction and interaction using a moving depth camera
UIST 2011

どちらも所謂トップカンファレンスと呼ばれる国際学会で、ISMAR は augmented reality に関する、UIST は user interface に関する学会です。

ISMAR の方の論文は CV 的な内容がメインで、Kinect のトラッキングやジオメトリの reconstruction に関する技術が詳細に記述されています。

これに対し UIST の方の論文は KinectFusion を用いたインタラクションに関する内容が記述されています。また、segmentation に関する技術や GPU 実装の拡張などについても記述されています。

追記 (2013年3月19日)

http://wmpoweruser.com/microsoft-releases-kinect-for-windows-sdk-v1-7-with-kinect-fusion-support-2/
Windows SDK v.1.7 から公式に Kinect Fusion がサポートされるそうです。これは Kinect Fusion を使いたいと思っていた人達(私を含め)にとっては衝撃的な出来事だと思います。Kinect Fusion を用いた様々なアプリケーションや研究が、今後ますます増えて行くと思います。