社会的知能発生学シミュレータ(SIGVerse)を用いた人とロボットの協調作業に関する研究。同シミュレータを用いたRoboCup Japan Open @Home Simulationの運営にも携わっています。2013年度、2014年度は、Team「SOBITS」のアドバイザとしてしてRoboCup Japan Open @Home Simulationに参加し、二年連続優勝しました。
家庭内において人と共存するロボットの大会RoboCup Japan Open @Home Leagueに参加。Team「SOBITS」として出場し、2011年度は4位。2012年度はイノベーションアワード賞を頂きました。
ビューベストナビゲーション(単眼カメラによる位置推定手法)をスマートフォンに応用して屋内における歩行者案内システムを構築した。限られた計算機資源における多数の画像とのリアルタイム相関計算のためにLSHによる計算の高速化を実施し、ARによる進行方向指示や情報重畳表示を可能としている。
ロボットが学習者の理解度を推定して、励ましやヒントを提供してくれる学習補助システム。OpenCVによる表情認識と音声対話機能による学習者の理解度を推定して、学習段階にあった問題を提示する事により学習効果を高める。また学習記録を教育側に提供する事も可能とする。