FOX
— Fuzzy Order eXperience
本プロジェクトは、ユーザーのジェスチャーと感情で綿あめを作るインターフェースのデモ作品である。ユーザが自らの要望を数値や言葉で伝えるのではなく、ロボット側から深度カメラとジェスチャー認識、そして感情分析APIを用いてユーザの要望を推測する。具体的なシステムとしては綿あめを作るロボットにその機能を実装し、ユーザが求める綿あめの色と大きさを推定し、その場で作成・試食してもらうフードファブリケーションシステムとしてデモを行った。今後人工知能技術がさらに発展すれば、ユーザー自身でも表現することが難しい暗黙的で曖昧な要望を推測することができる知覚的インターフェースが開発されるかもしれない。
綿あめの色を決める工程では、Google Vision APIを用いてユーザーの表情から感情分析を行い、感情に紐づいた色のついたザラメを出力する。その際、Google Vision APIとArduinoを連携・制御するプログラムを制作した。また、綿あめの大きさを決める工程では、Kinectセンサの値をザラメの量に変換するアルゴリズムを制作した。
Credit
Concept, Hardware Engineering: Mondo Saito
Concept, Software Engineering, Design: Ryosuke Fujiki
Concept, Software Engineering, Movie: Makoto Amano
Academic Advise: Yasuto Nakanishi
Conference
ACM UIST 2018 Student Innovation Contest
2018.10.14 - 10.17
at Berlin, Germany
Award
ACM UIST 2018 Student Innovation Contest Most Creative Award 受賞
ACM UIST 2018 Student Innovation Contest People's Choice 受賞
SFC STUDENT AWARD 2018 受賞