FOX

Fuzzy Order eXperience

 本プロジェクトは、ユーザーのジェスチャーと感情で綿あめを作るインターフェースのデモ作品である。ユーザが自らの要望を数値や言葉で伝えるのではなく、ロボット側から深度カメラとジェスチャー認識、そして感情分析APIを用いてユーザの要望を推測する。具体的なシステムとしては綿あめを作るロボットにその機能を実装し、ユーザが求める綿あめの色と大きさを推定し、その場で作成・試食してもらうフードファブリケーションシステムとしてデモを行った。今後人工知能技術がさらに発展すれば、ユーザー自身でも表現することが難しい暗黙的で曖昧な要望を推測することができる知覚的インターフェースが開発されるかもしれない。

 綿あめの色を決める工程では、Google Vision APIを用いてユーザーの表情から感情分析を行い、感情に紐づいた色のついたザラメを出力する。その際、Google Vision APIとArduinoを連携・制御するプログラムを制作した。また、綿あめの大きさを決める工程では、Kinectセンサの値をザラメの量に変換するアルゴリズムを制作した。 

DSC_0142_edited_edited.jpg
Credit

Concept, Hardware Engineering: Mondo Saito

Concept, Software Engineering, Design: Ryosuke Fujiki

Concept, Software Engineering, Movie: Makoto Amano

Academic Advise: Yasuto Nakanishi

Conference

ACM UIST 2018 Student Innovation Contest

2018.10.14 - 10.17

at Berlin, Germany

Award

 

ACM UIST 2018 Student Innovation Contest Most Creative Award

ACM UIST 2018 Student Innovation Contest People's Choice

SFC STUDENT AWARD 2018