センサーライトや自動ドア、キネクトなどの様に人の動きと連動して物や映像を動かす物があるが、これを音に連動させることが可能ではないかと考えた。

本研究では、人や物の動きと連動して音の操作が可能なシステムを構築した。そこで、Pure dataとGEMを用いてWebカメラで映像を取り込み、上下の動きを音のオクターブ移動に、左右の動きの重心を音階(ドレミファソラシド)に連動させるプログラムを作成した。音源には、wave tableを用いることで様々な音色に変化させることが可能となった。実際のカメラ映像に適用すると動画重心の検出にちらつきがみられ、また、画像処理の負担による断続音の発生がみられた。ちらつきに関しては背景画像の選択により解決されたが、断続音については処理等の改善が求められる。