物理的なデータを感知するセンサーを利用すれば、プログラム制御により音や画像などを操作出来る新しいインターフェースをつくることが出来る。

本研究では音と、画像の視点を同時に操作するしくみを、携帯電話などに用いられている加速度センサーを用いて構築した。3次元加速度センサーでは、X軸、Y軸、Z軸の3方向に生じる重力と速度の変化率を1つのデバイスで測定出来るため、ユーザーが操作した動きに応じたものが反映される。プログラムとして、Pure Data、センサー入力を電圧として入力するインターフェースとして、Arduinoを用いた。

ここではCGの視点をセンサーを通じて手の動きによって操作出来るようにし、かつ手の動きを適切に制御できるように加速度の変化を対象CGの色で表示するものをつくった。

プログラムを併用することによって音や画像の属性に柔軟に対応出来るしくみをつくることができた。