視覚によって得られる情報は私たちにとって極めて重要である。視覚障がい者や、晴眼者であっても何らかの条件で視覚が使えない場合、視覚情報を音情報に変換することができれば有益である。本研究では色彩情報に着目しそれを音情報として提供することを検討している。

本研究では色彩情報を音に変換するために、pure dataというビジュアルプログラミング手法を用いた。まず、マウスカーソルを画像に置くことによって、カーソル位置での色彩情報を検出する。色彩情報はR(赤)・G(緑)・B(青)の濃度としてあらわされるので、それらを周波数に関連させ、音を生成した。

音の関連付けに関しては、RGBの各濃度に音の倍音分布を振り分けて音色の変化で表現する方法と、それぞれの濃度をドミソの音に振り分けた長三和音で表現する方法の2つを検討した。

本研究の利点は画像データがあれば、それに手を加えることなく、直接音の情報に変換できることにある。今回の検討ではRGBの分布を長三和音で表現する方法が色彩情報の把握に有効であることが分かった。

今後はRGBでない色の分け方や音の付け方を変えたり、実際の写真などに音を付け物体だけでなく人物や動物を表現できるか、などの検証をしていく必要がある。