ヘッドマウントディスプレイの視線追跡機能で、ピアノを演奏

share

視線追跡型ヘッドマウントディスプレイ『FOVE』の技術を使用し、手や腕を使わずに目線だけでピアノを演奏することができるユニバーサルピアノシステム「Eye Play the Piano」を使ったプロジェクトがスタート。12月18日に、このシステムを使った演奏会が開かれた。

演奏がお披露目されたのは、筑波大学付属桐が丘支援学校にて。終業式後に行われたクリスマスコンサートで、同校高等部2年の沼尻光太くんが同システムを使用して、「もろびとこぞりて」と「きよしこの夜」を演奏。小学校の生徒たち、PTAコーラス部がそれにあわせて合唱をした。

これは、筑波大学附属桐が丘特別支援学校と株式会社FOVEが共同で進めるプロジェクト。ヘッドマウントディスプレイ『FOVE』を、医療・特別支援教育分野へ活用し、児童、生徒たちの表現の可能性を広げることを目的としている。FOVEと共に演奏のシステムを開発したのは、「さわれる検索」(Yahoo! JAPAN)を開発した博報堂ケトル、AID-DCC Inc.のスタッフ。「さわれる検索」は筑波大学附属視覚特別支援学校(盲学校)に検索マシンを設置し、目の見えない子供たちに立体物を触る体験を提供。大きな反響を呼び、その後、他校への貸出も行われている。「さわれる検索での経験を、また別の形で特別支援教育に活かしていきたい」(博報堂ケトル 畑中翔太さん)と、今年6月にプロジェクトを立ち上げるべく、同校を訪問。7月からは沼尻くんに参加してもらい、意見を聞きながら開発を進めていった。

では、実際に演奏はどのように行われるのか。まず『FOVE』を装着すると、視線追跡機能を使ってユーザーの目線が認識される。インターフェイス上の8枚の音符パネルにユーザーが視線を合わせ、自分が弾きたい音を選択。目の「瞬き」によって入力信号が送られ、 連結されたピアノから実際に音が鳴り響く。また、頭を下に傾けることで、それがピアノのペダルの役目を果たし、弾いた音を伸ばすことができる。インターフェイスには単音で弾くモードと和音で弾くモードを設定しており、それを併用することで、演奏の幅が広がるのだ。当日はグランドピアノにこのシステムをつなげて演奏した。

現在プロジェクトサイトでは、プロジェクトの内容を伝えるムービーとメイキングムービーを公開中だ。また、寄付型ファンドレイジングサイト「JustGiving」にてドネーションを開始。今後、50校へ同システム提供していきたい考えだ。


「さわれる検索」に関連する記事はこちら
「博報堂ケトル」に関連する記事はこちら

プロジェクト

企画制作
博報堂ケトル+AID-DCC Inc.+TOKYO
ピアノパフォーマー
沼尻光太
CD
畑中翔太(博報堂ケトル)
PR
上條圭太郎(AID-DCC Inc.)
テクニカルディレクター+サウンドプロデューサー
松尾謙二郎(Invisible Designs Lab.)
テクニカルディレクター+プログラマー
大橋將史(AID-DCC Inc.)
D
森本友理(AID-DCC Inc.)
モーションデザイナー
北井貴之(AID-DCC Inc.)
プログラマー
鍛治屋敷圭昭(AID-DCC Inc.)
システムエンジニア
木下勝(AID-DCC Inc.)
トランスポーター
村石健太郎(AID-DCC Inc.)
スペシャルサンクス
小島由香(FOVE)、ロキ(FOVE)、趙漠居(FOVE)

Movie

PR
武井寿幸(TOKYO)
アシスタントプロデューサー
高柳政義(TOKYO)
PM
小笹輪太郎(TOKYO)
プロダクション・アシスタント
大西美和(太陽企画)
ディレクター
北田一真(TOKYO)
撮影
池浦新悟、富田圭一、外山亮介
音響
湯浅高己(ブルーバイユー)
ライティング
栗原浩樹
美術
長谷川千純(cultrange)、中村梨奈(オフィスハラ)
仮編集
本田吉孝、中嶋啓一

ECD:エグゼクティブクリエイティブディレクター/CD:クリエイティブディレクター/AD:アートディレクター/企画:プランナー/C:コピーライター/D:デザイナー/演出:ディレクター/TD:テクニカルディレクター/FLASH:flash制作/ME:マークアップ・エンジニア/PGR:プログラマー/EPR:エグゼクティブプロデューサー/PR:プロデューサー/PM:プロダクションマネージャー/AP:アカウントプランナー/MA:録音/ST:スタイリスト/HM:ヘアメイク/CRD:コーディネーター/I:イラストレーター/CAS:キャスティング/AE:アカウントエグゼクティブ(営業)/NA:ナレーター

Follow Us