Aug. 24, 2015

制作者インタビュー「『Eye Play the Piano』プロジェクト」

世界初、目線の動きでグランドピアノを演奏!
ソフトウェア開発やイベントプロデュースで切り拓いた未来

世界初の視線追跡型ヘッドマウントディスプレイ「FOVE」の開発がスタートした後、FOVEの潜在能力を発揮する新プロジェクト「Eye Play the Piano」が立ち上がった。このプロジェクトにAID-DCC Inc.は、ソフトウェア開発などで参画。その成果は、2014年12月18日(木)、筑波大学附属桐が丘特別支援学校で開催されたクリスマスコンサートにて、FOVEを使って目線でグランドピアノが演奏される形で結実した。

http://eyeplaythepiano.com/

取材・文:遠藤義浩

ヘッドマウンドディスプレイが「楽器」を目指したワケ

gion_tsujiri
―はじめに、プロジェクトに参画することとなった経緯を教えてください。
上條圭太郎(以下 上條):2014年2月、クライアントである(株)FOVEさんが開発していたヘッドマウントディスプレイ「FOVE」について、博報堂ケトルさんにご相談されたことがきっかけです。クリエイティブディクレターの畑中翔太さん(博報堂ケトル)より弊社に、FOVEを世の中に訴求するための企画に関してご相談がありました。

FOVEの最大の特長は、装着したユーザーの視線を追跡できる点にあります。両目の位置にカメラが内蔵されていて、カメラが目の動きを捉えて、カメラ側の画像認識でユーザーの目線を検知します。当時、すでにヘッドマウントディスプレイといえば、Oculus RiftやGoogle Glassなど競合製品がひしめき、認知が広がっていました。その中でクライアントが抱いていた課題は、FOVEに「他社とは異なる魅力を感じてもらうこと」と、「資金を集めて開発を継続していくこと」でした。
今回の制作に関わったメンバーたち。

今回の制作に関わったメンバーたち。

上條:FOVEさん、畑中翔太さん、弊社とフラットな立場で進めながら、2014年4月から6月にかけて企画を構想し、視線追跡型ヘッドマウントディスプレイの活用の可能性について模索を深めていきました。まだこの時点では、初期開発機しか手元にない状態だったため、弊社にとっては、プロダクトが未完成な状態から企画を含めてプロデュースしつつ、プロダクト開発にも関わりながら完成させるという重責のあるミッションでもあったわけです。
装着したユーザーの両サイドにカメラが取りつけられている。それぞれのカメラが目の動きを画像として捉え、感知した内容によって動きの軌跡が追えるようになっている

装着したユーザーの両サイドにカメラが取りつけられている。それぞれのカメラが目の動きを画像として捉え、感知した内容によって動きの軌跡が追えるようになっている

―最終的に、手足の不自由な方々に向けて目線だけでピアノを弾けるようにするというプロジェクトが生まれました。ピアノであり「楽器」に活用する決め手は何だったのでしょうか
上條:目線追跡型ヘッドマウントディスプレイが実現できると、例えば目の動きでシューティングゲームの操作が可能です。いわゆるエンターテインメントに活用する方法も浮かんでいましたが、目だけの動きで操作できるならば、手足に不自由を感じる方々に貢献できるツールとして提供できるかもしれないと考えました。社会貢献や福祉という分野で活用できるものにしたい意向は、もともとクライアントが持つ思いにも合致したので、その方向性で導き出したアイデアが「楽器」でした。

「楽器に活かす」という腹案を携えながら、「さわれる検索」プロジェクトでもお世話になったご縁で、東京都板橋区にある筑波大学附属桐が丘特別支援学校をご紹介いただきご相談しました。その中で、「通常学級であれば、合唱コンクールや卒業式など生徒が合唱をする場では、ピアノ伴奏も含め生徒たちだけで行うのはよくあることですが、特別支援学校の生徒は、動きに不自由があるため、自分たちだけで合唱や演奏ができない」というお話があり、FOVEを通じて演奏できれば、生徒さんたちだけの力で合唱ができるようになる、という考えに至りました。

そこで、クリスマスパーティーにお披露目できるようにすることを目標にプロジェクトが具体化しました。肝心のグランドピアノは、MIDI信号を受信できるピアノをヤマハさんが開発されており、今回のプロジェクトの趣旨にご賛同いただき、無償でお借りできることになりました。

FOVE開発や、演奏者の沼尻光太さんとの出会い

―ここからは、プロジェクトの具体像についての質問です。はじめにプロジェクト名についてです。
上條:手前味噌ながら、プロジェクトの意向や本質が短い言葉に集約されたネーミングになっていると考えています。プロジェクトの記録映像などムービー全般を担当した映像プロダクションのTOKYOさんが名づけてくれました。“目でピアノを弾く”という「Eye(目)Play the Piano」と“私が弾く”という「I(私)」とを掛け合わせています。
森本友理(以下 森本):タイトルを活かして公式サイトのデザインを組みました。プロジェクトの趣旨にあわせた雰囲気やトーンを心がけて設計し、ロゴデザインはシンプルで伝わりやすいト音記号をあしらっています。
北井貴之(以下 北井):サイトの冒頭で再生されるアニメーションは、ロゴがト音記号を意識して作られたものだと伝わる動きにしました。ト音記号がひっくり返るようなシンプルなモーションを取り入れています。
鍛治屋敷圭昭(以下 鍛治屋敷):サイト全体の実装も同様の思いで構築しました。ヘッドマウントディスプレイを使ったプロジェクトだからといって3D表現にはせず、プロジェクトが伝えたい雰囲気を素直に味わえるシンプルなテイストを心がけました。
公式サイトの冒頭では、ト音記号をモチーフにしたアニメーションが再生される

公式サイトの冒頭では、ト音記号をモチーフにしたアニメーションが再生される

―次に、演奏者の確定や練習についての話をお聞かせください。
上條:2014年7月からいよいよ本格的に、目線でピアノを演奏するシステムの開発とプロジェクトの進行に着手しました。弊社がシステム開発のほかに、学校側のやり取りを含めてプロジェクト全体のプロデュースも担いました。

まずはFOVEを使って演奏していただける方を探しました。この取り組みで僕たちがとても大切にしたことは、開発しているのは「楽器」だという点です。楽器である以上、演奏者の努力や練習が不可欠で、「FOVEだから簡単に演奏できる」というわけではないからです。楽器としてFOVEが演奏できるように練習できる方、音楽が好きで興味のある方。加えて、実際に使用した感想を開発関係者にフィードバックできる方……と、理想が高いといわれそうですが(笑)、そうした学生のご協力を考えました。

学校側から何人かのご推薦をいただいた中から、お話などをさせていただき、高等部二年生の沼尻光太さんと進めることになりました。沼尻さんはUKロックが好きで、デジタルデバイスへの関心が高い方で、かつコミュニケーションも円滑な理想的な人物でした。実際、今回のプロジェクトが成功したのは沼尻さんの存在がかなり大きく、彼の努力や才能なくしてはありえません。
―沼尻さんとともに、開発がどんどん具体化していったわけですね。
大橋將史(以下 大橋):7月時点では、FOVEの開発機が1つしかなかったため、弊社が自由に扱える実機がなく、ひとまずはOculus Riftを使って、手探りをしながらインターフェイスの構築をはじめていました。
上條:実機が開発中だったため、やがて完成する精度を想定しながら、進めていきました。特に最初は、どれほど「目の動き」を細かく検知できるものなのかをつかみかねていました。まずは代替機を通して、目の動きと検知する度合いを予測しながら備えておき、実機入手後の作業がなるべくスムーズになるようにしました。
大橋:本来ピアノは10本の指で弾きますが、目線は両目を使って1つの方向を向くものです。あと、単音と和音(コード)それぞれ別のインターフェイスも作らなければなりません。さらに視線は瞬間的に移動してしまうものです。そうした特徴を踏まえながら、「本当に目線の動きでできること」を考え、実用性を阻む問題点を解消するようにしていきました。
グランドピアノは、FOVEからMIDI信号を発信して、演奏できるようになっている。MIDI信号を受け取ったピアノは、実際に弾くのと同じようにハンマーが叩かれながら音が奏でられている

グランドピアノは、FOVEからMIDI信号を発信して、演奏できるようになっている。MIDI信号を受け取ったピアノは、実際に弾くのと同じようにハンマーが叩かれながら音が奏でられている

上條:まばたきについては、当初はハードウェア側で実装予定でしたが間に合わず、ソフトウェア側で大橋が実装しています。そのほか、FOVEの基本アルゴリズムを共有していただき、そのソースコードを読み解きながら、開発、実装していくという工程でした。
大橋:例えばギターであれば、弦が6本ありますが、目的の音を弾くために時間差が生まれますし、上から弾くのと下から弾くのとでは、音の伝わり方が変わってきます。ギターはそうした差や手の動きの早さ、強弱が味となるわけです。今回は制作期間のことがあって、本来楽器それぞれが持つ余韻の要素を音の鳴らし方に取り入れることは難しかったのですが、これからの開発のなかで、将来的に実際の楽器感が提供できるようにしたいですね。

実用性を重視したFOVEのインターフェイス

―コンサート当日には壇上のスクリーンにFOVEのインターフェイスが映し出されていました。インターフェイスはどういった点に留意したのでしょうか。
森本:当初は実機がない状態でしたので、まずは想像しながらインターフェイスをどうすべきかを模索していました。そこで、Oculus Rift案件でよく再現される立体感のある世界観を意識して、空間に音楽記号などが浮かんでいるようなイメージ、クリスマスコンサートという要素も加味して、キラキラした世界をベースにビジュアライズした案をいくつか用意していました。
当初は立体感を意識したデザインを想定していたが、より実用性を重視したデザインへと収斂されていき、最終的には平面的なインターフェイスで展開された。単音と和音とを使い分けられるように、画面の切り替えにも対応したインターフェイスを採用した 当初は立体感を意識したデザインを想定していたが、より実用性を重視したデザインへと収斂されていき、最終的には平面的なインターフェイスで展開された。単音と和音とを使い分けられるように、画面の切り替えにも対応したインターフェイスを採用した

当初は立体感を意識したデザインを想定していたが、より実用性を重視したデザインへと収斂されていき、最終的には平面的なインターフェイスで展開された。単音と和音とを使い分けられるように、画面の切り替えにも対応したインターフェイスを採用した

森本:沼尻さんのフィードバックを受けて、立体感よりも平面的で、かつある程度鳴らしたい音の的が大きくないと実用性が高まらないことがわかり、平面上に大きめの8つのパネルが並ぶインターフェイスを採用しました。
―実用性があってのFOVE、ですからね。
上條:はい。平面的にしたことで、演奏の精度がぐっと上がりました。沼尻さんだけでなく、肢体不自由の方は両手両足のほかに、首まわりの動きも障がいを併発されていることがあるようで、本当に使っていただきたいみなさんの実用性を追求しました。こうしたことは、沼尻さんの貴重なフィードバックがあってこそ、初めて気づけたことでした。
大橋:制作チームの中には、インビジブル・デザインズ・ラボの松尾謙二郎さんをはじめ、日ごろから音楽に携わっている人もいました。ですので、「実際にできること」と「音楽として、ここまではすべきこと」とのせめぎ合い、妥協点の模索がとても難しい作業でした。FOVEでは被写界深度も表現できるので、奥行きを使った操作も実現したかったのですが、今後の開発にはぜひ活かしたいですね。
―沼尻さんとはどのようにして練習を積み重ねてきたのでしょうか。
上條:7月の初期開発機の段階から、当初は週に一日程度、11月に入ってからはほぼ毎日、沼尻さんは練習していました。
村石健太郎:沼尻さんの練習には常に帯同していましたが、毎日の上達のスピードが格段に早い方でした。努力とともに成功に向けた意思の強さを感じさせる日々でした。実際に操作をするとわかりますが、いきなり渡されてできるものではありません。まさしく楽器です。僕もやってみましたが、まったくうまくいきませんでした。
上條:世界で唯一の、目線でピアノを演奏するパフォーマーが沼尻さんです。
リズム感を磨くソフトウェアで練習を重ねるなど、沼尻さんは本番当日に向けた準備を着実に進めていた。リズム感を養うソフトウェアは松尾謙二郎さんが本プロジェクト用に自前で開発したものを活用した

リズム感を磨くソフトウェアで練習を重ねるなど、沼尻さんは本番当日に向けた準備を着実に進めていた。リズム感を養うソフトウェアは松尾謙二郎さんが本プロジェクト用に自前で開発したものを活用した

今後に向かって、プロジェクトが目指すこと

―本番ではピアノの調整で中断する時間帯はありましたが、コンサートは成功を迎えられました。
上條:PR会社のご協力もあって、当日はテレビ局や雑誌媒体などの取材が想像以上にありました。報道陣のみなさんの数は想定を超えていたため、回線が混線したり、予行練習時とは違うライティング(光量)でFOVEの画像認識に狂いが生じてしまいました。そういった状況でも、沼尻さんはトラブルにも動揺せず、冷静に演奏していたのは見事でしたね。
2014年12月18日(木)、クリスマスコンサートでは沼尻さんの演奏とともに合唱が披露された。曲目は「もろびとこぞりて」など。当日直前には、ピアノのペダル操作が頭の傾きで実現できるようになったので、急遽沼尻さんがペダル操作も習得して、本番当日はペダル操作も含めた演奏を披露した

2014年12月18日(木)、クリスマスコンサートでは沼尻さんの演奏とともに合唱が披露された。曲目は「もろびとこぞりて」など。当日直前には、ピアノのペダル操作が頭の傾きで実現できるようになったので、急遽沼尻さんがペダル操作も習得して、本番当日はペダル操作も含めた演奏を披露した

―今後、このプロジェクトはどう発展していくのでしょうか?
上條:2014年12月18日から2015年3月31日まで、クラウドファンディングのJapanGivingを使って、寄附を募り、おかげさまで目標金額の100万円を超えることができました。全国には特別支援学校が135校あり、まずは第一弾として35校を目標にFOVEの実機とアップデートしたシステムを届けたいと思っています。その開発費をドネーションで募らせていただきながら、プロジェクトを次のフェーズに進めていきたいと思っています。

どうしても弊社だけではやれることが限られています。以前「さわれる検索」では文部科学省の認可プロジェクトとなりましたが、今回はすでに大学など教育機関からのお問い合わせが入っています。クラウドファンディングや国、大学をはじめ教育機関などを通じて、この仕組みがもっと普及してほしいと思っています。
大橋:インターフェイスをもっと充実させたいですし、ハードウェアとともにソフトウェアの進化をさせて、もっとリッチに演奏できるようにしたいです。じつは沼尻さんは、コンサートでのお披露目曲(「もろびとこぞりて」など)以外に、ご自身が好きだというUKロックなどの曲目もいくつか弾けるようになっています。僕も音楽をやってきた人間ですので、一度沼尻さんとは練習と称してこっそり渋谷のスタジオを借りて、セッションを実現したほどです(笑)。今後は沼尻さんとバンドを組んで、もっとできる曲目を増やしたいです。
―最後に、コンサートを終えての総括をお願いします。
北井:この案件は沼尻さんあってのプロジェクトです。それぞれの持ち場、役割の人間が、常にプロジェクトの原点に立ち返りながら、僕たちの勝手な思い込みで過剰な演出とならずに進めていくことを心がけました。
鍛治屋敷:弊社の役割として、テクニカル面とイベント運営、PRといった側面をうまくつなぎながら進行できたという貴重な体験ができました。
上條:ソフトウェア開発という技術面でのご協力はもちろんですが、僕らの今までの知見や経験を活かした、いわゆるWebを制作するという業務を越えたイベントのプロデュースや運営にも携わることができました。イベントやプロジェクト全体をあらゆる側面でサポートし、実現に結びつけることができた素晴らしい機会になったと考えています。
 

遠藤義浩

編集者。月刊誌『Web Designing』(マイナビ)など、主にWeb関連をテーマに扱う媒体で編集を務める。