ミュージックスコープパッドは、VR空間で複数の映像を再生することで、見たい映像を素早く見つけることができるツールです。アプリを起動するとiPadの方向に応じて、iTunesStoreの複数の映像があなたを囲むように提示されます。見たい映像を探し、その方向へ耳を澄ませるようなポーズをすることで、その映像が選択されます。AIと仮想現実(VR)、空間音響を使った映像探索を体験してください。
イヤフォンやヘッドフォンを装着して、ミュージックスコープパットの再生ボタンを押してみましょう。すると、あなたを取り囲むように10個の映像が再生開始します。iPadの画面上で見えているのは5つの映像ですが、あなたを中心に、iPadを左右に動かすと、右や左、後ろにあった映像を画面上で見ることができます。
特定の映像の音を強調したい場合には、耳を澄ませるポーズをしてみましょう。正面の映像が強調されて聴こえるようになります。正面の映像をしばらく見ていると、その映像が選択され、大きなサイズで再生を開始します。再生を止めて再度探索したい場合には、手のひらをiPadに向けてください。
検索窓にキーワードを入力することでiTunesStore内の映像を検索することができます。
検索できる映像はiTunesStoreのMusicVideoのサンプル映像です。
【開発経緯】
理化学研究所 革新知能統合研究センター 音楽情報知能チームでは、AIを使った音楽の新しい創り方、聴き方の可能性を探求しています。ミュージックスコープパッドは、膨大な中から自分の好みの映像を見つけることを考えて作られたアプリケーションです。
このような音楽の聴き方が、多くの方に受け入れられるかの調査を兼ねてアプリの公開をしています。アプリをしばらく使ってアンケートのお願いが出ましたらどうぞご協力ください。今後、曲の追加を予定しています。アプリおよび技術に興味のあるかたは、サポートURLよりご連絡ください。