Y2 PROJECT

Score Alignment

機械が人の演奏に「合わせてくれる」技術 "スコアアライメント"

スコアアライメントって何?

「この曲弾くよ!」と弾く曲の楽譜データを指定し、マイクに向かって演奏すると、 今「どこを弾いているか」を逐次教えてくれる技術です。楽譜版GPSのようなものです。

どんな事ができるの?

本技術の応用事例として、映像同期のコンセプトデモを作りました。 キャラクター『初音ミク』がピアノ演奏に合わせてラジオ体操をします。 動作を滑らかにするための数理モデルを導入することで、人の演奏に対して自然に体操が追従します。

この動画では、人の演奏に合わせて『初音ミク』が踊ります。 スコアアライメント技術を用いることで、演奏されるテンポの抑揚や演奏位置の移動に対しても、柔軟に追従します。 特に、『フェルマータ機能』を用いて、音を伸ばす箇所を予め指定することで、音を伸ばして弾いても動画を合わせることができます。 また、演奏を間違えても、どこを弾きたかったのかを汲み取るので、適切に追従を続けることができます。

この動画のもう一つのポイントは、演奏者の弾き方によって、『初音ミク』が違う応え方をすることです。 例えば、速いテンポで演奏すると慌て、遅いテンポで演奏すると苛立ちます。 このように、弾き方の違いに応えてくれることで、今までにないインタラクションの可能性が生まれます。

仕組みは?

scalign-fig-overview.png まず、楽譜の各位置において出力しうる音の特性を計算します。 次に,マイクから逐次入力される音を分析し、楽譜の各位置に対する音の特性と照合します。 最後に、「楽譜上の位置は滑らかに移動する」といった音楽的な制約と統合することで、最終的な楽譜の位置を割り出します。

人間のように、音を『聴く』ことで楽譜上の位置を特定するので、 曲の途中から弾き始めても、演奏のペースが揺らいでも、 演奏を間違っても、気分を変えて全然違う箇所を弾き始めてもちゃんと演奏位置を特定します。

この技術の良さは?

追従性能が高いことにはもちろんですが、それに加えて2点あります。 まず、「映像との同期」に着目した自然な動画再生を実現するための調整を入れています。 これにより、演奏に追従しつつも自然な動画再生が実現できます。 また、演奏位置以外にも、「楽譜に対して速すぎる・遅すぎる」、 「どこを弾いているのかよく分からない」といった副次的な情報を出力できますので、 ユーザの「弾き方」に対して多種多彩な「応え方」をすることが可能になります。

他に使い道はないの?

様々な応用が考えられます。 例えば、映像の代わりに音と同期させ、 演奏者に追従する自動伴奏システムも開発しています。 また、演奏に合わせて適切に楽譜のページをめくることで、 電子楽譜の自動譜めくりが実現できます。 さらに、演奏に合わせて運指の動画を表示する教則ビデオも作ることができます。

本技術にご興味のある方は、Y2プロジェクトまでお問い合わせください。