Y2 PROJECT

  • HOME
  • PROJECT
  • Score Alignment
  • 「人工知能演奏システム」による機械と人間との演奏コラボレーション

2016.04.18

「人工知能演奏システム」による機械と人間との演奏コラボレーション

機械が人の演奏に「合わせてくれる」技術 "スコアアライメント"。これまでもキャラクター『初音ミク』が、人が演奏するピアノの音を聴きながらラジオ体操をする様子をご紹介してきました。

今回はこの技術を発展させ、遥かにスケールの大きなコラボレーションを実現しました。なんと、機械とベルリンフィル・シャルーンアンサンブルとの演奏コラボレーションです!しかも機械といっても、演奏してくれるのは20世紀末に亡くなった巨匠リヒテル!一体なんのことやら、と思われている方も多いことでしょう。詳しくご説明いたしましょう。

richterrichter
スヴァトスラフ・リヒテルとベルリンフィル・シャルーンアンサンブル

今回登場するのは自動演奏ピアノDisklavier™(機械)と、生身の人間であるベルリンフィル・シャルーンアンサンブルの4名。残念ながら、リヒテルが舞台袖から登場することはありませんが、Disklavierがリヒテルの演奏を忠実に再現します。とはいえ、アンサンブルとはお互いにアイコンタクトを取りながら、音を聴きながら、息を合わせてその場で音楽を作っていくものです。誰か一人でも無視して勝手に演奏するならば、音楽はバラバラになってしまいます。機械と人がどのようにアイコンタクトを取るのでしょうか。どのようにお互いの音を聞くのでしょうか。どのように息を合わせるのでしょうか。そこが、今回のアンサンブルの肝となる「人工知能演奏システム」です。

仕組みは簡単です。各弦楽器奏者の演奏音とジェスチャーをマイクとカメラで取得し、人工知能演奏システムがそれらを逐次理解し、次の瞬間の演奏を予測してDisklavierに演奏のタイミングを指示します。ピアノの演奏は、Disklavierで音を奏で、プロジェクターで視覚情報を生成して弦楽器奏者に伝えます。

richter

それに加えて、事前にベルリンでリハーサルを繰り返し、今回のシャルーンメンバーの演奏の特徴を抽出してシステムに反映させました。これらは、人間が演奏会本番までにやっていることと基本的には同じです。

richter人工知能演奏システムとシャルーンアンサンブルによるリハーサル

richter開発者を交えた打ち合わせ


このような技術を通して、そしてリハーサルや打ち合わせを経て、ピアノ主導または弦楽器主導でジェスチャーを交えながら演奏を開始したり、ピアノの長いお休みの間も弦楽器の音を聴いて演奏位置を追いかけたり、お互いのテンポを主張しつつも聴き合って1つの音楽の流れを作ることが可能となりました。

では、人工知能演奏システムでリヒテルの演奏をいじってしまったのだから、これはもはやリヒテルの演奏ではないのでしょうか。この点も重要なポイントです。今回のコンサートは、もしリヒテルがシャルーンアンサンブルのメンバーと共演したらこうなるだろう、をお届けすることが目的です。そのため、音の強さやフレーズ表現はリヒテルのオリジナル演奏のままにして個性が壊れないようにしている一方で、テンポと音のタイミングについてはシャルーンアンサンブルと合わせながら演奏します。あまり人間に合わせすぎてはいけない部分、ぴったり合わせなければならない部分、逆に合わせてはいけない部分で柔軟に振る舞いを変える必要があるのです。大切なのは、リヒテルらしさを残しつつ、シャルーンアンサンブルといかに対等に共演するのかということです。

ベルリンでリハをした後、ベルリンフィル・シャルーンアンサンブルメンバー代表のRiegelbauer氏は次のようにコメントしました。「チャレンジングな共演を楽しんだ。リヒテルと我々の個性が失われることなく未来への可能性を探求しましょう。リヒテルに東京で再開するのを楽しみにしています。」演奏家の生み出した音楽をただ忠実に再現するのではなく、演奏者の本来の意図をふまえつつインタラクティブにコンテンツを再活用する未来、自らの演奏表現を時に助け、時に広げてくれる、いわば楽器が自分に合わせてくれるパートナーに進化する未来はすぐそこに近づいています。

リヒテルとベルリンフィル・シャルーンアンサンブルの生み出す一期一会のライブ演奏を楽しみたい方は、2016年5月19日(木)に東京藝術大学奏楽堂(東京都台東区)にて開催される演奏会「音舞の調べ~超越する時間と空間~」(主催:東京藝術大学、東京藝術大学COI拠点)へお越しください。

音舞の調べ~超越する時間と空間~: http://www.geidai.ac.jp/container/sogakudo/42959.html
チケット購入はこちらから: http://www.confetti-web.com/detail.php?tid=33534&
ヤマハニュースリリース: http://jp.yamaha.com/news_release/2016/16041501.html