Y2 PROJECT

Audio Beat Sync

人の刻むビートを追従する技術 "Audio Beat Sync"

音楽の鼓動であるビート。もし、人が演奏するビートに機械が合わせてくれたなら。たとえば、どんどん情動的に、どんどん速くビートを刻むバンドとシンクロして、ステージを盛り上げる映像や照明。もしくは、子供が陽気に叩くタンバリンに合わせて踊るロボット。そんな、人のきまぐれに一緒に付き合ってくれる機械があれば、音楽の楽しみ方もより増えるはず。

しかし、そのためには演奏される音から、ビートを逐次検出する必要があります。そこで、リアルタイムで演奏される音からビートを検出する技術 Audio Beat Sync を作りました。

もうちょっと詳しく

Audio Beat Syncは、パーカッション/ドラム/バンド演奏の音を入力すると、ビートをリアルタイムに検出する技術です。検出されたビートを外部機器と同期させることで(※1)、音楽・演奏者を主体とした表現を可能にします。

Infographics-blockdiagram.png
本技術は、音を入力すると、「いつ音が立ち上がっているのか」という情報と「現在どれくらいのテンポで演奏されているか」という情報を音響信号の解析から得ます。また、音響信号の解析に加え、過去のビート位置やテンポのもっともらしさに基づいて、現在のテンポのビート位置を同時に推定します。さらに、人間の認知機構のエッセンスを取り入れた処理により、極力自然な推定を算出します。

※1:Open Sound Control (OSC) や MIDIクロックなどで実現可能

どういう使い道があるの?

様々な応用が考えられます。以下はほんの一例です。

演奏
・電子楽器のエフェクトを演奏音に同期する(例: MONTAGE
・ドラマーにDAWやシーケンサを同期
・VJ機器のエフェクトや再生速度をバンド演奏に同期

コンテンツ制作
・音楽に連動したモーションデータの制御(例: ダンスCGの制御
・音楽に合ったロボット動作のコンテンツ制作
・花火・動画・照明のコンテンツ制作の前処理

ヘルスケア / IoT
・走るペースに合った音楽の提示

本技術は、タブレット端末や組込機器など、幅広い動作実績があります。
本技術にご興味のある方は、Y2プロジェクトまでお問い合わせください。

関連技術:「弾いている曲の位置」に合わせる技術「スコアアライメント