その場にあるピアノに、ARピアニストが出現して演奏する！「AR Pianist」

今回ご紹介するのは、AR技術を使ってバーチャルピアニストを出現させるアプリ「AR Pianist」です。

ピアノにカメラを向けるとARピアニストが現れる

医師であり、ソフトウェア起業家であり、3DアーティストでもあるFayez Salka氏の最新アプリ「AR Pianist」では、機械学習を使用して、仮想ピアニストを現実に存在するピアノに重ね合わせます。このアプリはどんなピアノでも動作し、受賞歴のあるピアニストによって演奏された曲のライブラリを備えているとのことです。

この動画では、Salka氏がピアノ店を歩きながら、携帯電話のカメラを様々なピアノに向けている様子が映し出されています。すると瞬時に、ARピアニストが現れ、対応する音符の楽譜がリアルタイムで底面を横切ってスクロールしながら、受賞歴のあるピアニストのさまざまな曲を演奏し始めます。

このアプリは機械学習を使ってピアノを検出し、1cmの精度で3D空間内のピアノの正確な3D位置と向きを把握します。これは、3D奥行きカメラを使わずに、1つのフレームを見るだけで行うことができるとのことです。

音楽業界におけるAR体験の可能性

Salka氏はこのアプローチについて、「デジタルピアニストをピアノの正しい位置に正確にオーバーレイして配置することが非常に重要です」と述べ「このアプリでは、特別なイメージターゲットやマーカーを使用したり、ピアノモデルを事前にスキャンしたりする必要がなく、どのような照明条件でもどのようなピアノモデルやブランドでも動作することができます」と語りました。

このアプリはまだiOSストアでは提供されていませんが、Salka氏と彼のパートナーであるMassive Technologies Inc.のAnas Wattar氏は、スマートフォンやARヘッドセットでピアノ音楽を体験する新しいツールとして、また音楽教育に役立つリソースとして、AR体験の可能性を見出しています。

おすすめのAR活用シーン

・楽器店
・ピアノ教室

参照元：Video Of An AR Pianist Playing A Real Piano Is Going Viral