今回ご紹介するのは、AR技術を使ってバーチャルピアニストを出現させるアプリ「AR Pianist」です。
医師であり、ソフトウェア起業家であり、3DアーティストでもあるFayez Salka氏の最新アプリ「AR Pianist」では、機械学習を使用して、仮想ピアニストを現実に存在するピアノに重ね合わせます。このアプリはどんなピアノでも動作し、受賞歴のあるピアニストによって演奏された曲のライブラリを備えているとのことです。
この動画では、Salka氏がピアノ店を歩きながら、携帯電話のカメラを様々なピアノに向けている様子が映し出されています。すると瞬時に、ARピアニストが現れ、対応する音符の楽譜がリアルタイムで底面を横切ってスクロールしながら、受賞歴のあるピアニストのさまざまな曲を演奏し始めます。
このアプリは機械学習を使ってピアノを検出し、1cmの精度で3D空間内のピアノの正確な3D位置と向きを把握します。これは、3D奥行きカメラを使わずに、1つのフレームを見るだけで行うことができるとのことです。
Salka氏はこのアプローチについて、「デジタルピアニストをピアノの正しい位置に正確にオーバーレイして配置することが非常に重要です」と述べ「このアプリでは、特別なイメージターゲットやマーカーを使用したり、ピアノモデルを事前にスキャンしたりする必要がなく、どのような照明条件でもどのようなピアノモデルやブランドでも動作することができます」と語りました。
このアプリはまだiOSストアでは提供されていませんが、Salka氏と彼のパートナーであるMassive Technologies Inc.のAnas Wattar氏は、スマートフォンやARヘッドセットでピアノ音楽を体験する新しいツールとして、また音楽教育に役立つリソースとして、AR体験の可能性を見出しています。
・楽器店
・ピアノ教室
参照元:Video Of An AR Pianist Playing A Real Piano Is Going Viral
アイデアクラウドの計測系ARに特化したサイトです。
業務の中に先端テクノロジーを取り入れたビジネス展開を
中心に紹介をしています。