META REALITYのご紹介: バーチャル世界と現実世界を融合させるために必要なテクノロジーについて

複合現実(MR)は、生産性向上や同僚とのリアルタイムでの共同作業から、友達や家族との交流、想像を超えた新しいタイプのゲームやインタラクティブなアプリに至るまでさまざまなユニークな体験への扉を開きます。VRはデジタル環境への完全な没入感をもたらす一方で、バーチャルコンテンツを楽しみながら、実際の空間を自由に動き回ってそこに存在する人と交流したり物体を操ったりできるMRは、これまでにない新しい方法で現実世界が拡張されたARのような体験をVRで実現します。

MetaプロダクトマネージャーのSarthak Rayは、以下のように説明しています。「身の回りの現実世界を見ながら、そこに溶け込んだバーチャルコンテンツを体験できるようになることで、同じ物理空間で友達と一緒にプレイできるコロケーション型のゲームや、大画面のバーチャルモニターと物理的なツールの組み合わせによる生産性向上など、MRによって新たな機会が今日のVRにもたらされます。これは拡張現実（AR）に向けたMetaの長期的ビジョンの最初のステップです。」

現実世界の高解像度の動画フィードをリアルタイムでヘッドセット内に映し出すだけでMRは実現可能だという誤解がありますが、実際はそれほど簡単ではありません。リアルなMR体験を実現するには、バーチャルと現実世界をうまく融合させることができなければなりません。つまり、周囲環境を単に2D動画で表示すること以上のことがヘッドセットには求められるのです。ヘッドセットは部屋の中にある物体や表層を認識しながら実際にその部屋を3Dデジタルで再現できなければなりません。そのためには、高解像度センサーのパススルーやAIが実現するシーン認識、空間アンカーといった複数のハードウェアとソフトウェアにおけるテクノロジーすべてがシームレスかつ安定した形で連動する複雑なシステムが不可欠です。

Metaは、広く生活者に提供できる最先端のVRテクノロジーを、人を最優先に考えたデザインで作り上げるために、独自の研究開発に継続的に投資しています。こうした取り組みにおいて、Metaは利用者が周囲環境をどう認識するかについて理解を深めて、その認識を、VRとMRの可能性への期待を高める没入感に満ちた体験につなげたいという思いから、これらのテクノロジーを細部にこだわって作り込んでいます。今回、Metaのユニークな複合現実システムの新たな名称「Meta Reality」をご紹介するとともに、まさに最高クラスのMR体験について、その具体的な内容を説明します。

ステレオスコピックカラーパススルーによる空間認識

真のMR体験にとって何よりも重要なのは、快適さと自然な視聴体験です。奥行き感を伝えることのできないダイレクト動画フィードでは、それが高解像度であろうとも、このようなMR体験を実現することはできません。また、パススルーがモノスコピック(単一の視野角からの視聴)であったり、奥行きの手がかりが不十分であったりする場合にも、ヘッドセットを装着した利用者に不快感を与えることがあります。パススルーの快適さを高めるには、個々のアイバッファに表示される画像が、立体視の手がかりとなる2つの別々の角度から生成される必要があります。これに加え、奥行き感や色の情報があることが、快適な体験を再現するために重要です。

こうした課題を克服するために、Metaのステレオスコピックカラーパススルーソリューションには、カスタムハードウェアアーキテクチャ、高度コンピュータービジョンアルゴリズム、およびヘッドセットを装着した利用者が自然な状態でどのように周囲環境を見ているかをモデル化する最先端の機械学習が導入されています。カメラとディスプレイの解像度が高ければ画質も向上し、Meta Quest ProのカメラはMeta Quest 2のカメラの4倍の画素数を捉えます。しかし、より重要と考えられるのは、画像ベースのレンダリング、ステレオジオメトリの再現、奥行きの認識によって、所定の部屋内のシーンに対する物体の相対位置が確立されることです。このような新しいアルゴリズムスタックにより、Meta Quest Proは部屋のジオメトリの側面を特定して、3D空間における物体の位置を正確に示すことができます。例えば、ステレオスコピックカラーパススルーを通してデスクの上のコーヒーカップを手にとろうとするとき、脳はすぐ側にあるペンよりも遠くの場所にそのカップが存在することを認識できるのです。

MetaコンピュータービジョンエンジニアリングマネージャーのRicardo Silveira Cabralは、以下のように説明します。「Meta Quest Proは2つのカメラ視野を組み合わせて現実的な奥行き感を再現します。これにより、カラーパススルーを使用して構築されたMR体験が人々にとって快適なものになります。」また、以下のようにも述べています。「ステレオテクスチャーによる手がかりによって、奥行きの再現が完璧でない場合やシステムの能力範囲を超えている場合でも、利用者の脳は残りの処理を行い、奥行きを推測することができます。」

VRのコンシューマーデバイス向けに「インサイドアウト」トラッキングをフル装備した初のスタンドアローンシステムを実現したMetaのテクノロジーOculusインサイトを覚えていらっしゃいますでしょうか。Metaは、その奥行き検出機能を改良して、所定の空間の高密度な3D表現をリアルタイムに生成できるようにしました。Oculusインサイトでは部屋内の約100の検出対象点を使って、その空間におけるヘッドセットの正確な位置を特定しますが、Meta Quest Proに搭載された奥行き検出ソリューションは、自然光や人工光などさまざまな照明条件下において最大5メートル離れた場所に対してフレームあたり最大10,000に及ぶ検出対象点を生成することができます。この情報に基づき実際の空間の3Dメッシュを作成し、それをいくつかのフレームにまたがって組み合わせることで、高密度な3Dと一時的に安定した空間表現を生成できるようにしました。このメッシュは、現実世界の画像を作り出すために予測的レンダリングにも活用されます。具体的には、レンダリングの遅延を補正するために数ミリ秒後の装着者の目の位置を予測するMetaの非同期タイムワープを使用して、再現されたものがヘッドセットの左目と右目用のビューに別々にワープされます。

そして最後に、色を加えることで体験全体の雰囲気に現実味を高めています。Silveira Cabralは以下のように述べています。「ステレオスコピックビューをカラーにして、できる限り現実世界に忠実な体験を実現するために、カラーカメラが採用されています。このアーキテクチャに加えて、パイプライン全体で複数の最適化を実施することで、Meta Quest Proにおいて、既存のすべてのMeta Quest 2向けタイトルや今後リリースされるMRアプリを、追加のコンピューターリソースを必要とすることなく、ステレオスコピックカラーパススルーをデフォルトの体験として提供できるようになります。これは、Meta Quest 2でパススルーを使用する既存のアプリも、新しいステレオスコピックカラーパススルーテクノロジーにすぐに対応できることを意味します。」

これらすべてのことを踏まえると、Meta Quest Proのステレオスコピックカラーパススルーは、奥行きの認識と、モノスコピックのソリューションよりも少ない視覚的な歪みを実現することでより心地よい体験をもたらし、部屋規模の空間において質の高いMR体験を可能にするものであるといえます。

バーチャルコンテンツを現実世界に溶け込ませるシーン認識

Connect 2021でプレゼンスプラットフォームの一環として紹介したシーン認識により、開発者は周囲環境とのより豊富なインタラクションを実現し、シーンを認識しながら楽しめる複雑なMR体験をすばやく構築できるようになりました。

MetaプロダクトマネージャーのWei Lyuは、以下のように述べています。「複雑さを最小限に抑え、開発者が体験の構築とビジネスの成長に注力できるよう、シーン認識をシステムソリューションとして導入しました。」

• シーンモデルは、幾何学情報と意味情報で構成され、システムによって管理される単一の包括的かつ最新の環境表現です。シーンモデルの基本要素はアンカーで、各アンカーにはさまざまなコンポーネントのアタッチが可能です。例えば、利用者のリビングルームは、フロアや天井、壁、デスク、ソファなどの意味ラベルがアタッチされた個々のアンカーによって構造化されます。また各アンカーには、2次元の境界線や3Dの境界ボックスといったシンプルな幾何学的表現もアタッチされます。
• シーンのキャプチャは、利用者が自分の部屋を歩き回ってその部屋の構造や家具をキャプチャすることでシーンモデルを生成できるようにするシステム誘導型のフローです。将来的に、Metaは手動による周囲環境のキャプチャを必要としない、シーンのキャプチャの自動バージョンを提供することを目指しています。
• シーンAPIは、コンテンツの配置や物理演算、ナビゲーションなどさまざまな用途のために、アプリがクエリを実行したり、シーンモデルにおける空間情報にアクセスしたりできるようにするインターフェイスです。シーンAPIによって、開発者はシーンモデルを活用して、現実の部屋の壁にバーチャルのボールを跳ね返させたり、現実の壁を縮小・拡大できるバーチャルロボットを作成したりできます。

「シーン認識によって、開発者はリアルタイムのオクルージョンと衝突のエフェクトを用いて現実のような没入感を最大限に高めたMR体験をより少ない手間で構築できるようになりました。」とSarthak Rayは述べています。

バーチャルオブジェクトの配置に活用される空間アンカー

空間アンカーについて、MetaプロダクトマネージャーのLaura Onuは、以下のように説明します。「現実世界とバーチャル世界を融合させたMR体験の実現において、困難な課題の克服に貢献したのがステレオスコピックカラーパススルーとシーン認識であるとすると、アンカー機能はそうして実現したMR体験を維持する役割を担う結合組織であると言えます。」

空間アンカーは、開発者が最高クラスのMR体験の構築に着手するうえで役立つコア機能です。アプリでは、この機能を利用することによって、空間に座標系またはピンを作成して、バーチャルオブジェクトをその空間の所定の位置に一定の期間固定することができます。空間アンカーにより、プロダクトデザイナーは『Gravity Sketch』で複数の3D図を固定することができるようになり、また友達のグループで『デメオ: ダンジョン アドベンチャー』でのゲームワールドをテーブルに固定して後日プレイするときも同じ設定でゲームを続行できるようになります。

空間アンカーはシーンモデルアンカー(壁、テーブル、フロアなど)と組み合わせて使用することで、部屋規模の空間において充実した体験を創出したり、自動配置を実装したりできます。つまり、ゲームプレイと生産性向上の両方を目的とした空間レンダリングのキャンバスとして利用者の部屋を捉えることができるのです。そのため、開発者はバーチャルのドアを現実世界の壁に固定することもできます。利用者にとってそれは独自のアバターを使って飛び込むことができる完全な没入感のあるバーチャル世界への扉となります。また、そのアバターを使って現実の空間に戻ることもできます。

Laura Onuは、以下のように述べています。 「シーン認識を空間アンカーと組み合わせることで、MR体験を装着者の環境に反映させて溶け込ませ、可能性に満ちた新たな世界を創出できるようになります。自宅のリビングにいながらシークレットエージェントになることも、バーチャルの家具を配置したり自宅の増築プランをスケッチしたりすることも、物理ゲームを作ることもできるようになるのです。」

空間アンカーを共有してコロケーション体験を実現

最後に紹介するのは、プレゼンスプラットフォームへの共有空間アンカーの導入です。共有空間アンカーにより、自分が作成したアンカーを同じ実際の空間にいる他の人と共有できるようになります。また開発者は、複数のユーザーのために、空間が固定された共有の枠組みを作成することで、ローカルでのマルチプレイヤー体験を構築できるようになります。例えば、2人以上の利用者が実際のテーブルに座り、そのテーブルの上でバーチャルのボードゲームをプレイすることができます。 詳しくはこちらをご覧ください。

MRの成功につながる組み合わせ

有意義な真のMR体験を提供するには、ステレオスコピックカラーパススルー、シーン認識、空間アンカー、共有空間アンカーに加え、リアルタイムのオクルージョンと衝突のエフェクト、オブジェクト検出、照明に関する情報を1つのパッケージとして組み合わせる必要があります。パフォーマンスコスト、コンピューティング、サーマル環境などにまつわる制限に留意しながらこれらすべてを連携させて利用する必要があります。だたし何よりも重要な鍵となるのは快適な体験を提供することです。

MetaプロダクトマネージャーのAvinav Pashineは「テクノロジーの分野ではトレードオフはつきものです」という認識を示したうえで、以下のように述べています。「Metaの現在のソリューションは完璧ではありません。しかし、コンピューティングの性能を維持しながら、利用者にとっての快適さを最大限に高めることができるため、より充実したツールを開発者に提供することができます。」

これは始まりにすぎません。Meta Realityは、ソフトウェアアップデートを繰り返しながら、また将来のMeta Quest製品におけるハードウェアの進歩とともに進化し続けます。

「Meta Quest ProはMRという新しいテクノロジーのエキサイティングな可能性を探るMRデバイスの第一弾です。VRヘッドセットでできることを塗り替える魅力的な体験を構築している開発者と一緒に学んでいきたいと思います。これはまだ未完のストーリーです。最初の1ページに過ぎません」とSilveira Cabralは付け加えています。