フォビエイテッドストリーミングとは？Apple Vision Proが採用した次世代VR描画技術の仕組みを解説

Apple Vision Proが「フォビエイテッドストリーミング」に対応したというニュースが飛び込んできました。もともとValveのSteam Frameで注目を集めていた技術ですが、Appleが採用したことでVR/MR業界全体に波及しそうな動きです。

この技術、聞き慣れない名前かもしれませんが、VRの描画効率を劇的に向上させるポテンシャルを秘めています。どんな仕組みなのか、整理してみました。

フォビエイテッドストリーミングとは

フォビエイテッドストリーミング（Foveated Streaming）は、ユーザーの視線が向いている中心部分だけを高解像度で描画・配信し、周辺部分の解像度を下げることで、帯域幅と計算リソースを大幅に節約する技術です。

人間の目は中心窩（fovea）と呼ばれる網膜の一部分でしか高解像度の視覚情報を処理できません。視野の端に行くほど、実は解像度はかなり落ちているんですよね。この人間の視覚特性を活用しているわけです。

VRヘッドセットに搭載されたアイトラッカーがユーザーの視線位置をリアルタイムで検出します。Apple Vision Proは高精度なアイトラッキングを標準搭載しているので、この技術との相性は抜群です。

視線の中心付近は最高解像度でレンダリングし、そこから離れるにつれて同心円状に解像度を段階的に下げていきます。ユーザーが視線を動かすと、高解像度領域もリアルタイムで追従する仕組みになっています。

この技術がストリーミングで特に威力を発揮するのは、転送データ量を劇的に削減できる点です。画面全体を4K以上の解像度で配信する代わりに、注視点周辺だけを高解像度にすることで、必要な帯域幅を50〜70%削減できると言われています。

フォビエイテッドレンダリング自体は以前から研究されていた技術ですが、ストリーミングに特化した実装で注目を集めたのはValveのSteam Frameでした。PCでレンダリングした映像をVRヘッドセットにストリーミングする際に、この技術を使って遅延と帯域を同時に改善しています。

Apple Vision Proがこの技術を採用したことは、大きな意味を持ちそうですね。Apple Intelligenceをはじめ、Appleが推進するAI×ハードウェア統合の文脈でも、計算リソースの効率的な配分は重要な課題です。

フォビエイテッドストリーミングが普及すれば、VRゲームやメタバース体験のハードルが大きく下がる可能性があります。現状ではハイエンドGPUが必要な高品質VR体験が、一般的なスペックのPCやクラウドレンダリングでも実現できるようになるかもしれません。

スペクトラルレンダリングのような高精度な描画技術と組み合わせることで、視覚的なリアリティを保ちながらパフォーマンスを確保するという、これまで両立が難しかった課題に解が見え始めています。

一方で、常時アイトラッキングを行うということは、ユーザーの視線データが常に収集されるということでもあります。どこを見ているか、どれくらいの時間見つめているかといった情報は、極めてセンシティブな個人データとなりえます。

WiFiセンシングの監視リスクと同様、利便性の裏にあるプライバシーリスクは意識しておきたいポイントですね。

フォビエイテッドストリーミングは、人間の視覚特性を巧みに利用したVR描画技術です。Apple Vision Proへの採用により、この技術は今後のVR/MRデバイスにとっての標準機能になっていく可能性が高いと感じました。

帯域節約、レイテンシ低減、描画品質の維持を同時に実現するこのアプローチは、VRの普及を阻んでいた「重い・遅い・高い」という3つの壁を同時に崩す技術として注目していきたいですね。