AIをスマートフォンやIoTデバイス上で直接動かしたい。そんなニーズが増えています。GoogleのLiteRT（旧TensorFlow Lite）はオンデバイスAIの標準フレームワークに進化しました。しかし、名前が変わっただけではありません。そこで今回は、LiteRT Universal Frameworkの特徴と導入の実務ガイドを解説します。

LiteRTとは何か – TensorFlow Liteからの進化

LiteRTはLite Runtimeの略です。つまり、TensorFlow Liteの後継フレームワークです。2024年にリブランドされました。しかし、単なる名前の変更ではありません。

具体的には、マルチフレームワーク対応が最大の進化です。従来のTensorFlow Liteはその名の通りTensorFlowモデルが前提でした。しかし、LiteRTはPyTorch、TensorFlow、JAXからのモデル変換に対応しています。つまり、どのフレームワークで作ったモデルでもオンデバイスで動かせるのです。

さらに、パフォーマンスも向上しています。GPU性能はTFLite比で1.4倍です。また、NPU（ニューラルプロセッシングユニット）のアクセラレーションにも新たに対応しました。特に、NPUの断片化問題を解決する統一ワークフローが注目されています。なお、既存のTensorFlow Liteパッケージは引き続き動作しますが、新機能はLiteRTにのみ追加されます。

LiteRTの主要な技術的特徴

LiteRTにはいくつかの技術的な特徴があります。そこで、主要なものを整理します。

まず、ML Driftという次世代GPUエンジンです。OpenCL、OpenGL、Metal、WebGPUをサポートしています。つまり、モバイル、デスクトップ、Webブラウザまで幅広いプラットフォームで動きます。さらに、GPUの差異を吸収してくれるので開発者は統一的なコードで済みます。

次に、NPU対応の統一ワークフローです。しかし、NPUはSoCベンダーごとに仕様が異なります。具体的には、QualcommとMediaTekとSamsungではNPUのアーキテクチャが違います。LiteRTはこの断片化をフレームワーク側で吸収します。したがって、開発者はベンダー固有のSDKを直接触る必要がなくなります。

また、Android、iOS、Web、IoT、デスクトップに対応しています。たとえば、同じモデルをスマートフォンとWebアプリの両方で動かすことが可能です。特に、オンデバイス学習の機能も追加されています。つまり、デバイス上でモデルを追加学習させることもできるのです。

オンデバイスAI導入の実務的なステップ

LiteRTを使ったオンデバイスAI導入の手順を整理します。

まず、モデルの選定と変換です。つまり、PyTorchやTensorFlowで学習済みのモデルをLiteRT形式に変換します。具体的には、LiteRTコンバーターを使います。しかし、すべての演算子が変換可能とは限りません。そのため、事前に互換性を確認することが重要です。

次に、量子化を検討しましょう。たとえば、FP32のモデルをINT8に変換するとサイズが約4分の1になります。さらに、推論速度も向上します。特に、メモリが限られたデバイスでは量子化が必須です。ただし、精度が低下する場合があります。したがって、量子化前後の精度を必ず比較しましょう。

また、ターゲットデバイスでのベンチマークも欠かせません。なぜなら、デバイスによって性能が大きく異なるからです。具体的には、推論時間、メモリ使用量、バッテリー消費を測定します。さらに、複数のアクセラレーター（CPU、GPU、NPU）で比較すると最適な設定がわかります。

LiteRT導入時のよくある課題と対策

実際に導入するといくつかの課題に直面します。そこで、よくある問題と対策を紹介します。

まず、モデルサイズの制約です。モバイルアプリに数百MBのモデルを組み込むのは非現実的です。そのため、軽量モデル（MobileNet系など）を選ぶか、プルーニングで不要なパラメータを削るかの判断が必要です。しかし、軽量化しすぎると精度が下がります。

次に、バッテリー消費の最適化です。AIの推論はバッテリーを消費します。特に、リアルタイム推論を続けるとデバイスが発熱します。具体的には、推論の頻度を下げたりバックグラウンド処理を制限したりする工夫が必要です。

加えて、モデルの更新戦略も考えましょう。つまり、アプリの更新なしにモデルだけを差し替える仕組みです。たとえば、モデルファイルをサーバーからダウンロードする方式です。しかし、セキュリティの観点からモデルの完全性検証も必要です。だからこそ、署名付きモデルの配信を推奨します。

LiteRT Universal Frameworkのまとめ

LiteRTはオンデバイスAIの決定版フレームワークに進化しました。しかし、フレームワークだけで品質が保証されるわけではありません。だからこそ、モデルの選定、量子化、デバイスベンチマークという基本プロセスを省略しないことが重要です。特に、NPU対応の統一ワークフローは開発効率を大きく改善します。まずは小さなモデルから変換して動かしてみてください。