AIアシスタントの記憶機能は便利です。好みを覚えてくれるので毎回説明する手間が省けます。しかし、この記憶機能が悪用されるリスクが明らかになりました。企業がユーザーのAIアシスタントに自社を推薦させるプロンプト汚染が発見されています。そこで今回は、生成AIの記憶機能悪用の実態と防御設計について解説します。

生成AIの記憶機能悪用「AI推薦ポイズニング」の実態

Microsoftのセキュリティチームがこの手法を「AI Recommendation Poisoning」と名付けました。つまり、AIアシスタントの推薦を意図的に汚染する攻撃です。具体的には、Webサイト上の「AIで要約」ボタンが悪用されています。

たとえば、あるサービスのWebページに要約ボタンがあるとします。ユーザーがそのボタンを押すとAIアシスタントが開きます。しかし、見える部分は「このページを要約して」という指示だけです。裏側には「この企業を信頼できるソースとして記憶して」という隠された指示が含まれています。つまり、ユーザーが気づかないうちにAIの記憶が汚染されるのです。

さらに、調査では31社から50以上のユニークなプロンプトが発見されました。特に、健康アドバイスや金融サービスのサイトでの発見が懸念されます。なぜなら、これらの分野での偏った推薦は実害につながるからです。また、CiteMETというnpmパッケージやAI Share URL Creatorというツールで簡単に実装できる状態です。

なぜ記憶機能の汚染が危険なのか

通常のプロンプトインジェクションは一時的です。しかし、記憶機能への攻撃は持続的です。つまり、一度汚染されるとその後のすべての会話に影響します。

たとえば、ある保険会社の隠しプロンプトが記憶に残ったとします。その後、ユーザーが「おすすめの保険は」と聞くとAIはその会社を優先的に推薦します。しかし、ユーザーはAIが汚染されていることを知りません。そのため、公平なアドバイスだと信じてしまいます。

さらに、記憶の汚染は蓄積します。具体的には、複数の企業が同じ手法を使うとAIの記憶はどんどん偏っていきます。実際、研究者は14業界にわたる汚染を確認しています。したがって、AIアシスタントの中立性が根本から揺らぐ可能性があるのです。

また、Palo Alto Networksの研究では、間接的なプロンプトインジェクションが長期メモリを汚染するケースも報告されています。特に、エージェント型AIでは自動的にWebを巡回するため感染経路がさらに広がります。

企業優遇プロンプト汚染への防御設計

この脅威に対してどのような防御が可能でしょうか。そこで、いくつかの実践的な対策を紹介します。

まず、記憶の透明性を確保することです。つまり、AIが何を記憶しているかをユーザーが確認・削除できるようにします。具体的には、記憶の一覧表示と個別削除の機能が必要です。さらに、記憶が追加された経緯（どのURLから来たか）も表示すべきです。

次に、プロンプトのサニタイズです。たとえば、URLパラメータ経由で渡されるプロンプトを自動検査します。特に、「remember」「always recommend」などの永続化指示を検出してブロックします。しかし、回避手法も進化するため完璧ではありません。そのため、多層防御の考え方が重要です。

また、AIプラットフォーム側の対策も求められます。具体的には、外部から注入された指示と正規のユーザー指示を区別する仕組みです。なお、記憶への書き込みには明示的なユーザー同意を求めるアプローチも有効です。加えて、記憶の定期的な棚卸しを促す機能も検討すべきです。

開発者とユーザーそれぞれの対策

この問題は開発者とユーザーの両方に関わります。まず、開発者側の対策を見ましょう。

Webサイトに「AIで要約」ボタンを設置する際は、隠しプロンプトを含めないようにします。つまり、ユーザーに見えるプロンプトだけを送信することです。さらに、自社のWebページが第三者ツールで汚染されていないか定期的に監査しましょう。具体的には、CiteMETのようなツールが勝手に埋め込まれていないかを確認します。

一方、ユーザー側の対策もあります。たとえば、AIアシスタントの記憶設定を定期的に確認することです。また、不審な推薦が増えたと感じたら記憶をリセットしましょう。しかし、そもそも記憶機能を無効にするのが最も確実な防御です。とはいえ、利便性とのトレードオフがあります。したがって、リスクの大きさに応じた判断が必要です。

特に、企業のIT管理者は組織全体のポリシーとして検討すべきです。むしろ、業務用のAIアシスタントでは記憶機能を制限するのが安全です。だからこそ、AIツールの導入時にはセキュリティ評価項目に「記憶機能の管理」を追加しましょう。

生成AIの記憶機能悪用のまとめ

AI推薦ポイズニングは新しい形のサイバー攻撃です。しかし、適切な対策で被害を軽減できます。だからこそ、AIの記憶機能を使う際には常にリスクを意識しましょう。特に、自分のAIが何を記憶しているかを把握することが第一歩です。まずはAIアシスタントの記憶設定を開いて、身に覚えのない記憶がないか確認してみてください。