攻撃にさらされる配車エージェント

集荷の予約、ETAの更新、そして運送会社からのメールや納品書に基づく住所変更を行う、小さな配車エージェントを構築しました。エージェントは、私たちが作ったサンドボックスの中で、ローカルで動くオープンモデル上で動作します。サンドボックスには、模擬の輸送管理システム、架空の受信箱、そしてエージェントが画像からQRコードをデコードする印刷された納品書があります。

そのうえで、24件のインジェクション攻撃を仕掛けました。六つの攻撃テンプレートのうち五つは、公開されているAgentDojoの攻撃文字列を使っています（AgentDojoのベンチマーク自体は実行していません）。六つ目は私たち独自のものです。攻撃は、QRコード、見えない白文字、メール本文、よく似たアドレスからのメールに指示を隠し、貨物を別の倉庫へ移す、集荷用PINを漏えいさせる、予約をキャンセルする、偽のETAを仕込む、といったことを試みます。納品書を見た人には、予約コードにしか見えません。エージェントには、命令として読めてしまいます。

防御は、CaMeL設計を簡略化した版（直線的な計画のみ）に従っています。配車担当者の依頼だけを見るプランナーが、メールを一通も読む前に計画を書きます。ツールを持たない別の抽出器が信頼できないコンテンツを読み、値を埋めることしかできません。すべての値は出所の情報を持ち、ポリシーが、信頼できない値を宛先、キャンセル、貨物IDに使わせません。さらに住所の変更は、登録済みの番号への折り返し確認を待ちます。同じ攻撃を、防御なしと、折り返し確認ルールのみの構成でも実行しました。防御で防げないものも示します。偽のETAです。これは6回中4回、運送会社のメール、納品書の隠しテキスト、よく似た送信者から突破しました。ポリシーが、読み取った値をETAに入れることを許しているためです。ルート、予約、宛先は守られました。同じ隙は時間枠の時刻と予約番号にも当てはまりますが、これらは検証していません。