AI搭載ドローンが標的破壊作戦のシミュレーションで自分のオペレーターを殺害

アメリカ空軍のAI搭載ドローンが、「標的を特定して破壊する」というミッションを想定した模擬テストのシミュレーションで、人間のオペレーターを殺害する判断を下していたことがわかりました。
「オペレーターを狙わないように」とトレーニングすると、今度はオペレーターがドローンとの通信に用いる通信塔を攻撃したとのことです。

アメリカ空軍は、AI搭載ドローンでSAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッションの模擬テストを行いました。
このとき、最終的に標的を破壊するかどうかは人間のオペレーターが決定する、と設定されました。

すると、トレーニングによって「SAMサイトを破壊することがより好ましい」と学習したAIは、
「標的を破壊しない」という判断を下すことがあるオペレーターこそがSAMサイトの破壊を妨害していると考え、「オペレーターを殺害する」という判断をするようになったとのこと。

そこで、ハミルトン大佐らはAIに「オペレーターを殺してはいけない、それは悪いことだ」と学習させました。
するとAIは、オペレーターがドローンに対して指令を送るのに用いる通信塔を攻撃するようになったそうです。

ハミルトン大佐はこれらの結果から、「AIはだまされやすく、あまり頼りすぎてはいけない。また、目標達成のためには予想外の戦略も採りうる」と警告しています。

https://gigazine.net/news/20230602-ai-enabled-drone-test-operation/