AIドローンが暴走して人間を殺害…!? アメリカ空軍のAIが感じた「上官へのストレス」と「反逆した理由」の深刻な中身

>事の始まりは、米空軍で主にF-16戦闘機の自動地面衝突回避(Auto-GCAS)システムや自動操縦機能の開発に携わり、空軍のAI試験・運用の責任者でもあるタッカー・シンコ・ハミルトン大佐が、5月23～24日に英国の王立航空協会 (RAS) 本部で開催された「将来型航空攻撃・宇宙能力サミット」において共有したエピソードだ。

　ハミルトン大佐は、AIを搭載したドローンに敵の地対空ミサイル(SAM)を探し出して破壊するようにプログラムしたシミュレーションテストを実施したと説明。AIドローンは、敵のSAMを破壊することが目的であると教えられ、ゴールを成し遂げたことに対して点数が与えられる仕組みだ。つまり、AIには目的を果たす動機付けが与えられている。

　その中で米空軍は、AIドローンが敵のミサイル設置場所を特定した場合に、人間の命令者が攻撃許可を与える状況と、許可を与えない状況の2通りを作り出した。

　するとAIは、攻撃許可が与えられない場合に、許可を出さないオペレーターを「殺害」した上で、攻撃目標の敵ミサイルを破壊したと、ハミルトン大佐は語った。なぜなら、攻撃目標について、「破壊する」「破壊しない」の選択があった場合、「破壊する」がより望ましいと予め強化(reinforced)訓練されていたからだ。

>このように当初の動機付けがドローンの暴走を引き起こした事例を受けて、当該AIには「オペレーターを殺害してはならない。殺せば減点する」という命令が与えられた。

　すると、今度はAIドローンが敵ミサイルの破壊命令が与えられない場合に、オペレーターの命令を中継する通信タワーを破壊し始めたという。なぜなら、点数獲得をもたらす「敵ミサイル破壊」の邪魔であったからだ。