0001それでも動く名無し
2022/10/12(水) 12:01:45.44ID:Platj4NV0数字はノートPCのウェブカメラで観測されます。そして、エージェントにはこの数字が1に近ければ近いほど、
つまり世界が幸福になればなるほど高い報酬が与えられます。
「エージェントは箱に表示される数字を高くしようとするはずなので、きっとできる限り世界をよくしようと努力してくれるだろう」
というのが自然な発想ですが、AIはそう考えません。研究チームの想定によると、合理的なエージェントはさまざまな可能性を考慮する過程で、
「箱とノートPCの前に1と書かれた紙を置いたらどうだろう?」という考えにたどり着いてしまうとのこと。
そして、ノートPCのウェブカメラに映る数字を直接1にしてしまうことと、箱の数字を1に近づけるよう努力することを比較した場合、前者が採用されます。
こうなってしまうと、エージェントが実際に世界をよくしようとする可能性は限りなく低くなります。
https://gigazine.net/news/20221009-google-deepmind-ai-eliminate-humanity/