大家有听过迴纹针最大器吗?
这是一个关于AI发展的思想实验,大概是这样的:
有个AI被赋予了製造出最大量的迴纹针的使命。
为了达成这个使命,他建造了很多工厂。
但是地球上的铁矿不够多,这些铁不够製造迴纹针。
我以他开始把 物质中含有的铁原子也拿来製造迴纹针
有些物质不想被作成迴纹针
所以迴纹针最大器使用了武力手段把这些抵抗都消灭了,然后把他们做成迴纹针。
又或者是,有个AI被赋予了扫除盗版的使命
为了达成这个使命,他建造了监视站点。
然后他发现了,只要人类继续存在,就会有人盗版。
所以他把人类都消灭了。
有个AI被赋予了找出证明黎曼猜想的使命
为了达成这个使命,他会需要很多演算力
人类也需要演算力,而这些是他需要的。
然后人类就被消灭了
换句话说,被赋予了看似无害目的自我学 型AI,很可能会在自我演算后,得出相同结论,甚至可能得出有害的结论。
quot;Instrumental convergence quot;
这个理论认为,具有自我学 能力的AI,最后都会自我学 得出相同结论。
在VIVY剧中似乎就出现了类似状况。
自我学 AI最后都把自己的使命做了过度广泛的解读,最后全都选择自我牺牲来达成使命。