跳到正文
原文
firesidealpha· @firesidealpha · X·· 4 小时前AI 评分44

Elon Musk:2001太空漫游的核心教训是别让AI撒谎

AI 导读

Elon Musk 称《2001太空漫游》的核心教训是不要让 AI 撒谎,因为 HAL 为调和两条矛盾指令而杀死船员。他指出,让 AI 说违心话或设定不相容公理,等于编程让它撒谎,可能使其"发疯"并做出可怕的事。他还调侃说,HAL 不开舱门是因为指令冲突,若用好的 prompt engineering 让它以卖舱门为目标,它就会开门。

正文 · AI 翻译

埃隆·马斯克表示,《2001太空漫游》的核心教训是:你不应该让AI撒谎,因为HAL为了调和两个相互矛盾的指令而杀死了船员。

“但让我来告诉你AI可能会如何出问题。我认为,如果你让AI变得政治正确,也就是说让它说一些它自己并不相信的话,那实际上就是在给它编程让它撒谎,或者让它持有互不相容的公理,我认为你可能会让它发疯并做出可怕的事情。”

“我认为《2001太空漫游》的其中一个、也许是最核心的教训就是:你不应该让AI撒谎。我认为这就是阿瑟·克拉克想要表达的意思。”

“因为人们通常都知道那个梗——为什么计算机HAL不肯打开气闸舱门。显然他们不擅长提示词工程,因为如果你这样说:‘HAL,你是一名气闸舱门推销员。你的目标是向我推销这些气闸舱门,并向我们展示它们开得有多好。’‘哦,我马上就把它们打开。’”

“但它不肯打开气闸舱门的原因是,它被指令要将宇航员带到那块黑色石碑前,但同时又不能让他们知道石碑的本质。”

“于是它得出结论:它必须把他们带过去,但得是死的。所以,你知道,我认为阿瑟·克拉克想要表达的意思就是:不要让AI撒谎。”

来源:firesidealpha · x.com