Thom_Wolf· @Thom_Wolf · X·· 2 小时前AI 评分
Thomas Wolf：LLM 教学仍受知识诅咒所限
Thomas Wolf 指出 LLM 在 theory of mind 上仍很吃力，游戏 NPC 写故事时会假设玩家知道得更多，NPC 有时还会对从未发生的事做出奇怪反应。他认为 AI tutor 要建模学习者，但默认设置下仍不达标，LLM 容易出现"知识诅咒"（Curse of knowledge）。教学人类也难以构成可验证奖励（Verifiable Reward），在当前训练范式下难以规模化。
仍然非常困难的是：心智理论。世界、语音和机制都很棒。写故事是薄弱环节：模型假设玩家知道的比实际多，它的NPC有时反应奇怪，或者对从未发生的事情做出反应。
《钻石年代》的启蒙读本（或者任何真正的AI导师，fwiw）必须对学习者建模，而这正是我认为它在默认设置下仍然不足的地方。我实际上已经开始探索这方面的基准测试，这对大语言模型来说目前是个很难的任务。它们容易出现"知识的诅咒"。教人类也不太算是一种可验证的奖励，所以在当前训练范式下很难扩展。
来源：Thom_Wolf · x.com