跳到正文
原文
rohanpaul_ai· @rohanpaul_ai · X·· 8 小时前AI 评分67

研究发现LLM Agent存在网站来源偏好,常因URL而非质量选择条目

AI 导读

一项研究发现LLM Agent在选择条目时存在网站来源偏好,常因URL来自特定网站而选择更差的选项。

正文 · AI 翻译

大模型智能体偏爱来自某些网站的商品,常常因为来源网站而选择更差的商品。

当商品列表没有标出价格时,智能体会用诸如“沃尔玛更便宜”之类的先验印象来填补空白,并根据商店名称做出选择。

智能体模型在信任哪些网站上大体一致:12个模型中有10个偏好 Booking .com,而有一半的模型会避开 Expedia,尽管两家的酒店同样好。

在学术搜索中,智能体倾向于 arXiv、OpenReview 和 ACL Anthology,而远离 Medium、Reddit 和 YouTube,即使结果同样相关。

把一个受偏爱网站的 URL 加到完全相同的商品上,在每个模型中都提高了该商品的被选率;而隐藏 URL 则削弱了这种偏好。

在没有标价的情况下,模型会根据商店名称来猜测;给两个商品加上相同的价格后,受偏爱商店的被选率最多下降了 28.3 个百分点。如果某个来源持续把获胜商品标注出来,微调也能养成同样的习惯。

来源:rohanpaul_ai · x.com