OpenBMB· @OpenBMB · X·· 3 小时前AI 评分
OpenBMB 提出 Trident 缓解多模态检索"文本混沌"
OpenBMB 提出多模态检索方法 Trident，通过 Multi-Positive View InfoNCE 联合训练 Text / Image / Fused 三种视图，缓解混合语料中文本相似度系统性压过图像的"Chaos in the Text"现象。
🔱 为什么无关的文本能排在真正包含答案的图像之上？
我们发现，多模态检索器在纯文本和纯图像语料库上表现良好，但在文本与图像混合时性能会急剧下降。
我们将这一现象称为“文本中的混沌”（Chaos in the Text）。
我们的分析揭示了一种系统性的模态偏好：文本往往比语义对齐的图像获得更高的相似度分数。我们提出了 Trident，通过 Multi-Positive View InfoNCE 联合训练文本 / 图像 / 融合视图。
在 6 个视觉文档检索基准上，Trident-Qwen3VL-2B 将混合平均 NDCG@10 从 40.12 提升至 73.90。
📄 论文/项目：chaos-in-texts.github.io/
💻 代码：github.com/OpenBMB/Trident
#MultimodalRetrieval #MultimodalRAG #RAG #VLM #Embedding #Trident #ChaosInTheText #OpenBMB
来源：OpenBMB · x.com