用 LLM 打分替代奖励模型的药物设计方法：69.06 对 57.04 超越直接训练

你现在可以直接用普通英文输入你想要的东西，让一个药物设计模型去朝着这个目标搜索。

通常，要让模型生成更好的药物候选分子，你需要针对那个特定目标训练一个奖励模型。而在这里，他们把这一步删掉了，改由一个大语言模型直接阅读你用英文写的目标，对输出进行打分。

任何负担不起为自己的目标构建打分模型的实验室，现在都有了获得可控生成器的途径。这道门槛曾把小团队挡在生成式设计之外，而现在它被挪开了。

RLHF 在各处都面临同样的冷启动问题：如果基础模型从未产生过好的输出，就没有任何东西可以排序。于是大语言模型先写一个更容易的目标，据此打分，并随着模型的改进不断提高标准。

基础分子模型在 38,500 个样本中产生了 0 个可用命中。经过几轮这样的过程后，它在一批 512 个样本中产生了一个。

大语言模型的评分很多时候是完全错误的，但这并不重要，因为 DPO 只需要知道“A 比 B 好”，而不需要一个精确的数值。

由大语言模型打分训练出的模型，击败了那些被允许直接针对真实打分函数进行训练的版本，得分 69.06 对 57.04，而它从未见过任何一个真实分数。