跳到正文
原文
frxiaobei· @frxiaobei · X·· 3 小时前AI 评分59

Meta 介绍 JiTTests 在代码合并前生成测试排查缺陷

AI 导读

Meta 介绍了 JiTTests,让 LLM 针对代码改动生成可运行测试,通过比较新旧行为发现差异,再由多个模型和确定性判断器筛除误报后提交工程师。文章称,该方法上半年在合并前拦截了 74 个严重隐私 bug,推给工程师的问题中有六成是真问题。

正文

Meta 昨天讲了他们怎么让 LLM 在代码合并之前写测试抓 bug,叫 JiTTests。

它和常见的 AI code review 思路有点区别。

他家是这么做的: AI review 读代码说出哪里可能有问题;JiTTests 针对这次改动生成能跑的测试,直接跑出新旧行为的差异。

然后几个模型一起判断是不是误报,再加一层固定规则兜底,排在前面的才再去找工程师。

Meta 给了一组数据,上半年在合并前拦下 74 个严重隐私 bug,推给工程师的问题里有六成是真问题。

我对那层固定规则比较感兴趣。

LLM 的判断每次都可能不一样,他们专门配了一个确定性的判断器压着,这和我自己搭流水线的习惯一样,能用固定脚本的地方就不交给模型自由发挥。

这里另一个变化是人的位置。工程师不再一条条看测试了,改成定标准然后看整体结果。这个跟我们现在的做法就一样了。

engineering.fb.com/2026/10/2…

来源:frxiaobei · x.com