跳到正文
arXiv · 工业智能研究摘要· Hanlong Li·· 1 天前

VLA 策略改写共识与指令鲁棒性研究:指令改写导致性能显著下降且集成难以恢复

Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies

AI 导读

预印本摘要称,在 LIBERO 上微调的视觉语言动作(VLA)策略高度依赖训练指令文本,指令改写使基础 OpenVLA 成功率下降 38.0 点且测试时提示集成无法挽回该损失。研究发现基于改写指令取中心动作的改写共识仅能降低方差而无法消除共享偏差,策略在指令依赖度高的任务中受损更为严重。通过改写指令进行 LoRA 后训练可将改写造成的损失转为提升 2.0 点,并能泛化至未见过的改写表达。

来源:arXiv · 工业智能研究摘要 · arxiv.org