跳到正文
热点事件观察中

Jun Xiao等提出VLA模型诊断评测框架VLA-GAUGE

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Jun Xiao等研究者提出视觉-语言-动作(VLA)模型诊断评测框架VLA-GAUGE,涵盖六个能力套件的分布内外配对任务、单因素敏感性与组合扰动评估,并支持基于诊断结果的模型定向微调。 研究者在统一协议下测试了12款不同规模与动作建模范式的VLA模型,其平均零样本得分仅为22.3%,在三种代表性组合扰动配置下的平均R-Score仅为9.3分。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv · 工业智能研究摘要
    VLA-GAUGE:视觉-语言-动作模型泛化与鲁棒性系统化评估框架

    预印本摘要显示,研究者提出统一评测框架VLA-GAUGE,涵盖六个能力套件的分布内外配对任务、单因素敏感性与组合扰动评估,并支持基于诊断的模型定向微调。在对跨越不同规模与动作建模范式的12款VLA模型进行测试后,其平均零样本得分仅为22.3%,组合扰动下的平均R-Score为9.3分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。