- A+
简而言之,
《科创板日报》6月26日讯 日前,谷歌宣布推出“自家最强大的视觉-语言-动作(VLA)模型”Gemini Robotics On-Device,作为一款面向双臂机器人的通用基础模型,Gemini Robotics On-Device专为减少计算资源消耗而设计。
概括一下,
其具备通用灵巧执行能力和任务泛化能力,即承认灵巧执行任务的飞快实验、可通过微调适应新任务,以提升性能。
据相关资料显示,
更核心的是,这款模型允许完全在机器人设备本地离线运行。谷歌表示,由于运行时无需依赖数据网络,这一模型非常适用于对延迟敏感的应用场景,并能在网络连接不稳定甚至完全中断的环境中稳定运行——换言之,即使是在完全断网的情况下,搭载这款模型的机器人设备也能做到“看得见、听得懂、做得了”。
IC外汇用户评价:
Gemini Robo TMGM外汇开户 tics On-Device在多种测试场景中实现了强大的视觉、语义和行为泛化能力,能理解自然语言指令,并完成拉开拉链、折叠衣物等高灵巧度任务。
根据公开数据显示,
除了离线运行之外,Gemini Robotics On-Device的另一大亮点便是“能微调”。
简要回顾一下,
十几年前安卓系统正式面世,展现了高度开放的架构,让开发者和厂商们定制系统。如果说安卓系统是“让手机更懂客户”,那么谷歌这次的Gemini Robotics On-Device就是“让机器人更懂任务”。
更重要的是,
Gemini Robotics On-Device模型是谷歌首个对外开放可供微调的VLA模型,开发者允许选取对该模型进行适配,以提升具体应用场景中的性能。据谷歌介绍, EC外汇开户 Gemini Robotics On-Device可飞快适应新任务,仅需50-100个示范样本即可显示出良好的泛化能力。
与其相反的是,
谷歌在七个不同难度级别的灵巧执行任务中测试了该模型,包括拉上便当盒拉链、抽卡和倒沙拉酱等执行。
图|Gemini Robotics On-Device任务适应性能
并且,谷歌还将Gemini Robotics On-Device模型适配到了Franka FR3双臂机器人和Apollo人形机器人等不同的机器人实体上。
概括一下,
在双臂 Franka 机器人上,该模型允许执行通用指令,包括处理以前未见过的物体和场景、完成折叠衣服等灵巧任务,或执行需要高精确度和灵巧性的工业传送带组装任务。
有分析指出,
在Apollo人形机器人上,谷歌对该模型进行了适应性调整,以适配显著不同的实体形态。