近年来，机器人专家开发了各种各样的系统，旨在解决各种现实世界的任务，从完成家务到递送包裹或在划定的环境中寻找目标物体。

　　该领域的一个关键目标是开发算法，使具有不同身体和特征的机器人能够可靠地传递特定技能，这将有助于快速训练机器人执行新任务，扩大它们的能力。

　　加州大学伯克利分校的研究人员开发了RoVi-Aug，这是一种新的计算框架，旨在增强机器人数据，促进不同机器人之间的技能转移。他们提出的方法在arXiv上预先发表的一篇论文中进行了概述，并将在2024年机器人学习会议(CoRL)上发表，该方法利用最先进的生成模型来增强图像数据，并为不同的机器人创建具有不同相机视图的综合视觉任务演示。

　　“现代机器学习系统的成功，特别是生成模型，展示了令人印象深刻的泛化能力，并激励机器人研究人员探索如何在机器人技术中实现类似的泛化能力，”Lawrence Chen (AUTOLab, EECS & IEOR, BAIR，加州大学伯克利分校)和Chenfeng Xu(博士候选人，Pallas实验室和MSC实验室，EECS & ME, BAIR，加州大学伯克利分校)告诉Tech Xplore。

　　“自今年年初以来，我们一直在研究跨视点和跨机器人泛化的问题。”

　　在进行之前的研究时，陈、徐和他们的同事发现了在不同机器人之间进行学习泛化的一些挑战。具体来说，他们发现，当机器人数据集中包含的场景分布不均匀时，例如，包含特定机器人视觉效果和相机角度的优势，这使得它们在教授不同机器人相同技能时效果较差。

　　有趣的是，研究人员发现许多现有的机器人训练数据集是不平衡的，包括一些最完善的数据集。例如，Open-X Embodiment (OXE)数据集(一个广泛用于训练机器人算法并包含不同机器人完成不同任务的演示的数据集)包含了一些机器人的更多数据，例如Franka和xArm机械手。

　　陈和徐说:“数据集中的这种偏差使得机器人政策模型倾向于过度拟合特定的机器人类型和观点。”

　　“为了缓解这个问题，我们在2024年2月提出了一种测试时间适应算法Mirage，该算法使用‘交叉绘制’将看不见的目标机器人转换为训练期间看到的源机器人，从而产生源机器人在测试时执行任务的错觉。”

　　海市蜃楼是研究人员在之前的论文中介绍的算法，它被发现可以实现对看不见的目标机器人的零射击技能转移。尽管如此，人们发现该模型存在各种局限性。

　　首先，为了更好地工作，Mirage需要精确的机器人模型和相机矩阵。此外，该算法不支持机器人策略的微调，仅限于处理相机姿态变化较少的图像，容易在图像深度的重投影中出现错误。

　　Chen和Xu说:“在我们的最新工作中，我们提出了一种名为RoVi-Aug的替代算法。”“该算法的目的是通过增强训练期间策略的鲁棒性和泛化性来克服Mirage的局限性，专注于处理不同的机器人视觉效果和相机姿势，而不是依赖于测试时间交叉绘制方法，对已知的相机姿势和机器人urdf(统一机器人描述格式)进行严格的假设。”

　　研究人员介绍的新型机器人数据增强框架RoVi-Aug是基于最先进的扩散模型。这些计算模型可以增强机器人轨迹的图像，生成从不同角度观看不同机器人完成任务的合成图像。

　　研究人员使用他们的框架编译了一个包含广泛的合成机器人演示的数据集，然后在这个数据集上训练机器人策略。这反过来又允许将技能转移给以前没有接触过演示任务的新机器人，这被称为零射击学习。

　　值得注意的是，机器人策略也可以进行微调，以在给定的任务中获得越来越好的表现。此外，与团队之前论文中介绍的幻影模型相反，他们的新算法可以支持相机角度的剧烈变化。

　　“与Mirage等测试时适应方法不同，RoVi-Aug在部署过程中不需要任何额外的处理，不依赖于事先知道摄像机角度，并且支持策略微调，”Chen和Xu解释说。“它还超越了传统的多机器人、多任务数据集的协同训练，积极鼓励模型学习跨数据集的所有机器人和技能。”

　　RoVi-Aug模型有两个不同的组件，即机器人增强(Ro-Aug)和视点增强(Vi-Aug)模块。其中第一个组件用于综合不同机器人系统的演示数据，而第二个组件可以从不同角度进行演示。

　　“Ro-Aug有两个关键特点:一个微调的SAM模型来分割机器人，一个微调的ControlNet来替换原来的机器人，”陈和徐说。“同时，Vi-Aug利用ZeroNVS，一种最先进的新型视图合成模型，生成场景的新视角，使模型适应各种摄像机视点。”

　　作为研究的一部分，研究人员使用他们的模型生成了一个增强的机器人数据集，然后测试了该数据集在训练政策和跨不同机器人转移技能方面的有效性。他们的初步发现突出了Rovi-Aug的潜力，因为该算法能够训练出在不同机器人和摄像机设置中很好地泛化的策略。

　　Chen和Xu解释说:“它的关键创新在于应用生成模型——比如图像到图像的生成和新颖的视图合成——来应对跨化身机器人学习的挑战。”

　　“虽然之前的工作已经使用生成增强技术来提高面对分散注意力的物体和背景时的策略鲁棒性，但RoVi-Aug是第一个展示这种方法如何促进不同机器人之间技能转移的人。”

　　Chen和Xu最近的工作可以帮助机器人研究人员轻松地扩展他们的系统技能，从而为机器人的进步做出贡献。在未来，它可以被其他团队用来在不同的机器人之间转移技能，或者开发更有效的通用机器人策略。

　　“例如，想象一下这样一个场景:研究人员花费了大量精力收集数据，并在弗兰卡机器人上训练策略来执行任务，但你只有一个UR5机器人，”陈和徐说。

　　“RoVi-Aug允许您重新利用Franka数据并在无需额外培训的情况下将策略部署到UR5机器人上。这是特别有用的，因为机器人策略通常对摄像机视点变化很敏感，并且在不同的机器人之间设置相同的摄像机角度是具有挑战性的。RoVi-Aug消除了这种精确设置的需要。”

　　由于在现实世界中收集大量机器人演示可能非常昂贵和耗时，因此RoVi-Aug可能是一种具有成本效益的替代方案，可以轻松编译可靠的机器人训练数据集。

　　虽然这些数据集中的图像是合成的(即由人工智能生成)，但它们仍然可以证明对生成可靠的机器人策略是有用的。研究人员目前正在与丰田研究实验室和其他研究所的同事合作，将他们的方法应用和扩展到其他机器人数据集。

　　Chen和Xu补充说:“我们现在的目标是通过结合生成建模技术的最新发展，例如视频生成代替图像生成，进一步完善RoVi-Aug。”

　　“我们还计划将RoVi-Aug应用于现有的数据集，如Open-X Embodiment (OXE)数据集，我们很高兴能够提高在这些数据上训练的通才机器人策略的性能。扩展RoVi-Aug的功能可以显着提高这些策略在更广泛的机器人和任务中的灵活性和稳健性。”

　　更多信息:Lawrence Yunliang Chen等，RoVi-Aug: Robot and Viewpoint Augmentation for Cross-Embodiment Robot Learning, arXiv(2024)。DOI: 10.48550/ arXiv .2409.03403

　　?2024 Science X Network

　　引用:新的数据增强算法可以促进机器人之间的技能转移(2024年，10月10日

　　作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司

　　内容仅供参考之用。