企业官网建设流程全解析

为什么要给企业建设网站,wordpress怎么提速,wordpress更改目录,网站建设的素材波士顿机械狗Spot利用可视化基础模型将其置于上下文中实现基于3D空间语义认知的路径规划 这篇博客由 Spot 团队的机器人工程师 Michael McDonald 和 Jeffrey Yu 撰写。 在日常工作中#xff0c;我们的客户会在工厂、铸造厂、变电站、地下室等场所操作 Spot 机器人。Spot 会遇到…波士顿机械狗Spot利用可视化基础模型将其置于上下文中实现基于3D空间语义认知的路径规划这篇博客由 Spot 团队的机器人工程师 Michael McDonald 和 Jeffrey Yu 撰写。在日常工作中我们的客户会在工厂、铸造厂、变电站、地下室等场所操作 Spot® 机器人。Spot 会遇到各种障碍物和环境变化但它仍然需要安全完成任务避免被困、跌落或损坏任何设备。过去几年我们不断增强 Spot 的功能帮助它更有效地穿越繁忙区域、避开其他移动物体、在湿滑地面上保持平衡等等。然而虽然有些挑战和障碍我们可以预见并提前规划——例如楼梯或叉车——但还有更多难以预测的情况。为了帮助应对这些特殊情况我们利用人工智能基础模型使 Spot 能够更好地理解世界语义从而不仅根据环境几何形状还能结合其他上下文信息来规划路径。认知与差距Spot的感知始于其体内内置的五个立体摄像头我们利用这些摄像头获取的深度数据生成周围环境的3D地图。我们能够将这些深度数据转化为地图并利用空间几何信息来检测墙壁、空地和其他物体。之后我们进一步优化地图以确定Spot的行走路线——例如避开陡坡或高台阶。这对于基本的自主导航和路径规划效果很好但主要使用几何图形来感知世界的局限性在于某些障碍物和危险在 3D 数据中无法很好地显示出来。仅凭几何学通常会遇到四种类型的挑战。数据量不足导致无法识别某些障碍物难以使用 Spot 的摄像头识别。例如电线等小型物体在地图数据中可能被平滑处理而窗户或玻璃门等透明物体则可能完全不可见。使用视觉数据而非深度数据来识别这些物体有助于防止缠绕或碰撞。对 Spot 构成危险其他物体可能在 3D 数据中可见但仍可能对 Spot 构成危险。例如带轮推车或平板车在 3D 数据中可能看起来像一个稳定的平台但如果 Spot 试图踩上去推车就会移动导致 Spot 摔倒。添加语义理解功能可以帮助 Spot 识别推车、可移动物体、软管、水坑和其他潜在风险。小心处理同样有些东西在3D数据中看起来可能无害但实际上却很脆弱或昂贵。没有人希望机器人不小心踩到易碎物品因此Spot需要额外的上下文信息来识别这些物品并引导它避开它们。对他人构成危险Spot 可以探测并绕过某些物体但需要结合上下文信息来降低对人的风险。例如从梯子下方走过是危险的。Spot 需要能够识别梯子才能遵守梯子周围的安全操作规程。利用基础模型我们能够训练 Spot 识别这些类型的危险并将上下文理解应用于其行为——修改其路径规划以应对更细致的障碍物类型。使用基础模型进行训练近年来人工智能包括深度学习、神经网络和基础模型发展迅猛。这些技术为解决机器人领域的传统难题提供了新的途径波士顿动力公司的各个团队一直在探索如何利用机器学习来拓展机器人智能的边界。尤其值得一提的是我们看到了利用视觉基础模型赋予Spot机器人更强的环境语义理解能力的潜力——通过为几何图形添加上下文信息使其性能更加安全、可预测。什么是基础模型从广义上讲基础模型正如其名它是构建其他应用程序的基础。要对人工智能模型有一个大致的了解需要海量数据而为单个应用程序收集如此大规模的数据可能成本过高。基础模型能够让你从已经学习过大量数据集的模型入手从而加快训练过程。通常这些模型经过训练是为了建立关联这段文本与那段文本相关这张图片与那段文本相关这张图片与那张图片相关。你可以使用这个基础模型在其基础上训练一个新模型或者使用更少的数据对其进行微调以用于下游任务。在我们的案例中我们测试了几种视觉基础模型最终选择了一个开放集目标检测模型这意味着我们可以向模型提供任何文本或图像并让它在输入在本例中为Spot的摄像头中找到所有匹配的实例。这使我们能够确定希望Spot更智能地识别和规避的具体危险类型。此外模型学习到的更广泛的知识使我们能够通过提供几张图像或简短的文本描述快速地将识别能力应用于新的环境和特定的危险。训练、测试和微调模型建立完成后我们需要对其进行测试和完善。测试的主要挑战在于速度和灵活性。机器人需要完成任务我们不希望设置过多限制导致 Spot 无法完成任务。这意味着必须快速运行这些模型避免误报并确保 Spot 能够避开障碍物而不被困住。机器学习模型需要大量的资源和时间才能处理你提供的数据。如果希望它们在机器人上运行并发挥作用就必须能够实时运行。因此大部分测试都集中在如何高效地创建一个流程使其能够识别危险并能将识别结果实时反馈到导航系统中。我们的大量测试都集中在寻找并微调一个足够稳健、能够可靠地检测危险同时又足够轻量级、能够高效运行的模型。我们也测试了将检测到的障碍物重新整合到 Spot 导航中的不同方法。如果限制过多会阻碍 Spot 的路径导致机器人卡住如果限制过少Spot 仍然可能以不良方式与障碍物互动。我们希望更细致地展现 Spot 如何根据其在空间中观察到的情况调整互动方式。例如遇到梯子或玻璃门时Spot 应该完全避开障碍物。但很多时候还有更微妙的选择。Spot 可以根据需要跨过电线只要不踩到电线即可。遇到水坑时Spot 可能会绕行但如果没有其他畅通的路径它也可以穿过。除了绘制障碍物地图外我们还希望将这些模型的输出映射到机器人的导航功能——本质上是让机器人了解根据它所看到的内容它可以做什么。危险规避仅仅在实验室里进行概念验证是不够的。我们需要Spot在真实环境中发挥作用。经过严格的测试所有拥有Spot Core I/O的客户现在都可以使用此工作流程。我们利用多种模型和工具来检测物体优化已识别物体周围的分割掩码并基于这些信息规划行为从而使Spot能够在杂乱、繁忙的真实工作场所中更安全、更高效地导航。从4.1 版本开始除了移动物体外Spot 现在还能检测并避开工业环境中常见的危险物例如推车、电线和梯子。最新版本通过将视觉语义信息集成到 Spot 的导航系统中立即提升了 Spot 对世界的感知能力。任何在其机器人上安装了此扩展程序的用户都能看到这些变化。持续学习当然这项工作并非止于将语义危险规避技术部署到实际环境中。相反这只是训练更强大模型的第一步。我们可以利用来自客户的性能数据来了解哪些方面运行良好哪些方面需要微调。真实世界的运行数据也使我们能够训练出更可靠、更精确的模型从而检测Spot运行环境中的其他类型危险或重要物体。这种语义理解不仅提高了Spot的可靠性还帮助Spot在特定情况下更像人一样行事。利用基础模型训练情境行为使我们的机器人对人类而言更具可预测性、更直观也更容易使用和应对。