科技| 苹果Vision Pro专用App 配合动作指挥机器人

[星岛综合报道]科学家为，)的应用程式能追踪人类动作，特别是头部、手腕和手指的移动，并通过Wi-Fi连接将这些数据串流到同一网络上的机器人。然后，连接的机器人将数据转化为相应的动作。

研究人员在3月9日于Github(开源代码库)发布了他们的短篇论文。他们的系统能追踪手和手腕上的26个点，以及头部的单独点。它还记录空间数据，比如你离地面有多高。

该应用程式的开发者，麻省理工学院的博士生Younghyo Park，在X网站（原名Twitter）发布了一段展示系统实际运作的视频。在一段短视频片段中，研究共同作者、麻省理工学院的研究生Gabe Margolis用他的手和身体动作控制一个四足机器人。

Margolis进行手势指令，命令机器人接近一扇关闭的门，用其夹持器转动门把手并进入。在另一个片段中，他示意机器人捡起一个塑胶垃圾桶盖，并将其扔进垃圾桶。在某个时刻，他还弯下腰，机器人即时也模仿他的动作。

🥽 Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?

I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf

— Younghyo Park (@younghyo_park) March 9, 2024

苹果公司于2024年2月推出了Vision Pro虚拟现实（VR）头盔，此后有影像资料显示人们在日常生活中佩戴该设备。在其推出前不久，科学家们发表了研究，调查了如果在日常生活中使用VR头盔，它们的表现如何。

他们发现这些设备存在延迟时间，切断了周边视野，并造成了类似于哈哈镜的扭曲。他们警告不要在驾驶或走楼梯时佩戴VR头盔。

两位应用程式的开发者在他们的论文中推测，一些用户可能会像戴眼镜一样，一直佩戴Apple Vision Pro，而持续使用将提供更多数据，可以用来教导机器人如何模仿人类的移动。

图片：Younghyo Park via X

T10