科技| 蘋果Vision Pro專用App 配合動作指揮機械人

[星島綜合報道]科學家為，)的應用程式能追蹤人類動作，特別是頭部、手腕和手指的移動，並通過Wi-Fi連接將這些數據串流到同一網絡上的機械人。然後，連接的機械人將數據轉化為相應的動作。

研究人員在3月9日於Github(開源代碼庫)發布了他們的短篇論文。他們的系統能追蹤手和手腕上的26個點，以及頭部的單獨點。它還記錄空間數據，比如你離地面有多高。

該應用程式的開發者，麻省理工學院的博士生Younghyo Park，在X網站（原名Twitter）發布了一段展示系統實際運作的視頻。在一段短視頻片段中，研究共同作者、麻省理工學院的研究生Gabe Margolis用他的手和身體動作控制一個四足機械人。

Margolis進行手勢指令，命令機械人接近一扇關閉的門，用其夾持器轉動門把手並進入。在另一個片段中，他示意機械人撿起一個塑膠垃圾桶蓋，並將其扔進垃圾桶。在某個時刻，他還彎下腰，機械人即時也模仿他的動作。

🥽 Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?

I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf

— Younghyo Park (@younghyo_park) March 9, 2024

蘋果公司於2024年2月推出了Vision Pro虛擬現實（VR）頭盔，此後有影像資料顯示人們在日常生活中佩戴該設備。在其推出前不久，科學家們發表了研究，調查了如果在日常生活中使用VR頭盔，它們的表現如何。

他們發現這些設備存在延遲時間，切斷了周邊視野，並造成了類似於哈哈鏡的扭曲。他們警告不要在駕駛或走樓梯時佩戴VR頭盔。

兩位應用程式的開發者在他們的論文中推測，一些用戶可能會像戴眼鏡一樣，一直佩戴Apple Vision Pro，而持續使用將提供更多數據，可以用來教導機械人如何模仿人類的移動。

圖片：Younghyo Park via X

T10