近日，美國(guó)專利商標(biāo)局公布了蘋果公司的一項(xiàng)專利申請(qǐng)，該專利涉及在XR頭顯、未來(lái)的Mac和iDevices（特別是iPad）上使用眼睛和手部追蹤手勢(shì)在3D環(huán)境中移動(dòng)物體的方法。

蘋果公司在其專利背景中指出，與至少包括一些虛擬元素的環(huán)境（如應(yīng)用程序、增強(qiáng)現(xiàn)實(shí)環(huán)境、混合現(xiàn)實(shí)環(huán)境和虛擬現(xiàn)實(shí)環(huán)境）進(jìn)行互動(dòng)的方法和界面是麻煩、低效和有限的。

例如，為執(zhí)行與虛擬物體相關(guān)的行動(dòng)提供足夠反饋的系統(tǒng)，需要一系列輸入以實(shí)現(xiàn)AR環(huán)境中的預(yù)期結(jié)果，以及操縱虛擬物體復(fù)雜、乏味和容易出錯(cuò)的系統(tǒng)，給用戶帶來(lái)了很大的認(rèn)知負(fù)擔(dān)，并減損了對(duì)AR/VR環(huán)境的體驗(yàn)。此外，這些方法花費(fèi)的時(shí)間超過(guò)了必要的時(shí)間，從而浪費(fèi)了能源，這對(duì)需要考慮電池操作的設(shè)備特別重要。

因此，需要具有改進(jìn)的方法和界面的計(jì)算機(jī)系統(tǒng)，以向用戶提供計(jì)算機(jī)生成的體驗(yàn)，使用戶與計(jì)算機(jī)系統(tǒng)的互動(dòng)更加有效和直觀。這樣的方法和界面可以選擇補(bǔ)充或取代向用戶提供計(jì)算機(jī)生成的現(xiàn)實(shí)體驗(yàn)的傳統(tǒng)方法。這樣的方法和界面通過(guò)幫助用戶理解所提供的輸入和設(shè)備對(duì)輸入的反應(yīng)之間的聯(lián)系，減少用戶輸入的數(shù)量、程度和/或性質(zhì)，從而創(chuàng)造一個(gè)更有效的人機(jī)界面。

雖然蘋果公司的專利可以適用于未來(lái)的Mac、Apple Watch、XR頭顯，但據(jù)蘋果公司稱，他們的專利申請(qǐng)側(cè)重于用戶使用應(yīng)用于iPad的眼睛和手部追蹤來(lái)操縱3D環(huán)境。

蘋果公司指出，在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)與一個(gè)應(yīng)用程序的用戶界面同時(shí)顯示一個(gè)虛擬環(huán)境。在一些實(shí)施方案中，應(yīng)用程序的用戶界面能夠被移動(dòng)到虛擬環(huán)境中，并被視為存在于虛擬環(huán)境中的虛擬對(duì)象。

在一些實(shí)施例中，當(dāng)移動(dòng)到虛擬環(huán)境中時(shí)，根據(jù)移動(dòng)到虛擬環(huán)境中的用戶界面的距離，自動(dòng)調(diào)整用戶界面的大小。

在一些實(shí)施例中，在顯示虛擬環(huán)境和用戶界面的同時(shí)，用戶能夠要求將用戶界面顯示為一個(gè)沉浸式環(huán)境。

在本發(fā)明的另一個(gè)方面，蘋果公司指出，輸入設(shè)備的例子包括觸摸屏、鼠標(biāo)、觸控板（可選擇集成或外部）、觸摸板（可選擇集成或外部）、遠(yuǎn)程控制設(shè)備、另一個(gè)移動(dòng)設(shè)備（例如，與電子設(shè)備分開(kāi)）、手持設(shè)備（例如，外部）、控制器（例如，外部）、照相機(jī)、深度傳感器、眼球追蹤設(shè)備和/或運(yùn)動(dòng)傳感器（例如，手部追蹤設(shè)備、手部運(yùn)動(dòng)傳感器）等。

在一些實(shí)施例中，電子設(shè)備與手部追蹤設(shè)備（例如，一個(gè)或多個(gè)攝像頭、深度傳感器、接近傳感器、觸摸傳感器）進(jìn)行通信。在一些實(shí)施方案中，手部追蹤設(shè)備是一個(gè)可穿戴設(shè)備，如智能手套。在另一些實(shí)施方案中，手部追蹤設(shè)備是一個(gè)手持式輸入設(shè)備，如遙控器或手寫筆。

圖源：patentlyapple

蘋果公司的專利圖15A-15D說(shuō)明了一種電子設(shè)備的示例，該設(shè)備便于在iPad上使用眼睛和手部追蹤技術(shù)在三維環(huán)境中移動(dòng)和/或放置多個(gè)虛擬對(duì)象。（來(lái)源：VR陀螺）