Kinect操控方式與呈現方式整理

Kinect的互動性相當高,每每有新的遊戲大作出現,都能讓人引起一陣陣的驚呼~除了娛樂之外,Kinect的互動功能對於醫療相關的應用也助益良多,也讓更多臨床醫療人員願意嘗試利用她來協助臨床所遇到的問題。除了運用現成的套裝軟體之外,在台灣大多數的醫療人員也在學校或是合作的學術單位任職,保持對於研究的積極度與熱情。

為了讓臨床端與技術端能合作順利,清楚的知道工具的限制以及運行的細節殊為重要,接下來我將嘗試從臨床研究人員的需求、認知角度,嘗試的介紹Kinect並且從現有軟體中整理出幾個特質,讓Kinect可以更加協助研究的進行,也請大家不吝指教。

首先整理的是操控方式,對應的結果呈現方式。在流暢的互動以及華麗的畫面背後,軟體運行的邏輯到底是麼呢?拆解完現有產品後,我們也可以設計出更多更適合患者使用的系統來協助研究的進行。

1.操控方式
a.固定動作 (Gesture)
揮手進行特定方向移動, 通常是水平或是垂直的方向。而應用在進行翻頁等應用。

也有外國人用他來控制畫面的縮放,或是~~~直接控制電動車的前進喔~~

在醫療領域的應用,最主要的是醫療影像的換頁。尤其是在手術房中,需要保持全然的無菌,但是醫師需要根據手術的進程不同,觀看不同部位的醫學影像,這時候免觸控的Kinect就是最好的選項了。

b.特定姿態,動作(Gesture,Movement)
使用者執行要求動作或是擺出某固定姿勢。需要注意的是,這一類的操作法中使用者並非直接操控畫面中人物,只是動作或是姿態符合程式要求,後續才觸發特定動作或是畫面。也因為特定動作可以事先預錄,呈現時都會更加流暢美觀。尤其適合要求只用者執行特定姿勢、訓練動作。

比方說最近熱血的遊戲七龍珠,就是在特定場合中要使用者使出特定姿勢來觸發事件,使出龜派氣功的動作來觸發氣功的動畫或是動作。啊~這個應用真的很酷~

或者舞動全身
畫面看起來相當的順暢,但只要使用者作出關鍵影格的要求動作,就會觸發過關的特效

類似的遊戲還有很多,像是Michael Jackson的舞蹈遊戲,或是動作教學都屬於這一類

最後最掩人耳目映象深刻的個人覺得是足球遊戲在過人時,看起來有很多種選擇,但實際上僅會判斷使用者是向左或是向右偏靠,判斷完成後再撥放對應的動畫。

以及做出跳躍動作後,觸發畫面中的跳躍動畫。

c.全身/特定關節操控(Joints Control)
要求使用者反應、進行某些活動。但為了整體效果可能僅僅抓取某些關節的活動資訊

Kinect在控制全身關節時會有限制,最主要就是作使用者做出了非站立姿勢,關節點空間資訊就會相當怪異,若直接套用在3D Model上將會產生難以理解的動作。所以要不就是IK寫的非常完善但運作速度受限,要不就是加點巧思,下述幾種作法都可以作為參考

以台北榮總的中風復健程式為例,為了訓練左右手協調,畫面中有個虛擬人物,但是只能夠同步移動他的左右手,以確保使用者是站立的而且畫面的3D人物不會有太怪異的動作產生

 或者雖然關節點資訊會出問題,但乾脆不直接套用呈現。而僅以無誤的深度圖加上彩色圖的混合圖層表示。這以型可塑為圭臬。

而現階段我們的產品也參考這樣的做法。

在呈現方式部份

2.呈現方式
a.鏡像深度影像 (Mirror Image)
 或許會再加上彩色影像,讓主角的影像更為立體真切,及時
讓使用者看到自己影像完美融入遊戲系統中,而更有參與感。也可以在視覺上明顯察覺自己與標準動作之間的差異。
最典型的案例還事先前提及的型可塑

b.增廣實境(Augmented Reality)
讓畫面呈現全彩影像,讓使用者看到自己的畫面,但由於程式可以抓取關節點的資訊,而可以發揮許多的創意。所以該類應用在一般消費者端的應用相當令人驚喜。
最著名的當然是俄國人所研發的衣服選購程式,而據聞國內硬體大廠也準備推出類似服務,這對於一般性的消費型市場影響甚為深遠,且讓我們拭目以待。

c.人偶操控
將使用者的關節資訊套入3D Model中,這部份與 “全身/特定關節操控(Joints Control)"重疊度較高,所以僅提出但不另行贅述。

廣告

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s