撰文／陳怡如
就像智慧手機徹底改變了傳統的行動電話，元宇宙的出現，也將顛覆現在的網路世界。登入元宇宙大門，迎接你的是多采多姿的虛擬國度，使用者在裡面工作、運動、看表演，打破空間阻隔與朋友歡聚，猶如第二人生。工研院結合 MR、5G、AI 等技術，緊扣元宇宙概念，提前為產業布局元宇宙商機。
「這是我嗎？」站在螢幕前，驚喜發現年輕版的自己，以 3D 虛擬人物的形象現身，對著他揮揮手，螢幕中的「小人」也對著自己揮揮手。工研院研發的「互動時光機」，運用即時感測和肢體辨識等技術，打造出個人元宇宙，使用者可在虛擬世界中與 3D 虛擬人物互動，體驗過往美好時光。
現在的元宇宙技術，往往都需要配戴 AR、VR 裝置，才能進入虛擬世界，「有沒有可能不需要任何裝置，就能直接進入虛擬世界？」透過三大技術能量，研發實現了這個願望。首先在顯示器上裝設 3D 感測器，即時辨識使用者的肢體、骨架，找出 33 個關節點座標，再和虛擬替身相互連結，使用者只要變換動作，虛擬人物也隨之改變。
而虛擬人物的臉部表情，則透過 AI 影像處理，將真實人物的臉部特徵做轉換，可變老、變年輕甚至變形，達到跨時、跨域改變人物特徵的效果。在成像上，團隊希望虛擬人物呈現 3D 立體效果，而不只是在顯示器上的平面圖像，因此透過數學運算的方式，讓成像有 3D 立體效果，看來更加擬真。
這項技術最大的價值，就是不需透過任何穿戴式裝置，就能進入元宇宙世界，有助未來元宇宙的發展和創新。預計在今年下半年，「互動時光機」的核心技術將於高雄衛武營中化身其他互動裝置，讓民眾實際體驗。
除了消費應用外，這項技術也能應用在產業上，像是設備維修的教育訓練。有些產業因為危險性跟特定地域性，或是因為疫情關係無法親臨現場時，就能透過這項技術再搭配感測手套，使用者在虛擬世界中抓取物品，也有真實回饋的感覺，好像真的在組裝或維修東西，工研院已和半導體、鋼鐵、機械、軌道業合作，延伸元宇宙的產業價值。
操控夾爪、夾取娃娃，如此熟悉的夾娃娃體驗，背景卻不是夾娃娃機台，而是在一片虛擬農場中上演。這是工研院與資策會合作推出的「MR 夾娃娃機—快樂農場」，將混合實境（MR）技術與實體夾娃娃機結合，民眾只要戴上 MR 眼鏡，就能進入元宇宙虛實物件的遊戲世界中，自由互動體驗、挑戰闖關任務。
「MR 夾娃娃機—快樂農場」是研發團隊與遊戲業者共同建立的虛實混合示範驗證，以及 MR 互動娛樂的遊戲，去年底於高雄駁二展出。為了連結虛實世界，團隊一開始先在夾娃娃機內放置實體標記，再運用六自由度空間定位，讓虛擬娃娃對應至實體標記，透過結合虛實物件，增強虛擬場域的真實沉浸感。
在遊戲中，玩家可依照難易度，選擇 3 種不同關卡，愈快完成任務就獲勝。玩家戴上 MR 眼鏡，看到虛擬農場的草地、樹木、小屋與流水等景色，接著透過 3D 虛實疊合定位，利用手套感測與手指彎曲偵測，控制虛擬娃娃機夾爪的移動與開合，利用震動回饋來模擬抓取物體的碰撞，擬真度可達 90% 以上，更利用聲源與攝影機間的相對位置與距離，模擬或合成出虛擬融合的 3D 空間聲響，創造更逼真的闖關效果。
受疫情衝擊，這兩年許多展會取消或延期，不少業者順勢整合線下與線上的 AR、VR、MR 沉浸式體驗，帶動產業跨域整合從上到下游的關鍵技術。像是此次研發的觸覺感測與回饋手套，以及協助廠商開發出下世代 MR 眼鏡，不但讓民眾體驗創新應用技術的樂趣及便利，也為未來的消費娛樂市場開拓更多商機。
「三、二、一，比賽開始！」一架架透著螢光色的無人機，靈敏穿梭在色彩奪目的賽道中，急速轉彎、穿越障礙，展現最酷炫華麗的飛行特技，你來我往、戰況激烈。這是 2021 年於高雄亞灣 AIoT 創新園區登場的「5G MR 夜光 LED 無人機競速高手挑戰賽」，完美示範精彩刺激的虛實整合視覺體驗。
不管是高空拍攝、緊急救災，無人機早已被廣泛使用，但在 5G 時代中，「競技無人機」（Drone Race）已被視為下一個熱門運動賽事，在電競娛樂領域大展身手。在經濟部技術處科專計畫支持下，工研院攜手仁寶、飛競鬥士開發全球首創的 5G MR 無人機電競系統，此次競技無人機的創新應用，除仰賴 5G 專網系統外，也需搭配高速定位、低延遲傳輸、即時渲染運算等軟硬整合技術，展現商業潛力。
與過去無人機競速比賽不同的是，選手配戴「第一人稱視角（First Person View；FPV）智慧眼鏡」，宛如坐在駕駛艙內開飛機，可提供選手更好的沉浸感；賽道上除了有實物關卡外，還有在 MR 眼鏡中才看得見的虛擬障礙物，增加比賽刺激度。透過 5G 高速、低延遲的即時傳輸，在超過百公里時速下，觀眾也能看到超清晰的畫質轉播，享受零秒差的精彩賽事。
在元宇宙的世界中，科技讓運動變得更有趣。工研院研發的「沉浸式騎訓技術」，將 4D 環景技術融入騎踏運動中，藉由模擬不同景觀，使用者可從日月潭環湖轉換至日本櫻花大道，再騎到綠意盎然的歐洲森林公園，完成許多破風手解鎖世界各地鐵馬地圖的心願。
不同於目前市面上類似的虛擬騎乘訓練，「沉浸式騎訓技術」運用全視覺辨識技術，不須穿戴任何裝置，騎乘體驗更加舒服，不受實體世界天氣影響，也沒有競速的安全疑慮。系統同時會詳細記錄健康資訊，讓使用者即刻觀看健身成果，目前這項技術同樣也和 YYsports 和救國團合作，導入健身場域。
工研院緊扣元宇宙的概念，以科技加值，將枯燥運動變得活潑生動，除了激發大眾對健康與運動的興趣之外，也期盼透過科技及數據的幫助，達到更好的健身效果，以創新應用引導運動產業快速發展，帶動新一波的活力健身潮。
喜歡打棒球的人對打擊場的發球機都不陌生，但如果想隨時隨地都有人陪練該怎麼辦？工研院開發的「智慧棒球訓練系統」，就透過 360 度沉浸式虛擬場景的方式，模擬投手投球多變球路，讓揮棒練習更有臨場感。
這項技術由一群愛好打棒球的工程師共同發想，透過虛實整合技術，當使用者戴上 MR 頭戴裝置後，就能看見虛擬世界中的投手投球而來，此時真實的球體也在同時投出，讓使用者揮棒打擊；這項技術也結合人體姿態深度攝影技術，即時提供揮棒姿勢等調整資訊，提供專業球員的培訓服務。
本技術最大特色在於，研發團隊導入物聯網技術，改善發球機機構，只需在平板電腦上點選，就能模擬曲球、滑球、伸卡球等球路、球速，無須手動來調整發球機，有效提升操練效率，補足傳統訓練的臨場感。目前「智慧棒球訓練系統」已更成功吸引寶成國際集團旗下的運動服務平台 YYsports 和救國團，導入健身場域，為打擊運動增添樂趣。
在未來的元宇宙時代中，藝術展演也有更獨特的沉浸式體驗。早在 2020 年底，經濟部技術處便率先攜手工研院和國家兩廳院，發表臺灣第一齣導入 5G、VR 360 攝影及多視角即時隨選互動技術的示範展演劇《萬花鏡》。
從觀眾戴上 VR 裝置觀看 8K 360 度動畫開始，接著利用視訊串流技術將 4K 高畫質直播到第二現場，觀眾可用平板任意選擇劇中角色觀賞，共感主角的心境變化，以及那種心中有話卻說不出口的矛盾情結；最後再將觀眾拉回真實劇場內，演員穿梭其中，大結局就在劇場內上演。
這是科技與劇場藝術跨領域的新嘗試，由兩廳院負責專案整合、舞台設計與表演藝術；工研院匯集明泰、仁寶、廣達等臺灣廠商，建置全國產化的 5G 專網，為需要大頻寬傳輸的 8K VR 360 影片，提供穩定的網路品質，同時也備妥 VR 頭盔等軟硬體設備；劇本則由對科技素有涉獵的新銳導演莊知耕，運用 5G、VR、多視角等特性量身設計。
在 5G 加持下，即使如 8K 高畫質影像，也能做到僅 0.4 秒的低延遲，打造身歷其境的感受。互動科技讓展演跳脫過往的設計思維，產生新的觀演模式，觀眾可切換觀賞視角，不再受制於導演單一視角，打破觀劇的時間與空間限制，運用科技與表演者互動，創造數位時代中嶄新的劇場敘事語彙。
轉載自《工業技術與資訊》月刊第 360 期 2022 年 3 月號，未經授權不得轉載。