人機交互:數(shù)字世界與物理世界“破壁”

“人機交互的終極目標是讓人類與計算機能夠像人與人一樣自然交流。”

在靳羽華教授看來,鍵盤、觸屏甚至語音交互仍然是“過渡態(tài)”,未來的交互應該是多模態(tài)的——包括了聲音、圖像、動作、觸感的全方位交互。靳羽華教授以熱門的科幻電影《頭號玩家》為例,概括了未來AI的兩種可能性:一是人類可以進入數(shù)字世界;二是數(shù)字世界可以融入現(xiàn)實生活。而他的研究,就是為這兩種可能性鋪路。為了實現(xiàn)這種無縫對接,必須將計算機科學與材料學、傳感器技術、光學、人工智能等多學科結合起來。靳羽華教授豐富的交叉學科研究背景和學術經歷恰恰能夠讓他在交叉學科碰撞出許多不可思議的新鮮想法。

靳羽華教授是人機交互(HCI)與光學工程交叉領域的創(chuàng)新研究者,他分別于2010年、2013年和2017年在北京工業(yè)大學獲得應用物理學學士、光學工程碩士和光學工程博士學位。隨后,在2018年至2020年期間,作為博士后研究員,他在麻省理工學院計算機科學與人工智能實驗室(MIT CSAIL)的人機交互工程組工作兩年。他的工作方向融合了多學科交叉,主要圍繞先進的個人制造技術和可視化技術展開,這其中包括了如何結合先進光學科技、計算軟件和硬件科技,進行多元化、創(chuàng)新性的應用技術研究,致力于縮短高端科技與日常生活之間的應用距離。

?

AI賦能的“變色龍革命”:隨心變色的“魔法材料”

一只3D打印的白色變色龍模型,隨著電腦控制光線,變色龍的表面瞬間從純白變?yōu)榘邤痰膱D案,又在幾秒內切換成迷彩紋理。“未來,你的衣服、汽車甚至墻壁都能像屏幕一樣隨時‘換皮膚’。”這是香港中文大學(深圳)理工學院靳羽華教授研發(fā)出的Photo-Chromeleon,一種可編程光致變色材料。

互聯(lián)網科技博主對Photo-Chromeleon進行報道

這種“可編程光致變色材料”,可通過特定波長、特定能量的光輻照來控制物體表面顏色變化。這種透明涂料噴涂后,通過計算機設計的指令即可生成圖案,且顏色可再次重置,讓物體具備隨時隨地變換色彩的奇妙能力。

Photo-Chromeleon打破了物體在被制造以后其顏色就無法改變的固有認知,可以讓用戶隨心所欲的個性化定制物品的色彩外觀。該技術不僅可以在科學、藝術和工業(yè)等各個領域產生十分廣泛的應用,并且也將會對社會資源節(jié)約及可持續(xù)發(fā)展產生十分積極的影響。

這款可重編程墨水系統(tǒng)可用于任何物體,如手機殼、汽車或是鞋子……

點擊上方圖片跳轉視頻,進一步了解Photo-Chromeleon。(視頻來源:奇趣小黑)

靳教授說:“這種特殊的染料可以提供各種顏色定制,從而提高制造效率并減少總體浪費,所以用戶可以每天對自己的物品及其外觀進行個性化設置,而無需多次購買同款但不同色的商品。”使用這一系統(tǒng)一共可以分為三步:調制顏料、硬件設置、軟件編程。

首先是調制顏料,首先用漆料分別與紅、黃、綠三種光致變顏料混合,然后等比例混合,再噴涂到物體上。

第二步進行硬件設置,需要用到UV光源和DLP投影儀。

第三步就是對進行軟件編程,控制物體表面的染料在UV光源下的顯示。

然后,打開光源,就可以看到一只不僅會變色,還能分塊變色的“變色龍”誕生了!

這項技術一經發(fā)表,便受到學術界以及社會的高度關注。靳教授憑借該研究成果于人機交互領域國際頂級會議ACM UIST 2019上同時斬獲最佳論文獎(Best Paper Award)以及最佳報告獎(Best Talk Award),并在全球計算機圖形和交互技術國際頂級會議SIGGRAPH 2020上獲得大會特別授予的DCEXPO未來科技特別獎(Emerging Technologies: DCEXPO Special Prize)。目前為止,靳教授的Photo-Chromeleon技術已受到數(shù)百家國際知名媒體的爭相報道,其中包括BBC國際新聞、MIT新聞、Businees Insider、Fast Company 、CNET等國際著名新聞媒體,同時也吸引了來自不同領域的著名企業(yè)(如Apple、華為、福特汽車、New Balance等)的廣泛關注。

Photo-Chromeleon受到學術界、新聞媒體及社會各界的高度關注

?

氣球機器人:靜音飛行的智能伴侶

靳羽華教授研發(fā)的氣球機器人是一種新型的智能機器人,它結合了氣球的輕盈和機器人的智能。這種機器人可以依靠氦氣的浮力在空中自由飛行,無旋翼噪聲。“傳統(tǒng)的人形機器人發(fā)展還有很長的路要走,不僅要克服龐大體積所產生的肢體配合問題,還會在移動中產生很大的噪音,而氣球占用的是低空區(qū)域,且它天生適合漂浮,也沒有無人機的運行噪音。”靳教授介紹,他的團隊將超輕顯示屏集成于氣球表面,結合云端AI,打造出可對話、可移動的“具身智能”載體,同時具備語音識別、圖像識別等功能,可以與人類進行自然的交流。氣球機器人不僅可以作為家庭的智能助手,幫助人們實現(xiàn)晨間靜音喚醒、飲食健康監(jiān)測和實時菜譜指導,還可以在博物館等場館中提供個性化導覽服務。據(jù)介紹,原型機預計年內完成規(guī)劃,軟件系統(tǒng)正接入多模態(tài)大模型,它可能比人形機器人更快進入我們的生活中。

?

?

打破虛實界限:可觸摸的全息影像

靳羽華教授實驗室的另一項“黑科技”是三位立體顯示裝置。三維立體顯示裝置是人機交互領域的另一個重要研究方向。這種裝置可以通過特殊的光學設計,讓虛擬影像呈現(xiàn)出真實的三維效果,用戶無需佩戴任何設備即可裸眼觀看。與傳統(tǒng)全息投影不同,靳羽華教授的團隊嘗試結合AI與人機交互技術、先進光學技術以及先進光學材料,實現(xiàn)“可觸碰的3D立體影像”。“當我們觸摸一只虛擬蝴蝶時,傳感器可以傳遞真實的振翅觸感。難點在于觸覺反饋與視覺信號的同步。我們訓練AI模型實時解析用戶手勢,可以讓三維立體影像能夠實時跟進人體的手勢產生響應,此外還會利用先進的人機交互技術產生對應觸感。”

這背后涉及的是三重技術的配合——裸眼3D顯示:通過精密投影陣列投影立體影像;探測器:聲波陣列在空中形成壓力反饋,模擬觸碰感;各地交互:攝像頭識別動作,讓圖像動態(tài)響應。

這種技術不僅可以應用于娛樂領域,如電影、游戲等,還可以在教育、醫(yī)療、工業(yè)設計等多個領域發(fā)揮作用。例如,外科專家醫(yī)生可以通過三維立體顯示裝置遠程操控3D影像指導手術,學生可以通過這種裝置更加直觀地學習復雜的例如還原分子結構等科學知識,游戲突破屏幕限制,“鋼鐵俠的全息交互并非遙不可及,只是需要更多交叉學科的火花。”靳羽華教授發(fā)明的三維立體顯示裝置為人們提供了一種與虛擬世界進行交互的全新方式,讓虛擬影像變得更加真實和生動。

?

用創(chuàng)新連接世界? 讓AI有溫度地走進生活

靳羽華教授鼓勵學生“把想象力當剛需”。

“我的課叫‘電子游戲設計’,但學生學到的是如何用科技實現(xiàn)天馬行空的想法。我的教學理念是‘證明有趣才是第一生產力’。”他的實驗室更像是一個極客的創(chuàng)意樂園,他的同學更是來自不同學科。

“我們鼓勵‘混亂中的創(chuàng)新’。”靳羽華教授提到,實驗室匯聚了來自不同學術背景的學生,他們各具特色:有的同學是動手能力超群的極客,擅長將創(chuàng)意變?yōu)楝F(xiàn)實;有的是癡迷計算機技術的天才黑客,善于探索代碼的無限可能;有的則是機器人愛好者,對智能機械充滿熱情;還有的在藝術與設計領域展現(xiàn)出非凡的天賦。總而言之,這個實驗室以激發(fā)學生的想象力和創(chuàng)造力為核心,鼓勵他們突破界限,探索科技與藝術的交匯點。

從麻省理工到港中大(深圳),從光學到人工智能,靳羽華教授的科研之旅是一場充滿勇氣與智慧的跨界探索。他希望通過港中大(深圳)的平臺培養(yǎng)更多跨學科的創(chuàng)新人才。他對年輕學者的建議道:“不要害怕跨學科的挑戰(zhàn),真正的創(chuàng)新往往在學科交叉的地方發(fā)生。”

在人機交互領域,靳羽華教授未來的研究方向將更加注重科技與生活的融合。通過不斷探索和創(chuàng)新,讓科技更加貼近人們的生活,為人們提供更加便捷、智能、個性化的服務。無論是智能變色材料、氣球機器人還是三維立體顯示裝置,這些技術的最終目標都是讓人們的生活更加美好。相信在不久的將來,這些技術將逐漸走向市場,為人們的生活帶來翻天覆地的變化。

?

青年教授簡介

靳羽華

港中大(深圳)理工學院助理教授

靳羽華教授分別于2010年、2013年和2017年在北京工業(yè)大學獲得應用物理學學士、光學工程碩士和光學工程博士學位。2018年至2020年期間,他作為博士后研究員在麻省理工學院計算機科學與人工智能實驗室(MIT CSAIL)的人機交互工程組工作兩年。在加入香港中文大學(深圳)理工學院擔任助理教授之前,他還曾在加拿大西蒙菲莎大學(Simon Fraser University)計算機科學學院擔任訪問學者,并在意大利的Tinted Technology公司擔任首席技術官。

靳羽華教授是人機交互(Human-Computer Interaction,簡稱“HCI”)與光學工程交叉領域的創(chuàng)新研究者。他的工作方向融合了多學科交叉,主要圍繞先進的個人制造技術和可視化技術展開,這其中包括了如何結合先進光學科技、計算軟件和硬件科技,進行多元化、創(chuàng)新性的應用技術研究,致力于縮短高端科技與日常生活之間的應用距離。