1. 會議簡介

據ACM Multimedia 2021技術委員會消息,由香港中文大學(深圳)、深圳市人工智能與機器人研究院蔡瑋教授團隊和南京純白矩陣科技有限公司吳嘯合作的元宇宙論文“Metaverse for Social Good : A University Campus Prototype”被ACM Multimedia 2021 收錄。

ACM Multimedia是國際多媒體領域頂級會議,也是中國計算機學會推薦的A類國際學術會議。據悉,收錄該論文的Brave New Ideas (BNI) Track傾向于顛覆式的創新科研成果,通常是比主會論文更加精選的賽道,今年的論文接受率為12%。同時,這也是計算機頂級會議收錄的第一篇區塊鏈驅動的元宇宙論文。

?

2. 論文介紹

CUHK(SZ) Metaverse校園總覽

Metaverse for Social Good: A University Campus Prototype

本工作由香港中文大學(深圳)、深圳市人工智能與機器人研究院蔡瑋教授團隊和南京純白矩陣科技有限公司吳嘯合作完成。其中,蔡瑋教授團隊包括段海涵(理工學院2020級計算機與信息工程博士生)、李嘉業(理工學院2020級計算機與信息工程博士生)、樊四正(理工學院2019級計算機與信息工程博士生)、以及林仲豪(理工學院2021級計算機與信息工程碩士生),分別為論文前四位署名作者,南京純白矩陣科技有限公司吳嘯為論文第五作者,蔡瑋教授為論文的通信作者。該論文里的系統由香港中文大學(深圳)理工學院十位計算機工程專業學生共同開發完成。

Metaverse,即“元宇宙”,是90年代Neal Stephenson的小說《雪崩》中所提到的概念。其中,“meta”意味著超越,“verse”則是宇宙“universe”的后綴。此概念表示下一代互聯網,即人們可以在三維虛擬世界中扮演自己的虛擬角色(avatar)并與該世界中的人或物進行交互。雪崩的第一個版本于1992年出版,距今已過去30年,而隨著電影《頭號玩家》的熱映,Metaverse再一次進入了大眾的視野。電影中描繪了一個叫做綠洲(Oasis)的虛擬世界,人們可以自由地接入綠洲,扮演自己訂制的角色,并在基本的規則之下做任何自己想做的事情。而電影中出現了一系列在現實世界中正在走向成熟的技術,如虛擬現實技術(VR)、傳感技術、觸覺反饋技術、物理建模技術等,所以讓大眾看到了實現Metaverse的可能性。不同于上述多媒體技術的逐漸發展,區塊鏈相關的技術則在近年來呈現了爆炸式的增長。

由于比特幣(目前世界上最著名的加密貨幣)的成功,基于分布式記賬本的區塊鏈應用開始得到廣泛關注。而Vitalik Buterin則構建了去中心化平臺以太坊,該平臺能夠通過智能合約自動與透明地執行應用程序,因此孕育了諸多去中心化應用程序(DApps),包括交易、能源、健康、身份認證、保險和多媒體等領域。因此,Metaverse作為一個基于多用戶的在線交互式多媒體社區能夠從區塊鏈技術的進步中汲取能力,從而構建一個更加公平、自由和可持續的社會生態。

CUHK(SZ) Metaverse基于位置信息的聊天室

近年來,隨著相關技術的發展,Metaverse在世界范圍內引起了極大的關注。人們期待中的Metaverse應該是一個非常真實的社會,擁有更直接的交互體驗,而種族、性別甚至身體殘疾等概念在Metaverse中將被淡化,因此有利于社會的發展。然而,目前Metaverse的發展仍處于初級階段,仍然具備很大的發展空間。由于看到了Metaverse的巨大潛力,工業界已經開始了提前布局和投資,但學術界相對缺乏對于Metaverse的研究和對Metaverse發展的科學指導。

因此,本文從宏觀角度提出了Metaverse的三層體系結構,包括基礎層、交互層和生態層,并針對每層提出了一些開放性研究問題,供后續研究者參考。之后,本文重點介紹了現有Metaverse應用中有益于社會的代表性應用,建立了詳細的Metaverse發展歷史,即時間線,并列表總結了代表性的Metaverse應用的特征。

最后,本文還介紹了課題組開發的Metaverse系統CUHK(SZ) Metaverse,該系統構建了香港中文大學(深圳)的虛擬原型,旨在為我們的校園學生提供一個互動的Metaverse。該系統是一個混合系統,學生在真實世界中的行為可以相應地影響虛擬世界,反之亦然。在未來,我們將不斷改進此原型系統,并繼續進行Metaverse相關的研究。實際上,不僅限于本文提出的問題,在Metaverse中仍然還有許多課題亟待研究。因此,本文的核心目的是吸引更多的研究者關注Metaverse的相關問題,從而共同創造一個更美好的社會。

?

3. 學生分享

19級計算機工程專業任臻

在CUHK(SZ) Metaverse項目前期,我和組里別的同學一樣,負責了校園模型的搭建。學校地形錯綜復雜,地勢高低變化多,層級多,在一開始給我們帶來了不小的挑戰。在經過大量的實地考察、照片比對以及同學們的推斷(腦補)后,我們最終以low-poly風格呈現了一個虛擬校園。

除卻校園模型的搭建,我主要負責的是該項目的后端和網絡服務。具體可分為云端數據庫服務以及玩家在場景中運動、外觀和場景的同步。該項目作為一個多人在線平臺,后端和網絡服務與大部分項目功能都息息相關,因此這一工作考驗了我和其他團隊成員的協作配合。了解其他同學所負責功能的實現方法并寫出簡單易用的接口、討論更加合理高效的解決方法、配合團隊成員進行簡單的測試,這些經歷很好的鍛煉了我的協作能力,也是對我大二期間所學的課程知識很好的實踐考驗,同時又推動著我不斷學習新的知識來滿足項目的需求。

作為一個喜歡游戲的人,在見識過許多優秀游戲作品,體驗過各種精妙的設計后,我在進行開發時也經常體會到力不從心,并感嘆于游戲開發龐大且復雜的知識體系。這次項目是我對游戲開發的初窺門徑,很高興在過程中能與教授討論游戲更多的可能性,通過所學去嘗試體現元宇宙這一概念,也希望在未來我們能涌現出更多精彩的想法,進一步地豐富CUHK(SZ) Metaverse。

?

19級計算機工程專業陳泓昊

在這個項目中,我主要參與校園建模、搭建聊天系統、寵物系統及實現游戲內編輯器幾個部分的工作。在項目過程中,令我印象最深的有個三方面:學習適應、技術探索和溝通協調。

首先,快速學習各種開發工具、適應某些自己不熟悉的領域是參與Metaverse項目的第一步。在校園建模時,作為一名沒有美術功底的理科生,短期內入門3D建模無疑是對我的一大挑戰。而3D建模并非我要涉足的唯一新領域,隨著項目的推進,更多新事物需要我去學習和適應。

此外,“技術探索”也是這個項目中繞不開的話題。以我負責的編輯器部分為例,為了讓玩家盡可能地發揮創造力,編輯器需要允許玩家在游戲中自由地搭建各種3D物品。然而,這樣的需求在游戲開發里并不常規,我們使用的游戲引擎無法提供“捷徑”。我和組員們嘗試了多種方案,不斷推翻排除不合適的策略,調整底層結構,才最終找到了一個可行且高效的實現方式。

最后,除了與技術文檔和Stack Overflow相伴,“溝通協調”也是重要的一環。只有將自己負責的模塊與其他成員的成果合理組合,才能使自己的工作真正貢獻于整個項目。而單單編輯器模塊就需要與后端數據庫、商店、家園系統等多個模塊交互配合。反復與其他成員溝通、調整接口所花費的精力絲毫不低于突破各類技術難題。

?

19級計算機工程專業梁雨陽

我在CUHK(SZ) Metaverse項目組中承擔了部分建模工作以及Metaverse中換裝系統的開發。建模工作對于我是個蠻大的挑戰,因為之前缺乏相關經驗,我從建模軟件入門開始摸索,到一點點搭出校園內的建筑。建模過程雖磕磕絆絆,完工時仍開心自得。換裝系統是為了實現玩家在Metaverse中虛擬形象的個性化而打造的,這一部分工作也是一段很酷的開發經歷。曾經在游戲中體驗過的簡單功能,自己親手實現時又變得復雜。

對于我而言這一開發過程同時也是一個的學習的過程,在開發的過程中不斷的遇到問題并且解決問題,學習新的知識,積累經驗。我同樣體會到團隊合作也是開發過程中重要的一環,項目組中大家雖然各有分工,但每個部分仍環環相扣,不斷的交流與磨合不可缺少,在這些過程中我對項目開發也有了更立體、深入的認識。

?

19級計算機工程專業姚南君

對我來說,能參加這個項目是一件非常值得慶祝的事情,為此我購買了一杯售價高于三十人民幣的新式茶飲略表激動。

這是一個非常精彩且前沿的課題。它充滿古早科幻意味的同時,在當下以充滿未來感的姿態走入人們的視野,又在宏觀與微觀的方面和生活息息相關。而CUHK(SZ) Metaverse系統就用一種簡約的方式,對此做出了一種小范圍的模擬。而我非常榮幸地,作為開發者之一,與其他幾位優秀且有趣的同學一同構建了這一系統。除了耗時漫長、充滿艱辛的且全員參與的校園建筑外墻裝潢及綠化地形搭建之外,我在組內的主要工作是游戲系統的架構與功能設計,還有一部分的界面設計。這是一件充滿挑戰性的工作。因為游戲系統的搭建是一個從0到1,再到10、100、1000的過程。要實現什么,能實現什么,什么有意義,什么好玩,什么有趣……提案不斷被提出、修正、討論、否定,最初玩法的確立就耗費了制作組大量的時間和精力。

結束了嗎?這才剛剛開始。如果把系統開發比作一棟樓房的建設,確定玩法只是打下了地基,科研需求則是承重柱,還有許許多多或大或小的功能和設計尚且只是圖紙上的一個粗線條的輪廓,需要填充大量的細節,考慮可行性和趣味性,討論成本和工期的優先級。而大小功能之間,又有著各種串聯和層級。這一點在做界面設計的時候顯得格外明顯。每在主界面放下一個按鍵,就會引出一個新的界面,而新界面上又有許多的細節,而每個細節都有多則百字的說明。在這個仿佛花式套娃的過程中,又隨時都有可能發現新的空白有待填充,或者發現設計的矛盾和漏洞,所謂眼前一黑當頭一棒迎面一拳大致如是。

正如前文所說,這是一個充滿挑戰性的工作,但同時,我的伙伴有趣且優秀。你永遠可以相信他們的認真負責和獨一無二的頭腦。他們會努力實現需求,斟酌現狀對意外作出反應,甚至在已有的需求上提出嶄新的可能。和這樣的人一起工作是一件愉快的事情。雖然策劃可能增加需求、更改需求,但你永遠可以相信他們。而且,在并不輕松的工作過程中,會伴有一種“可能會有一些意料之外的獲得”的期待。例如在前期的手工建模過程就地取材的工作中,在從未踏足過的小山坡上,涼爽的晚風吹拂中記錄一個建筑不為人所見的背面;坐在空巴空巴上一趟趟穿梭于上下園之間,繪制記錄建筑在明暗面交界處的顏色;夜晚行走在校園的某條道路上,一時興起間對兩旁的路燈計數,或是在計數時為圖書館前粼粼水波而屏息。

而在此之后,在完成了所有模型的上色和組裝,在場景經過了渲染后,在燈火明滅晝夜交替之中,會有一種仿佛第一次用一行或上千行代碼跑出了Hello World的感觸。類似的,除了直觀的建模和一些文案之外,還有看不到的運行邏輯和功能設計。我期待著游戲系統上線,然后從某個視角去看這個“有一部分是由自己建構起來的”世界。這種感覺不同于在開發中常見的柳暗花明劫后余生,或是心性智力的快速成長,這更像是一種充滿造物感和幻想色彩的浪漫。而我非常期待這種浪漫。這種對于個體創造和探索的驚喜感也延續到了游戲中。說到這個,除了埋藏在各個角落的彩蛋之外,不得不提我們在游戲里設計了一個編輯器的功能。雖然創造只是這個玩法中的一部分,但其提供了用戶DIY上色的功能,富有個人色彩的體現和獨一無二的創造性。希望上線之后玩家可以體驗一下,我認為這會是一個充滿趣味性的過程。在游戲中以及游戲外,還有類似的注重個體的設計,希望各位能到游戲中具體體會。

當然,在可以愉快單機甚至愉快后臺的同時,系統也提供了與其他個體在各種層面進行即時或延遲交互的選擇。而人際交往在延續了日常生活的關系之外,還建構了更多場景下與更多人交互的可能。我們期待各種類型的個體,都能獲得屬于自己的快樂。也由衷期待獨一無二的你,在CUHK(SZ) Metaverse系統中,為這個世界增添獨一無二的精彩。

?

19級計算機工程專業胡藝嚴

作為Metaverse項目組中的一員,我參與了虛擬校園建模、公告牌社交、角色編輯器這三項工作。我們Metaverse項目希望為學生提供一個虛擬空間,類似于一款名為“第二人生”的游戲,學生可以在其中開啟他們的“第二校園生活”體驗。這一“第二校園生活”將會豐富學生的生活。我們預想在Metaverse中:虛擬校園提供“第二校園生活”的舞臺,多樣的社交途徑擴展學生的交際圈,自由創作的編輯器促進校內創意的碰撞。我有幸參與了校園模型、社交、編輯器三個部分的工作,并著力于為同學們打造這一“第二校園”的Metaverse空間。實現“第二校園”的目標并不容易,而我們實驗室的成員們共同努力,并一步步地向目標前進。

?

19級計算機工程專業趙益凡

我有幸能和很多位大佬一起負責游戲的編輯器的部分。讓Roblox等Metaverse在所有游戲中出眾的就是他們的編輯器,玩家不需要任何游戲開發的知識就可以在Metaverse中自由創作。在CUHK(SZ) Metaverse的編輯器中,玩家可以通過塔方塊這種簡單的方式,來構建自己想要在游戲內創造的東西,然后編輯器的算法會通過這些方塊建成與游戲相同畫風的模型。編輯器是一個十分復雜的工程,我只負責了其中視角控制、存檔等功能。雖然都是基礎的功能,但也讓我這個rookie開發者在和同學們的合作過程中學到了很多。

我是在這個暑假開始時剛剛加入的CUHK(SZ) Metaverse團隊,這么快就能上手項目并做出一點點的貢獻,離不開的是教授的支持與同學的幫助,尤其感謝與我同組的同學們。希望大家能在Metaverse中玩得開心,也期待能和這群優秀的同學們一起在未來做出更棒的東西!

?

19級計算機工程專業陳秋泓

CUHK(SZ) Metaverse創造了一個模擬日常社交的虛擬空間,但它的最初的目的是用來給實驗室的成員們練手的。在我們拿到這個任務時,我們完全無法想象我們能夠走到哪一步,能呈現出怎樣的效果。我們從無到有去學習3D建模、后端服務器、基于unity3D的游戲設計,并最終創造出了這樣一個成果,這本身就是一件值得驕傲的事。

呈現出來的結果或許簡單,但一路上的坎坷只有負責實現的人才懂。我記得在建模思廷書院時,用手機拍攝外墻細節時被致以奇怪的目光;渲染模型時為了調節光照卻呈現出陰間濾鏡;調試代碼時發現面對8個腳本十幾個物體時直接自閉,但最終又莫名其妙解決后的無奈。盡管過程費時費力,但就是看著這些簡單卻又穩定、流暢的結果,每個開發者都會感受到由衷的歡喜。

技術上的困難可以靠努力補足,如何讓這個團隊高效運作則需要溝通和交流。微信群里的提問和回答、周二下午的新圖二樓研討室、github上井然有序的提交,都早已成為了我們的心照不宣的習慣。我們交流自己的想法,匯報自己的進度,發起投票選擇方案,回想起來,這些就是我大二一年里最充實最歡樂的時光。

?

19級計算機工程專業陳彤

很開心能作為一員加入metaverse項目組,前期我也參與了建模,建模大體完成之后合作完成后臺掛機部分包括區域的聊天室、個人信息、行蹤報告和一些代幣和盲盒發放。建模是一直很想學的事情,如果沒有這樣的任務,可能會一直拖延到很后面才會學習??粗掌M瓿傻某删透锌赡苁俏医5膭恿Π桑贿^要記得保存。感覺身邊的同學都非常得厲害,組會的時候都會“蹭蹭蹭”拿出很好的方案和結果,和數據庫的同學合作也開心,掛機部分能和數據庫很好地聯系上。比較頭疼的是鎖屏運行的問題,嘗試了各種從unity回調,現在在安卓重新寫了,希望能趕上游戲發布的時候。感悟感覺更像是一切完成之后我們的回顧,所以現在的我真的想不出感悟,或許對于我們,一切才剛剛開始。

?

20級計算機工程專業林澤昕

作為與各位用戶直接接觸的部分,從初代馬里奧的跳躍到如今各3A大作動輒上百種動作的組合,角色控制的舒適與否直接地影響著整個世界最終的展現效果。試想一下,假如馬里奧的速度稍微快一些或者跳的高一些的結果,會對整體的體驗造成多大的影響?在開發過程中,本組主要負責了人物動畫、人物移動、與場景交互、相機移動這幾個模塊。其中對相機的控制最為重要,也是技術難點的主要集中之處。如何跟隨角色移動?被障礙物遮擋時應該如何處理?轉動視角的速度與靈敏度應該快些還是慢些?都是在反復調節后才找到的最優搭配。在這個過程中,有許多經驗性的知識很難總結,只能一點點地試,但是看到最終效果的不斷增強,頓時覺得苦盡甘來。希望我們精心打磨的角色會帶給大家最具沉浸感的體驗,也希望各位能通過自己的角色深度走進這個美麗的世界。

?

20級計算機工程專業徐翔宇

我與林澤昕一起負責角色控制組,通過編寫控制人物行動的腳本形成一個方便玩家上手操控的角色控制器。我負責使編輯器運行流暢,使玩家達到最佳的操控體驗,同時還負責制作地圖中的傳送系統。實驗室的工作之旅才剛剛開始,我還有很多需要學習的。希望大家可以多來玩我們的Metaverse!

?

4. 教授簡介

蔡瑋

理工學院助理教授

校長青年學者

蔡瑋教授2008年畢業于廈門大學軟件工程系,2011年獲韓國首爾大學電氣工程與計算機科學碩士,2016年獲加拿大不列顛哥倫比亞大學電氣與計算機工程博士,并于2016年至2018年期間在該校擔任博士后研究員。求學期間曾赴日本國立情報學研究所、香港理工大學、臺灣中央研究院等科研院所從事訪問研究工作。

蔡瑋教授于2018年8月加入香港中文大學(深圳),擔任理工學院計算機工程助理教授、博士生導師,人云系統實驗室主任。他的研究興趣主要包括云系統,人機交互,區塊鏈,邊緣系統,群體智能以及游戲系統等,目前已在國際主流學術期刊和會議發表50余篇論文,曾榮獲2019 ACM BSCI最佳學生論文獎,2018年中國區塊鏈大會最佳論文獎,2015年度中國國家優秀自費留學生獎學金,CloudCom2014、SmartComp2014以及CloudComp2013最佳論文獎等。他是現任IEEE Transactions on Cloud Computing的編委,中國計算機協會區塊鏈專委會委員。

?

文章轉自香港中文大學(深圳)理工學院微信公眾號,鏈接為https://mp.weixin.qq.com/s/7ogNPc3Siyjb7RyI4jPJHQ