崔曙光教授團(tuán)隊(duì)在國際頂級期刊《美國國家科學(xué)院院刊》發(fā)表研究論文
香港中文大學(xué)（深圳）崔曙光教授的研究團(tuán)隊(duì)近日在國際頂級期刊《美國國家科學(xué)院院刊》（Proceedings of the National Academy of Sciences）發(fā)表研究論文，提出了高效通信的聯(lián)邦學(xué)習(xí)算法從而實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)在無線蜂窩網(wǎng)絡(luò)中的部署。本項(xiàng)研究的合作者包括：本·古里安大學(xué)Nir Shlezinger、魏茨曼科學(xué)研究學(xué)院Yonina Eldar、普林斯頓大學(xué)H.Vincent Poor。崔曙光教授和H. Vincent Poor共為本文的通訊作者。
點(diǎn)擊圖片，閱讀全文
?
關(guān)于文章
邊緣設(shè)備，如物聯(lián)網(wǎng)設(shè)備（傳感器）、服務(wù)器和機(jī)構(gòu)（醫(yī)院）能夠用聯(lián)邦學(xué)習(xí)協(xié)作訓(xùn)練機(jī)器學(xué)習(xí)模型。在訓(xùn)練過程中，邊緣設(shè)備無需共享其私人數(shù)據(jù)。然而，在聯(lián)邦學(xué)習(xí)的訓(xùn)練過程中，邊緣設(shè)備需要迭代交換它們的機(jī)器學(xué)習(xí)模型參數(shù)。因此，利用聯(lián)邦學(xué)習(xí)訓(xùn)練可靠的機(jī)器學(xué)習(xí)模型所需的時(shí)間不僅取決于訓(xùn)練的迭代次數(shù)，還取決于每一步的機(jī)器模型參數(shù)的傳輸時(shí)間。在實(shí)際應(yīng)用中，多個(gè)運(yùn)行聯(lián)邦學(xué)習(xí)的邊緣設(shè)備需要通過資源受限（帶寬或功率受限）的通信網(wǎng)絡(luò)傳輸訓(xùn)練的機(jī)器學(xué)習(xí)模型參數(shù)。因此，邊緣設(shè)備的迭代傳輸機(jī)器學(xué)習(xí)模型 參數(shù)會引起顯著的時(shí)延。該時(shí)延可能要比機(jī)器學(xué)習(xí)模型的訓(xùn)練時(shí)間大幾個(gè)數(shù)量級。因此，機(jī)器學(xué)習(xí)模型傳輸時(shí)延是在無線蜂窩網(wǎng)絡(luò)中部署聯(lián)邦學(xué)習(xí)的主要瓶頸之一。崔教授團(tuán)隊(duì)提出了一種通信高效的聯(lián)邦學(xué)習(xí)算法。該算法能夠能夠合理地運(yùn)用無線網(wǎng)絡(luò)資源從而降低了聯(lián)邦學(xué)習(xí)的收斂時(shí)間和訓(xùn)練損失。
崔教授團(tuán)隊(duì)主要對聯(lián)邦學(xué)習(xí)算法中邊緣設(shè)備的選擇，需要傳輸?shù)臋C(jī)器學(xué)習(xí)模型參數(shù)的壓縮，無線網(wǎng)絡(luò)中的頻譜資源的分配進(jìn)行優(yōu)化。首先，針對需要傳輸機(jī)器學(xué)習(xí)模型參數(shù)的邊緣設(shè)備數(shù)遠(yuǎn)大于網(wǎng)絡(luò)能夠支持的通信設(shè)備數(shù)，崔教授團(tuán)隊(duì)設(shè)計(jì)了一種隨機(jī)邊緣設(shè)備選擇方案。該方案根據(jù)用戶與基站的距離以及對聯(lián)邦學(xué)習(xí)參數(shù)更新的歷史貢獻(xiàn)決定邊緣設(shè)備的接入概率，不僅保證了每個(gè)邊緣設(shè)備都能參與聯(lián)邦學(xué)習(xí)訓(xùn)練，還降低了聯(lián)邦學(xué)習(xí)的收斂時(shí)間和訓(xùn)練損失。
圖1. 聯(lián)邦學(xué)習(xí)用于手寫字體識別（左圖）。在不同允許接入的設(shè)備數(shù)下，聯(lián)邦學(xué)習(xí)的收斂速度（右圖）
為了進(jìn)一步減少聯(lián)邦學(xué)習(xí)算法的收斂時(shí)間，崔教授團(tuán)隊(duì)根據(jù)聯(lián)系學(xué)習(xí)算法的特點(diǎn)，1）邊緣設(shè)備無法完全了解自己的聯(lián)邦學(xué)習(xí)模型參數(shù)的分布，2）中心服務(wù)器與邊緣設(shè)備需要反復(fù)通信，提出了利用通用矢量量化方法對需要傳輸?shù)臋C(jī)器學(xué)習(xí)模型參數(shù)進(jìn)行壓縮的算法，從而減少了邊緣設(shè)備之間需要交換的模型參數(shù)量值。通過理論分析與實(shí)驗(yàn)驗(yàn)證發(fā)現(xiàn)，所提出的量化方法能夠大大降低量化與噪聲對學(xué)習(xí)模型帶來的誤差。
圖2.?聯(lián)邦學(xué)習(xí)采用不用量化方法的性能對比.
教師簡介
崔曙光
香港中文大學(xué)（深圳）校長講座教授
理工學(xué)院教授
未來智聯(lián)網(wǎng)絡(luò)研究院院長
崔曙光教授，國家重點(diǎn)研發(fā)計(jì)劃首席科學(xué)家，全球高被引學(xué)者，IEEE Fellow，深圳市杰出人才培養(yǎng)計(jì)劃首批入選人。崔教授于2005年在美國斯坦福大學(xué)獲得博士學(xué)位，先后在UC Davis等多所美國大學(xué)任教至講座教授?，F(xiàn)任香港中文大學(xué)（深圳）冠名校長講座教授、未來智聯(lián)網(wǎng)絡(luò)研究院院長、港中深-京東集團(tuán)人工智能聯(lián)合實(shí)驗(yàn)室主任，深圳市大數(shù)據(jù)研究院常務(wù)副院長。
崔教授的科研成果主要集中在數(shù)據(jù)驅(qū)動、AI賦能的大規(guī)模系統(tǒng)控制和資源管理。他已在國際一流期刊和會議上發(fā)表了280多篇論文，是IEEE 信號處理協(xié)會2012年最佳論文獎獲得者，并曾擔(dān)任多個(gè)IEEE國際會議的主席和程序委員會主席，兩個(gè)IEEE國際期刊的指導(dǎo)委員會成員、主席，多個(gè)IEEE國際期刊的編委和領(lǐng)域主編，IEEE無線技術(shù)委員會的主席。他在2013年當(dāng)選IEEE Fellow（博士畢業(yè)8年內(nèi)入選，IEEE歷史上最快之一），在2014年入選IEEE通信協(xié)會杰出講師，湯森路透全球高被引科學(xué)家名單，和ScienceWatch的全球最具影響力科學(xué)家名單。在2017年10月，基于其在物聯(lián)網(wǎng)和數(shù)據(jù)分析領(lǐng)域的學(xué)術(shù)聲譽(yù)，他應(yīng)阿里巴巴集團(tuán)的邀請到杭州，作為13名科學(xué)家之一為阿里巴巴達(dá)摩院的成立提供了戰(zhàn)略性意見。崔教授在2020年獲得IEEE ICC最佳論文獎，IEEE ICIP最佳論文列表，IEEE GLOBECOM最佳論文獎，中國ICT2020創(chuàng)新應(yīng)用獎，Chinagraph首個(gè)圖形開源數(shù)據(jù)集獎，中國電子學(xué)會自然科學(xué)一等獎，中國通信學(xué)會技術(shù)發(fā)明一等獎。
?
文章轉(zhuǎn)自未來智聯(lián)網(wǎng)絡(luò)研究院官網(wǎng)，鏈接https://fnii.cuhk.edu.cn/article/101
