近日，深圳北理莫斯科大學(xué)人工智能研究院訪(fǎng)問(wèn)學(xué)生王魯亞以深北莫為第一單位，在無(wú)線(xiàn)通信領(lǐng)域頂級(jí)學(xué)術(shù)期刊IEEE Transactions on Wireless Communications（IEEE TWC，中國(guó)科學(xué)院一區(qū)TOP期刊，IF：10.4）發(fā)表研究成果，題目為“Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principal Component Analysis”。論文合作作者包括深圳北理莫斯科大學(xué)董延杰副教授、胡希平教授、梁中明教授（Life Fellow, IEEE）、北京科技大學(xué)張海君教授（杰青、Fellow, IEEE）、光明實(shí)驗(yàn)室執(zhí)行主任于非教授（Fellow, IEEE）和深圳大學(xué)王佳助理教授。

該論文研究了一種無(wú)線(xiàn)聯(lián)邦學(xué)習(xí)系統(tǒng)架構(gòu)，如上圖所示。該系統(tǒng)允許服務(wù)器和多客戶(hù)端通過(guò)正交無(wú)線(xiàn)信道交換未編碼的信息。由于客戶(hù)端頻繁通過(guò)受限信道向服務(wù)器上傳本地梯度，導(dǎo)致從客戶(hù)端到服務(wù)器的上行傳輸成為整個(gè)系統(tǒng)的通信瓶頸。因此，采用一次性分布式主成分分析（PCA）來(lái)降低上傳梯度的維度，以緩解通信瓶頸?；诘途S梯度和Nesterov動(dòng)量提出了一種PCA基無(wú)線(xiàn)聯(lián)邦學(xué)習(xí)（PCA-WFL）算法及其加速版本（即PCA-AWFL）。論文首次針對(duì)非凸損失函數(shù)進(jìn)行了有限時(shí)間分析，以量化系統(tǒng)超參數(shù)對(duì)PCA-WFL和PCA-AWFL算法收斂性的影響。本文定量化地揭示了PCA-AWFL算法傳統(tǒng)隨機(jī)梯度下降算法收斂更快和客戶(hù)端數(shù)量的線(xiàn)性加速效果。

同期，深北莫人工智能研究院梁鋒副教授以第一作者在信息科學(xué)領(lǐng)域的頂級(jí)學(xué)術(shù)期刊Information Sciences (IF: 8.1，中國(guó)科學(xué)院一區(qū)Top期刊) 發(fā)表以深北莫為第一單位題為”RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization“的學(xué)術(shù)論文。

該論文針對(duì)分布式數(shù)據(jù)庫(kù)的join操作在數(shù)據(jù)交換過(guò)程中產(chǎn)生的大量網(wǎng)絡(luò)通信工作負(fù)載造成性能瓶頸的問(wèn)題，提出了通信負(fù)載感知的基于相對(duì)成本的查詢(xún)優(yōu)化器，實(shí)現(xiàn)了分布式數(shù)據(jù)庫(kù)從邏輯執(zhí)行計(jì)劃到物理執(zhí)行計(jì)劃的實(shí)時(shí)優(yōu)化。文中通過(guò)對(duì)多種分布式j(luò)oin操作在不同執(zhí)行階段的網(wǎng)絡(luò)和本地計(jì)算工作負(fù)載的建模，解釋了join操作兩端的數(shù)據(jù)集的相對(duì)大小對(duì)于性能影響的重要性?；诖?，文中提出的RelJoin的高效分布式j(luò)oin物理操作的選擇策略，利用運(yùn)行時(shí)自適應(yīng)的統(tǒng)計(jì)數(shù)據(jù)對(duì)不同的分布式j(luò)oin操作進(jìn)行精準(zhǔn)的成本估算，并為邏輯執(zhí)行計(jì)劃中的join操作實(shí)時(shí)選擇最佳的物理實(shí)現(xiàn)，從而實(shí)現(xiàn)最優(yōu)的物理查詢(xún)計(jì)劃。在TPC-DS基準(zhǔn)測(cè)試中，相比其它執(zhí)行計(jì)劃優(yōu)化方法，RelJoin在97個(gè)查詢(xún)中的62個(gè)中表現(xiàn)最佳，可以將平均查詢(xún)時(shí)間減少高達(dá)21％。該工作已實(shí)現(xiàn)在業(yè)界流行的分布式數(shù)據(jù)庫(kù)SparkSQL中，可廣泛應(yīng)用于大數(shù)據(jù)的查詢(xún)、分析和搜索的場(chǎng)景，具有科研和工業(yè)應(yīng)用的雙重價(jià)值。

該論文的合作作者包深北莫胡希平教授、李成明教授，和來(lái)自香港大學(xué)、北京大學(xué)、香港浸會(huì)大學(xué)等多所高校的學(xué)者，體現(xiàn)了深北莫教師與其它著名高校的緊密學(xué)術(shù)合作，并取得了一定的成效。

論文相關(guān)信息：

[1]Y. Dong et al., "Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principal Component Analysis," in IEEE Transactions on Wireless Communications, vol. 23, no. 6, pp. 5938-5952, June 2024, doi: 10.1109/TWC.2023.3329375.

[2]F. Liang et al., " RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization," in Information Sciences, vol. 658, 120022, 2024, doi: 10.1016/j.ins.2023.120022.