浸大計算機科學家獲IEEE INFOCOM 2021頒發「最佳論文獎」

香港浸會大學計算機科學系褚曉文教授、博士畢業生施少懷博士及香港科技大學李波教授合著論文《Exploiting Simultaneous Communications to Accelerate Data Parallel Distributed Deep Learning》，獲「IEEE計算機通信國際會議（INFOCOM）2021」頒發「最佳論文獎」。

獲獎論文提出了一種新穎的算法來減少在GPU集群上訓練大型AI模型所需的時間。 通過理論分析和實驗，論文發現利用並發的All-Reduce通信可以有效提高小張量數據的通信效率。為了同時利用張量融合和並發通信，該團隊提出了一個新的數學優化問題，並找到一種有效的解決方案，稱為ASC-WFBP。團隊在具有32個GPU和10Gbps以太網的8節點GPU集群上進行了大量的實驗。通過在四個流行的AI模型上進行性能評估，實驗結果表明ASC-WFBP相比不進行張量融合的基線方法提高約1.09-2.48倍的速度，而相比最先進的張量融合解決方案也可以提高1.15-1.35倍的速度。

為期四天的計算機通信國際會議（INFOCOM）是業界中研究網絡的大型及重要會議。研究人員展示有關網絡和其他緊密相關領域的重大研究及交流創新意念。經過嚴格的雙盲評審過程，在1,266份論文中，只有五分之一被接納。最終共有三份論文被評選為「最佳論文獎」。