浸大计算机科学家获IEEE INFOCOM 2021颁发「最佳论文奖」

香港浸会大学计算机科学系褚晓文教授、博士毕业生施少怀博士及香港科技大学李波教授合著论文《Exploiting Simultaneous Communications to Accelerate Data Parallel Distributed Deep Learning》，获「IEEE计算机通信国际会议（INFOCOM）2021」颁发「最佳论文奖」。

获奖论文提出了一种新颖的算法来减少在GPU集群上训练大型AI模型所需的时间。 通过理论分析和实验，论文发现利用并发的All-Reduce通信可以有效提高小张量数据的通信效率。为了同时利用张量融合和并发通信，该团队提出了一个新的数学优化问题，并找到一种有效的解决方案，称为ASC-WFBP。团队在具有32个GPU和10Gbps以太网的8节点GPU集群上进行了大量的实验。通过在四个流行的AI模型上进行性能评估，实验结果表明ASC-WFBP相比不进行张量融合的基线方法提高约1.09-2.48倍的速度，而相比最先进的张量融合解决方案也可以提高1.15-1.35倍的速度。

为期四天的计算机通信国际会议（INFOCOM）是业界中研究网络的大型及重要会议。研究人员展示有关网络和其他紧密相关领域的重大研究及交流创新意念。经过严格的双盲评审过程，在1,266份论文中，只有五分之一被接纳。最终共有三份论文被评选为「最佳论文奖」。