10月18日,第十三届并行应用挑战赛(Parallel Application Challenge,PAC)总决赛在深圳举行。清华大学计算机系团队从全国244支优化赛道队伍中脱颖而出,获优化赛道特等奖。这是该团队继2025年首次获得该奖项后再度夺魁,实现该赛道的二连冠。

颁奖现场
决赛要求在国产鲲鹏处理器上完成FP64三张量缩并和Indexer融合算子加速任务。三张量缩并是将三个多维张量沿公共维度连续相乘并求和的运算,是量子化学、量子物理等科学计算领域的基础操作。赛题要求在8个NUMA节点上以双精度协同完成计算,对跨NUMA通信和访存带宽要求较高。Indexer融合算子是大模型稀疏注意力机制中的关键算子,用于快速计算查询与上下文中各个词元的相关性,筛选关键信息参与注意力计算,对提升大模型长文本推理效率至关重要。
团队自暑假起备战,围绕鲲鹏处理器体系结构特点,对两道赛题进行持续迭代优化:从参考代码出发,逐项定位性能瓶颈,逐层叠加优化方案。针对三张量缩并,团队设计计算与跨NUMA通信深度重叠的执行方案,并结合多级任务划分和手工汇编计算内核,使实测性能达双精度理论峰值约四分之三。针对Indexer融合算子,团队提出硬件感知的量化方案,以高吞吐int8矩阵运算替代BF16计算,在满足精度要求的同时,实测性能超过原生BF16矩阵运算的理论峰值。最终,三张量缩并算子在两个测试用例上较基准分别加速852倍和587倍,Indexer融合算子分别较基准加速1,962倍和1,478倍。
团队由计算机系三名本科生组成,队长为计42班王晨捷,队员为计41班牛嘉胤、计47班高锦衡。指导教师为计算机系教授翟季冬、工程师陈逸东,博士生邢竞择、杨雨晴、张闰清提供技术支持。
并行应用挑战赛是中国三大并行挑战赛事之一,自2013年创办以来,已成为国内并行计算领域的重要标杆。十余年来,赛事已吸引全国40余座城市、400多所高校及单位的1800余支队伍、超14000人参赛。