《面向多模态联邦学习多层异质性问题的软硬件协同优化关键技术研究》项目,由清华大学牵头,联合香港科技大学、湖南大学共同承担。该项目关注到现有多模态联邦学习框架受多层异质性影响,难以同时满足准确性、高效性和安全性要求,拟构建软硬件协同优化的MFL系统框架。在硬件层,通过构建异构算子库、优化数据传输、统一硬件抽象接口和实现资源调度框架,提高各平台的计算与传输效率;在体系结构层,提出基于一致性模型、混合并行框架、动态模型迁移与异步通信、高效同态加密的优化策略,降低训练和通信延迟;在算法层,针对数据模态、统计及训练异质性,采用共享编码器、跨模态注意力、动态权重分配和个性化正则化策略,提升模型泛化能力;在应用层,通过在典型多模态大语言模型上示范,推动视觉问答、多模态推荐及生成任务的发展。该项目自底向上优化各层异质性,有望显著降低计算、访存和通信开销,实现更准确、安全、高效的MFL训练与推理,为MFL应用推广提供坚实支撑。