西南交通大学大模型边缘推理优化技术取得新成绩

今年7月底，第二届中国计算机学会芯片大会在上海举办。近两千名国内外计算机和微电子等学科领域从事芯片相关研究与技术开发的专家学者、研究人员、企业代表参会，共同探讨芯片设计与EDA、新型体系架构、容错计算、新兴计算机工程与工艺等方面的理论创新、技术研发、应用示范与产业发展话题。在本届芯片大会体系结构专委组织的“CCFTCarch定制计算挑战赛”(消费级显卡的LLM部署加速)上，西南交通大学冯力教授带领的研究团队凭借其在大模型边缘推理优化方面的卓越表现，荣获了全国第二名的优异成绩。在此次竞赛中，冯力团队采用了一系列创新技术来应对大模型边缘推理面临的挑战，其中包括算子融合技术。该技术通过将多个独立的运算操作合并，减少了显存的频繁读写，显著提升了计算效率。据冯力介绍，通过算子融合，团队成功地将计算时间缩短了80%以上，极大地提高了计算资源的利用效率。此外，团队还实施了精度量化技术，将部分计算从浮点运算转换为定点运算。虽然这在一定程度上带来了精度上的损失，但整体上仍实现了计算速度的大幅提升和能耗的降低。冯力强调，此次竞赛的成功离不开团队成员之间的紧密合作。尽管参赛的学生们在大模型领域缺乏经验，但他们展现出了非凡的学习能力和勇于探索的精神。通过与国际顶尖学者的合作，特别是与英国布里斯托大学的跨国交流，学生们不仅拓宽了视野，也积累了宝贵的经验。冯力表示：“我们的学生非常年轻，但他们充满热情，勇于面对挑战。通过大量的文献阅读和技术研讨，他们迅速掌握了相关领域的最新进展，并将理论知识转化为实践成果。”谈及未来的发展方向，冯力表示，随着大模型技术的进步，特别是在隐私保护和私有化部署方面的需求日益增加，团队的研究成果将具有广阔的应用前景。例如，在金融、交通和航空等领域，许多敏感数据不适合传输到云端处理，而是在本地进行分析，这就需要高效的大模型边缘推理技术。冯力透露，目前团队正在积极与多家企业和研究机构合作，致力于将研究成果应用于网络安全漏洞分析和交通大数据处理等方面，推动科研成果的商业化转化。

今年7月底，第二届中国计算机学会(CCF)芯片大会在上海举办。近两千名国内外计算机和微电子等学科领域从事芯片相关研究与技术开发的专家学者、研究人员、企业代表参会，共同探讨芯片设计与EDA、新型体系架构、容错计算、新兴计算机工程与工艺等方面的理论创新、技术研发、应用示范与产业发展话题。

在本届芯片大会体系结构专委组织的“CCFTCarch定制计算挑战赛”(消费级显卡的LLM部署加速)上，西南交通大学冯力教授带领的研究团队凭借其在大模型边缘推理优化方面的卓越表现，荣获了全国第二名的优异成绩。

在此次竞赛中，冯力团队采用了一系列创新技术来应对大模型边缘推理面临的挑战，其中包括算子融合技术。该技术通过将多个独立的运算操作合并，减少了显存的频繁读写，显著提升了计算效率。

据冯力介绍，通过算子融合，团队成功地将计算时间缩短了80%以上，极大地提高了计算资源的利用效率。此外，团队还实施了精度量化技术，将部分计算从浮点运算转换为定点运算。虽然这在一定程度上带来了精度上的损失，但整体上仍实现了计算速度的大幅提升和能耗的降低。

冯力强调，此次竞赛的成功离不开团队成员之间的紧密合作。尽管参赛的学生们在大模型领域缺乏经验，但他们展现出了非凡的学习能力和勇于探索的精神。通过与国际顶尖学者的合作，特别是与英国布里斯托大学的跨国交流，学生们不仅拓宽了视野，也积累了宝贵的经验。冯力表示：“我们的学生非常年轻，但他们充满热情，勇于面对挑战。通过大量的文献阅读和技术研讨，他们迅速掌握了相关领域的最新进展，并将理论知识转化为实践成果。”

谈及未来的发展方向，冯力表示，随着大模型技术的进步，特别是在隐私保护和私有化部署方面的需求日益增加，团队的研究成果将具有广阔的应用前景。例如，在金融、交通和航空等领域，许多敏感数据不适合传输到云端处理，而是在本地进行分析，这就需要高效的大模型边缘推理技术。冯力透露，目前团队正在积极与多家企业和研究机构合作，致力于将研究成果应用于网络安全漏洞分析和交通大数据处理等方面，推动科研成果的商业化转化。

冯力表示:“我们的学生非常年轻，但他们充满热情，勇于面对挑战。通过大量的文献阅读和技术研讨，他们迅速掌握了相关领域的最新进展，并将理论知识转化为实践成果。谈及未来的发展方向，冯力表示，随着大模型技术的进步，特别是在隐私保护和私有化部署方面的需求日益增加，团队的研究成果将具有广阔的应用前景。”