主讲人：程翔教授

主持人：陈庆春教授

2024年12月12日上午9:00-11:00由广州大学电子与通信工程学院主办的电信黄埔大讲堂第45讲在腾讯会议线上举行。本次大讲堂的主题是：机器联觉:面向任务的 A 原生通信与多模态感知智能融合。主讲嘉宾为程翔教授。本次大讲堂由电子与通信工程学院陈庆春教授主持。

在会议上，教授向与会者们从机器的联觉（SoM）、SoM的基础：多模态数据集构建和SoM赋能通信传输：AI4PHY三个方面，详细地介绍了机器联觉的概念，强调了其在AI原生通信和多模态感知智能融合中的重要性。。

程教授强调了6G作为新一代关键信息基础设施的潜力，它将助力实现“万物智联、数字孪生”，并在5G的基础上进一步拓展，融合通信、感知、计算和AI等能力，形成六大场景。机器联觉包含通信智能融合和通信感知融合两大6G典型场景，与现有技术相比，它将探索通信与多模态感知的融合，实现高动态场景下的深度交叉融合。

程教授的演讲还涉及了首次提出的机器联觉概念，构建了通信与多模态感知的智能融合架构，并搭建了首个多场景、多模态信息数据集。AI4PHY是利用多模态信息和AI赋能传输方案设计的一个例子，而LLM4CP则是基于预训练大语言模型的信道预测，首次将预训练大语言模型应用于信道预测任务。通过设计信道特征增强的神经网络，实现了预训练大模型在信道预测任务上的知识迁移。仿真验证了所提出方案在TDD和FDD信道预测任务上的SOTA预测性能，以及良好的少样本学习能力和泛化性能。这些方案具有较好的通用性，能够扩展到不同LLM种类，适应不同微调方式，并扩展到细粒度信道预测等信道预测相关任务。

   程教授的介绍引起了与会者们的广泛兴趣和积极讨论。同时章教授研究学术的认真态度也让同学们大受启发，激励着同学们努力进行科研探索与学习，为日后的科研成果奠定坚实的基础。

互动环节

李俊老师问：感谢程教授的演讲,我有个小问题请教一下。我听你说大模型代替小模型做信道估计，我最近也做一点无人机工作，跑了一下熵的结果。请教一下程老师，在大模型下换信道情况下是如何做到性能还能那么好呢？

程教授答：这个问题非常好。首先明确一下，我们现在的工作是信道估计，目前正在开展还没发表出来。大模型这种通用知识的能力加上人为微调，用你的信道数据进行处理，这种情况下它可能没看过你这种场景，但它也可以利用通识的能力迁移到新的场景当中，简单来说就是见多识广。

电信黄埔大讲堂专家简介：    

程翔，北京大学博雅特聘教授，国家杰出青年基金获得者，IEEE Fellow，北京大学电子学院党委委员、副书记。2009年在英国赫里奥特瓦特大学（Heriot-Watt University）和爱丁堡大学（The University of Edinburgh）获得两所大学联合授予的博士学位后，2010年加入北京大学，目前是北京大学博雅特聘教授，博导，IEEE Fellow，中国工程院首届“中国工程前沿杰出青年学者”，IEEE亚太地区杰出青年研究学者，IEEE车辆技术协会杰出讲师（Distinguished Lecturer），爱思唯尔2020和2021年度“中国高被引学者”，中国通信学会青年科技奖。

目前，担任IET Communications的领域主编，担任IEEE Transactions on Wireless Communications，IEEE Transactions on ITS，IEEE Wireless Communications Letters和Journal of Communications and Networking的编委工作。2021年入选了2个世界科学家榜单，分别是：美国斯坦福大学发布的全球前2%顶尖科学家榜单和Guide2Research发布的2020年度全球计算机科学和电子信息领域顶级科学家榜单。

(文案：梁海杰  编辑审核：谢玲 张虓)