清华大学-中国移动联合研究院高飞飞：基于环境语义的通感融合技术，将传统通信由“被动接收”转为“主动感知”

6月22日，在中国移动2022科技周“遇见未来——6G协同创新技术研讨会”上，清华大学-中国移动联合研究院高飞飞教授发表了《基于计算机视觉的感知通信融合理论与关键技术研发进展》的主题演讲，介绍了联合研发的基于环境语义的通感融合技术研发进展。

高飞飞教授介绍，利用环境感知信息或环境语义辅助通信的通感融合技术成为6G重要方向之一。清华大学-中国移动联合研究院语义通信团队提出了基于环境感知的毫米波波束管理方案，并搭建通感融合原型平台完成了演示验证。结果显示，环境语义可以有效增强现有毫米波传输性能，并可扩展应用到其他空口方案。

高飞飞教授指出，6G采用的高频毫米波通信面对两个亟需解决的关键性问题：第一，天线阵列的毫米波波束依赖直射径通信、当直射径发生遮挡时会出现通信中断的现象；第二，毫米波天线端波束需要定向发射，要求基站和用户端实时选择最优波束指向，传统的波束跟踪采用较大时延的穷举搜索法，无法满足在复杂时变动态环境下的实时通信需求。这些问题在传统通信研究之中难以解决，可以使用智能技术提取环境语义（包含信道语义）信息、使用环境语义辅助赋能6G通信进行解决。

图1：系统平台架构

高飞飞教授介绍了原型系统架构与原理，采用立体深度相机、激光雷达等多种高精度传感器，利用视觉场景，使用基于深度神经网络等智能算法对于环境语义进行提取。基于该环境语义，实现语义辅助的实时波束跟踪和高准确率遮挡预判；“一站双频”的通信架构设计使得系统被遮挡后仍能保证可靠数据传输。

视觉环境语义辅助的实时毫米波波束跟踪和遮挡预判，有两点主要内容：第一，融合深度图像与激光雷达点云，结合特征识别的深度卷积神经网络，实时提取多模态语义信息，从而推断当前最优波束指向，实现低时延动态波束跟踪；第二，联合卷积与LSTM时序神经网络结构设计多模态环境语义和信道语义融合的高效遮挡预测网络，预测未来某一段时间内是否遮挡，从而提前告知毫米波通信系统切换至sub6G频段，避免遮挡导致的通信中断，实现遮挡预判。

图2：波束跟踪与遮挡预判算法图示

平台特点在于：首先，实际高效性。实际性方面，我们的平台在室内、室外道路、室外工厂等场景均进行了实测；高效性方面，我们的平台能够无带内开销地实现波束跟踪与遮挡预判。波束跟踪时延仅20ms（传统波扫数百毫秒）、且能够以90%以上准确率预判未来0.3~0.5秒内的遮挡。其次，提出环境语义深度学习辅助无线通信的新方法，克服传统毫米波通信波束跟踪时延大精度低、通信遮挡中断的问题；最后，具有一定通用性，以环境语义提取为基本，能够在多种环境之中提取场景中的通信关键信息，保证通信稳定可靠。

高飞飞教授表示，基于环境语义的毫米波通信本质是将传统通信由“被动接收”转为“主动感知”，采用这种方案能够使收发双方主动提取多模态语义信息，设计智能算法主动判断环境特征并调整通信方案。平台的算法不仅仅能够应用于基站-接收端架构，同时能够与智能反射面RIS结合进行高效通信、以及部署在多基站上，从而应用在更广阔的大规模部署场景之中。

图3：道路场景实测

图4：工厂场景实测