今年2月,美国白宫科技政策办公室首次将空间计算纳入科技创新战略布局,以维护其国家安全和科技竞争力。空间计算定义人机交互新范式,正处于产品升级和融合应用的关键阶段。美国在XR、数字孪生、AI等领域长期处于国际领先地位,其战略和产业布局、创新发展模式具有非常大的借鉴意义。结合我国空间计算行业发展面临技术、生态及安全挑战,启示我国应进一步完善产业和技术布局,打造空间计算+AI的联合产业生态应用,并强化相关数据安全监管。
什么是空间计算?
空间计算定义了一种更自然、更直观、更原生的人机交互新范式。空间计算可理解为以三维物理空间和环境为基础的计算方法1,其核心是利用AI、计算机视觉、GIS、三维重建、数字孪生、XR、5G/云网等技术,将人与机器的虚拟交互体验融入物理世界,实现人机交互方式从二维升级到三维,摆脱实体屏幕的束缚,从而为远程机器操作、远程技术协助、虚拟培训、虚拟商场、工业设计、模拟军事训练等应用提供更好的解决方案。空间计算通过手势识别、眼球追踪等技术实现动作操控,结合视觉、听觉等多模态交互,使得人机交互过程更自然和直观。同时,通过理解用户所处的物理环境和上下文信息,分析用户的行为和环境变化,空间计算也能提供更个性化、更原生的交互体验。
空间计算和数字孪生都是构建元宇宙的关键技术,二者互有交叉、各有侧重。空间计算是一种新的计算范式,侧重提供数字信息和物理空间融合、交互的能力。而数字孪生侧重提供模拟和管理物理世界的能力,主要通过收集、整合现实世界或系统的数据,构建高度仿真的数字副本,实时反映其状态、行为和性能,并对其未来趋势进行推演和预测。空间计算技术能为数字孪生系统提供更加沉浸、自然的虚实交互体验,而数字孪生模型也能为空间计算系统提供更加全面、详实的数字信息。
图1 空间计算示意图
(来源于:《2024空间计算行业图谱》报告)
空间计算技术不断升级,应用场景不断丰富,产业链基本形成。随着芯片和传感器小型化持续迭代,以及以光学识别(OptiTrack等)、空间音频(iamf等)、三维图像处理(NeRF、3D GS等)、AI大模型(ChatGPT、Sora)等为代表的关键技术快速发展,空间计算已被广泛应用于零售业、远程教育、广告、游戏、医疗、军事、演示、培训、旅游等领域2。目前,空间计算产业链已基本形成,涉及芯片、传感器、光学器件、显示屏、终端、操作系统、开发工具、AI算法、通信网络、内容及应用等多个环节。
图2 空间计算产业链图谱示意图
(根据公开数据整理)
美国空间计算行业布局现状和特点
1.将空间计算纳入“先进计算”国家战略,巩固科技领先优势。
美国政府高度重视先进计算技术发展,近年来更是将先进计算置于国家战略高度,为美国在基础科学研究和前沿应用突破奠定基础。2024年2月,美国国家安全委员会将空间计算列入先进计算领域《关键和新兴技术清单》以强调其对维系美国国家安全优势的重要性,并与先进超级计算(含AI)、先进云服务、边缘计算等核心技术并列。
2.全产业链布局空间计算,确保核心环节自主掌控。
美国多年积累已形成硬件、软件、算法三轮驱动的核心环节自主掌控。硬件侧,英伟达、高通、英特尔分别在GPU、XR SoC、CPU芯片方面,长期占据全球领先地位;Meta、苹果、谷歌等企业在感知交互终端方面,共占据全球八成以上市场份额。软件侧,Meta、苹果、谷歌等企业均自研操作系统,以实现统一的软硬件架构;Unity、微软、Epic Games等企业已成全球空间计算应用软件及开发工具的主要提供商。算法侧,主要包括空间定位、手势交互、语音交互、机器视觉、AI大模型等算法,Open AI、谷歌、苹果等企业走在国际前列。
3.多措并举大力扶持技术创新和应用,并重视生态培育。
财政补贴方面,联邦政府通过美国国家科学基金会(NSF)资助探索空间计算在医疗、教育和劳动力培训等领域应用的项目;加利福尼亚、纽约和华盛顿等地方政府积极提供赠款、税收优惠服务,并创建创新研究中心。国防驱动方面,美国国防部一直是空间计算技术的重要驱动力,国防高级研究计划局(DARPA)长期投资其在军事行动的训练模拟、态势感知和人机界面等领域的研究和落地。标准方面,美国国家标准与技术研究所(NIST)参与制定空间计算关键技术的标准和指南,以确保安全性、互操作性和可用性。生态培育方面,鼓励学术、产业和政府机构合作,如2023年4月,美国退伍军人管理局(VA)与Penumbra公司合作,共同测试和开发康复护理领域的虚拟现实解决方案;头部企业间也强强联合、积极开展跨国合作,如英伟达与微软联合推出Omniverse空间计算平台,谷歌与三星、高通合作研究MR/VR等。
我国空间计算行业发展面临挑战
1.产业链上游部分关键技术自主掌控力不足。
硬件侧,SoC、存储、音频、射频、电源管理等芯片主要依赖日本索尼、美国高通、韩国三星等进口;高端传感器制造落后,如惯性等传感器依赖德国博世、意法半导体ST等进口。软件侧,国内企业使用的3D建模软件、3D引擎等开发工具及用户界面仍以Unity、UE等国外软件为主。其他,眼动追踪、手势交互等感知交互技术在识别精确度、时延等方面仍与国际领先水平存在差距。
2.产业链企业协同不够,限制融合应用和生态培育。
一方面,产品性能和用户体验等核心问题需要产业链企业协同解决,如佩戴XR头显设备接打电话,需手机和XR等厂商协同更改芯片和底层操作系统实现多屏协同,提升打字、搜索等操作的便捷性。另一方面,当前空间计算技术标准尚未统一,且缺乏统一的软件生态系统,不同设备之间无法兼容,导致创作内容无法在app等应用市场流通,限制应用的市场普及。
3.实际使用存在隐私泄露与数据滥用风险。
空间计算涉及的数据维度与类型增加,个人隐私数据与周边环境信息被全方位收集。空间计算实际使用需要收集包括位置定位、生物特征、生理信息等敏感个人数据,并通过摄像头、传感器等设备追踪用户行为及所处环境信息。同时云、终端以及其他设备之间的数据传输与共享,使得数据及信息的安全与管控更为复杂,面临数据安全风险。
相关启示
1.完善产业及关键技术布局。
一是通过研究课题、政策倾斜、资金补贴等手段鼓励科研机构、央国企与科技企业协同布局空间计算软硬件研发及突破创新。二是加大关键技术研发投入,进一步推进中高端传感器、芯片、3D引擎、动作追踪等关键软硬件技术攻关,鼓励终端设备商与芯片厂商联合设计SoC芯片,实现关键环节及技术自主掌控。
2.打造空间计算+AI的联合产业生态应用。
一是建立空间计算产业联盟,联合产业链上下游共同制定和完善统一的空间计算框架、软件生态、硬件等标准体系,并推进产业生态融通互促及跨领域行业应用合作。二是聚焦AI+空间计算的集成应用,打造空间计算智能体商店等创新商业模式,通过创新大赛等形式鼓励开发者基于大模型构建空间计算原生应用,推动在汽车制造业等实体经济的转型升级和规模应用。
3.强化相关数据安全监管。
一是将空间计算应用场景纳入监管范围,细化终端与应用对用户行为及环境数据收集的监管力度。二是监督企业对数据进行脱敏与匿名处理,针对个人身份、生物识别、环境采集等数据进行重点筛查,加强数据出境的安全管控。
注释
1.根据美国参数技术公司(PTC)的定义,空间计算是涉及机器、人、物体及其发生环境的活动的数字化,以实现和优化操作和交互。
2.参考:清华五道口科创金融研究中心发布的《2024空间计算行业图谱》研究报告。
本文作者
赵静
战略发展研究所
二级分析师
硕士,主要从事云网融合关键技术及行业研究,专注于智算、光网络、数字孪生等领域研究。
孙雪媛
战略发展研究所
一级分析师
主要从事数据中心、智算、IP网络等方向的研究及标准规范制定工作。
王田媛
战略发展研究所
副主任分析师
主要从事云计算行业市场、技术架构及演进路径规划研究。
刘小欧
大数据与人工智能研究所
区块链与元宇宙中心副总监
硕士,主要从事人工智能、区块链领域技术研究及国际标准化工作,近期聚焦于网络Al Agent等领域。
商兴宇
大数据与人工智能研究所
工程师
硕士,IEEE国际标准P3438工作组主席,主要研究方向为人工智能、区块链及国际标准化等领域。