C114通信网  |  通信人家园

资讯
2020/11/10 21:24

智能影像,从“芯”开始 :紫光展锐“硬件+算法”打造超凡视听体验

C114通信网  林想

C114讯 11月10日消息(林想)本周,以“象由芯生·科技服务人民”为主题的2020紫光展锐市场峰会重磅开启,广大生态合作伙伴共聚一堂,共话数字世界新未来。

在今天举办的“多媒体技术研讨会”上,来自紫光展锐产业链的合作伙伴将分享有关多媒体发展趋势、图像优化,手机拍照、AI与多媒体技术融合方面的最新技术及应用。

智能影像,从“芯”开始

亚里士多德将人体的感官分为5种,即触觉、嗅觉、味觉、听觉和视觉。人类感知世界人类感知世界80%以上来自视觉。随着技术的不断发展,相机可以还原人眼,记录更多的场景。

随着手机终端的不断演进,在影响功能变得日渐强大,手机拍照已经成为人们记录生活的最佳方式之一。在手机拍照方面,ISP(图像信号处理器)是拍照颜值担当、CPU、GPU是性能担当、NPU是智慧担当,Modem则是外交担当。

“ISP性能会直接影响到手机拍照、摄像水准。”紫光展锐先进多媒体实验室主任赵磊表示,移动端设备从本世纪初开始逐渐兴起,其拍照功能也是愈发完善。 在 2010 年后,手机拍照迎来了技术发展的一次爆发。在这一过程中,智能手机强大的硬件为手机中内置的ISP系统提供了巨大支持。

但ISP并不是万能的,AI技术的迅猛发展给相机带来了新的机遇,于是人工智能被广泛应用到智能影像。从目前来看,AI引入到智能影响可以分为三个阶段:

阶段一,图像理解->高层视觉(high level vision),对图像分析得到场景的语义表示,具有人眼和人脑的能力;阶段二,图像分析->中层视觉(middle level vision),对图像的内容进行分析,提取有意义的特征,便于后续更高层的处理;阶段三:图像处理->低层视觉(low level vision),对输入的图像做某种变换,输出仍然是图像,基本不涉及或者很少涉及图像内容的分析。

现在图像处理技术已经全面AI化了。那么手机上又将如何用AI呢?

对此,赵磊指出,借助CPU/NPU/DSP/GPU的计算能力,ISP芯片告别裸奔走向组合模式。据悉,紫光展锐推出的UNISOC T7520芯片组,在降低功耗的同时实现了优化的5G体验,而且通过大幅增强的AI计算和多媒体成像处理能力,大幅提升用户的手机拍照体验。

硬件+强大算法成就超凡影像

数据显示,2014-2019年全球平均每部手机摄像头数量逐年增长,2019年的手机机型里面高摄头大部分都已经大于3。多摄给手机用户提供了很多酷炫的拍照功能,比如说景深虚化以及前摄的自拍,同时还有超广角、超微距、这都是手机厂商重点宣传的功能。

“Bokeh可以实现单反大光圈效果,非焦点部分产生模糊的美学质量。”紫光展锐游瑞荣表示,手机实现Bokeh有单摄、多摄、深度相机三种解决方案。目前的Bokeh解决方案在深度计算和虚化算法存在难点。为此,紫光展锐加入硬件特性和AI来提升整个算法效果。

游瑞荣指出,与竞品相比,紫光展锐虎贲T618在Bokeh算法方面,AI加速性能更优,功耗也更低。未来的发展一定是AI芯片算力能力越来越强,同时结合硬件的性能,让整个系统发挥更大的作用,更好地提升拍照质量。

“暗光对手机成像带来极大挑战,增大传感器尺寸,延长曝光时间、外加光源和更换color filter并不能完全解决这一痛点。”紫光展锐王微指出,在去噪算法方面,传统与AI方式各有利弊。AI去噪几乎不需要调参,能较好的兼顾噪声去除与细节保留,覆盖场景广,能较好的应对复杂场景,但对手机性能要求高,效果不可控。

王微强调,要想真正提升暗光拍照的成像质量,需要不错的硬件加上强大的算法,以AI  ISP软硬协同设计,AI端侧计算能力支持为基础,才能成就世界领先的拍照成像质量。

为了承载不断增长的手机摄像技术和生态产品发展需求,多媒体开发平台必须具备高像素拍照能力、高帧率视频能力,单帧处理能力、降噪和融合这些基础能力。作为数据的提供方,多媒体开发平台还需要有数据提供能力,以便于后续的算法包括AI的AR、VR等等算法在这个平台上进行二次开发。

据紫光展锐孙长斗介绍,目前,紫光展锐平台在靠性、可扩展性,接口标准化方面多下功夫,以实现多产品、多生态支持能力,目前已实现8种人像光效、10倍变焦、360度环视和手势控制,并已应用到在各个场景中。

多种视频解码和显示,打造极致视觉体现

除了打造高质量影像之外,如何提升用户视觉体验,紫光展锐引入了多种视频解码和显示技术,HDR技术就是其中之一,它可以极大的提升动态范围和色域,带来极其震撼的主观体验。

通过摄像头来采集真实世界的画面,再经过后期的处理,最后还要经过视频的编码,通过网络的传输或者存储器的携带,放到我们终端显示器上面去,通过终端显示的解码再成像出来。罗小伟指出,这里面的采集以及编码都会带来信息的损失。

紫光展锐罗小伟指出,评价一个视频或者图像的好坏其实有很多的维度,比如分辨率、帧率、动态范围、颜色范围等,HDR 视频就是从这几个维度提高视频质量,所以HDR视频必须要遵循一些规范。

SMPTE提出了三个标准,分别对EOTF曲线和静态元数据、动态元数据进行了定义;ITU-T对于UNDTV系统以及HDR的技术中使用的色域进行了定义,对HDR对HDR电视分发系统的性能做出了规定;CTA对 HDR 显示设备的最低标准做了限制:包含至少一个HDR信号接口,能够接受并处理 HDR 静态元数据,在显示图像之前能够使用合适的EOTF曲线对媒体文件进行处理。

罗小伟指出,紫光展锐开发的显示增强技术,通过运用色域转换、色调映射和动态对比度增强技术,将高动态、高位深和广色域的HDR视频转换成适合在SDR屏幕上播放的画面。在SDR屏幕上充分还原HDR视频精美的画面质量和绚丽的色彩表现。

据悉,紫光展锐支持多种视频的解码和显示,展锐新一代SoC虎贲T7520支持目前应用广泛的HLG和HDR10/10+等格式,给用户带来HDR视频的极致视觉体验。

智能音频无限未来,展锐之声与你共鸣

除了视觉之外,智能音频的需求也日趋高涨。

紫光展锐叶顺舟指出,目前,ANC主动降噪普及度远远没有达到业界预期,为了让ANC飞入寻常百姓家,紫光展锐在芯片集成前馈A(z)、反馈C(z)系数自适应算法,稳定性高,拥有核心专利;产线校准开启自适应模式,得到单体最优系数,提高一致性容忍度,良率提升,成本降低,下游客户与消费者获利。

紫光展锐的ANC自适应校准流程,整个过程与设备仪表配合,一键完成,无需人为参与;滤波器收敛可靠时间15~30s,步骤2、3实验可简化,过程更高效;针对不同场景的降噪需求,可在测试环境中播放不同的场景噪声,得到各场景下的最优系数并存储。

在ANC行业缺陷改进探索方面,紫光展锐三方发力:风噪爆破音前馈通道引入,通过耳内/外麦克信号统计特性进行风噪检测,控制前馈增益;咀嚼爆破音反馈通道引入,通过耳内/外麦克信号强度进行自体振动检测,控制反馈增益;底噪增大ADC通道主要贡献,提高ADC量化精度,提高SNR(伴随功耗提升),增加安静模式检测,控制ADC增益。

ANC解决自己听的问题,ENC则解决对方听的问题。据叶顺舟介绍,紫光展锐ENC技术自适应beamforming定向拾音技术,三级降噪设计,对不同噪声分类处理,解决mic数量、尺寸限制下的指向性问题。在指向性可针对应用需求在+/-30度范围内调整;支持1.5-3cm麦克间距设计;并单独针对风噪统计特性,设计了基于双麦的风噪抑制算法。

此外,叶顺舟强调,目前ENC融合新技术呈现四大发展趋势值得关注:Beamforming存在mic间距要求,适用于杆式耳机,豆式结构难以应用,其次强风噪,极低SNR下性能有限;AI降噪在单麦产品有广泛的应用前景,对如风噪的特定噪声处理效果理想,但NN模型的小资源需求(100KB以内)与其泛化性能存在矛盾;耳内三麦与ANC系统完全复用麦克,解决强风噪与配戴角度问题,但信号融合带来的不自然感丞待解决,且依赖入耳式设计;骨传导与耳内三麦原理类似,信号更稳定,可应用于半入耳式设计,缺点是成本过高,且同样面临信号整合问题。

给作者点赞
0 VS 0
写得不太好

版权说明:C114刊载的内容,凡注明来源为“C114通信网”或“C114原创”皆属C114版权所有,未经允许禁止转载、摘编,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。编译类文章仅出于传递更多信息之目的,不代表证实其描述或赞同其观点;翻译质量问题请指正

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2024 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141