C114通信网  |  通信人家园

资讯
2023/3/13 17:48

中兴通讯Adlik 将支持基于云燧i20的 AI推理服务部署,共建AI生态链

C114通信网  

近日,中兴通讯开源的Adlik深度学习推理工具链新增对人工智能推理加速卡云燧i20的支持,可实现基于云燧i20的高效AI模型部署,提供高性能的云端推理服务。

Adlik是由中兴通讯在Linux基金会人工智能&数据基金会(LF AI & Data)发起的开源项目,旨在提升深度学习、机器学习等模型在各种硬件平台下的推理效率,助力人工智能在云、边、端等多种场景快速落地。

对异构硬件的推理支持是Adlik的核心亮点之一。目前人工智能推理芯片处于百花齐放的状态,不同芯片之间的架构差异导致推理引擎也层出不穷。利用Adlik,可快速实现各种主流深度学习框架所训练出的模型在多种不同硬件环境中的高效统一部署,引入云燧i20使得 Adlik的适用场景得以进一步拓展。

云燧i20是由燧原科技打造的面向数据中心的第二代人工智能推理加速卡,具有高性能高能效、模型覆盖面广、易部署易运维等特点,结合燧原科技推出的鉴算TopsInference推理引擎,能够为深度学习应用提供低延迟、高吞吐率的推理性能。

Adlik能够充分发挥云燧i20性能优势,同时提升在云燧i20上部署AI模型的易用性。首先Adlik编译器会将深度学习模型转化为云燧i20可支持并优化的模型表示,然后由Adlik推理引擎为其自动匹配加载插件式的推理运行,以实现模型的版本管理、运行调度,为人工智能应用提供满足性能要求的推理服务。此外,由Adlik提供统一的推理接口,模型也可以从其它硬件快速、无缝迁移到云燧i20。

近年来我国的AI新基建蓬勃发展,AI开源框架、加速芯片、开放平台等呈现百花齐放的态势,为国内的数字化转型提供了有力支撑。Adlik作为深度学习模型推理领域的端到端工具链,也加快了构建国内技术生态的脚步,本次和云燧i20的合作是Adlik打造我国AI生态链的又一次尝试。

中兴通讯Adlik开源项目首席架构师刘涛表示:“中兴通讯开源Adlik社区,期望可以引领建设融合的AI生态圈,使用统一的工具链打通不同框架和硬件相互割裂的生态现状,从而真正实现高效率、低成本的AI应用落地。这次Adlik与燧原科技的云燧i20成功合作,就是基于生态建设思想的一次有力实践,后续期待双方在深度学习模型训练、优化、编译、部署等关键技术上展开合作,助力不同行业智慧化转型,有力推动数字经济发展”。

燧原科技软件生态负责人李彬表示“构建开放和软硬协同的生态环境,是推动人工智能产业快速发展的战略路径。燧原科技的云燧i20与中兴通讯Adlik的合作,是AI芯片与工具链软件生态在推理业务领域的深度融合,可以充分发挥人工智能基础设施的整体效能,加快人工智能应用场景的落地,打造数字化经济。”

给作者点赞
0 VS 0
写得不太好

  免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2024 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141