C114通信网  |  通信人家园

专题
2021/4/12 14:11

基于云原生服务网格的AI模型部署方案

邮电设计技术  徐治理,霍龙社,曹云飞,崔煜喆

本文版权为《邮电设计技术》所有,如需转载请联系《邮电设计技术》编辑部

摘要:人工智能模型训练完成后并不适合直接运行在互联网生产环境,需要对其进行一定的封装和部署。探讨基于容器和云原生服务网格对AI模型进行自动封装和部署,以微服务形式对外提供 Restful API,能够提高模型的兼容性和部署灵活性。封装过程采用适用多框架的通用 AI模型代码打包方法,解决 AI模型运行环境配置问题;通过部署在云原生平台由服务网格进行管理,实现AI模型从实验室开发到互联网生产环境高效应用的自动化实时流转。

关键词:人工智能;云原生;模型部署

doi:10.12045/j.issn.1007-3043.2021.03.007

引言

近年来AI技术取得了革命性的进步,算法方面从统计学习方法到深度学习,算法的广度、深度不断扩展,丰富度和复杂度不断提高。同时,也涌现出一批能提供常用开发工具的深度学习框架,如Tensorflow、Pytorch等,广受AI开发者欢迎。AI的应用范围也在不断扩展,从推荐系统到自然语言处理、计算机视觉、语音处理等各个领域都有了成熟的算法和模型。人工智能技术的关注点也从提高算法精度、模型性能扩展到了怎样让其应用到实际的生产环境中。

在人工智能算法模型开发、训练完成后,需要将其部署到互联网云端以便用户实时访问。但目前AI模型的封装和部署还存在较多问题。AI模型开发丰富的框架和工具使在生产中配置模型运行环境非常复杂,尤其是在需要运行多个模型时,更是会面对工具和版本的各种冲突。AI模型运行需要较多的计算资源,在实际运行中如何对AI模型服务占用的资源进行灵活的管理和及时的调度也是亟待解决的问题。AI技术对很多用户来说是一个新的领域,对包含AI服务代码的开发和部署需要很多前置知识,找到一种能灵活支持对各种AI模型进行封装并能实现自动化发布和部署的技术具有十分重要的意义。

点击查看全文(PDF)>

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2024 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141