C114通信网  |  通信人家园

资讯
2024/2/26 17:38

高通推出全新AI Hub :提供全面优化的AI模型库支持 4倍提升AI推理速度

C114通信网  赵婷婷

C114讯2月26日消息(赵婷婷)随着5G网络的普及与边缘计算技术的飞速发展,终端侧AI的应用场景愈发广泛,不仅降低了数据传输过程中的时延问题,还确保了数据在本地处理的安全性和私密性。如今,终端侧AI的商用进程已经开始。

2月26日,2024年世界移动通信大会(以下简称MWC2024)在西班牙巴塞罗那正式拉开帷幕。作为通信和AI技术的领军企业,高通宣布推出全新的高通AI Hub,为开发者打造获取开发资源的中心,从而基于骁龙或高通平台打造AI应用。

高通AI Hub提供全面优化的AI模型库支持

高通技术公司产品市场高级总监Ignacio Contreras指出,终端侧AI已经到来,终端侧AI能够为用户带来即时性、可靠性、隐私以及个性化等诸多优势。当前需要为开发者提供更多的支持,赋能其打造全新的、令人期待的应用。高通AI Hub为开发者提供全面优化的AI模型库支持,包括传统AI模型和生成式AI模型,能够跨骁龙和高通平台部署。

具体而言,开发者只需选择应用所需的模型(例如Baichuan-7B),以及其开发应用所使用的框架(例如Pytorch、Tensorflow),之后确定目标平台,例如一款特定型号的手机、或者一款特定型号的高通平台(例如第三代骁龙8),高通AI Hub就可以为开发者提供面向其指定应用、指定平台进行优化的模型。

“开发者只需要几行代码就可以获取模型,并将模型集成进应用程序。”Ignacio Contreras说道。

与此同时,高通AI Hub将支持超过75个AI模型,包括传统AI模型和生成式AI模型。通过对这些模型进行优化,开发者运行AI推理的速度将提升高达4倍。不仅是速度提升,优化后的模型占用的内存带宽和存储空间也将减少,从而实现更高的能效和更持久的电池续航。

“这些优化模型将在高通AI Hub、以及HuggingFace和GitHub上提供,让开发者能够将AI模型便捷地集成到工作流中。”

展示多款“首个”多模态大模型

此次MWC2024,除发布高通AI Hub之外,高通还展示了多款“首个”多模态大模型。

据Ignacio Contreras介绍,高通展示了全球首个在搭载第三代骁龙8的Android手机上运行的多模态大模型,此次演示中这个超过70亿参数的LMM,可支持文本、语音和图像输入,能基于输入的内容及时响应,进行多轮对话,并且更好地保护隐私。

高通还在搭载全新骁龙X Elite平台的Windows PC上,带来另一个多模态AI的演示。据介绍,这是全球首个在Windows PC上运行的音频推理多模态大模型,它能理解鸟鸣、音乐或家中的不同声音,并且能够基于这些信息进行对话,为用户提供帮助。

另外,高通首个在Android手机上运行的LoRA模型能够在不改变底层模型的前提下,调整或定制模型的生成内容。通过使用很小的适配器(大小仅为模型的2%,便于下载),个性化定制整个生成式AI模型的行为,可根据不同个人或艺术偏好创建高质量自定义图像。

不仅如此,Ignacio Contreras还表示,骁龙X Elite图像生成速度是x86竞品的3倍。使用分别搭载骁龙X Elite和搭载市场中常见X86芯片的两台笔记本电脑进行对比,并同时运行集成Stable Diffusion插件的GIMP(一款广受欢迎的图像编辑器)进行AI图像生成。骁龙X Elite只需7.25秒就能生成一张图像,速度是X86竞品(22.26秒)的3倍。骁龙X Elite的NPU运算能力高达45TOPS,大幅领先于竞品。

给作者点赞
0 VS 0
写得不太好

版权说明:C114刊载的内容,凡注明来源为“C114通信网”或“C114原创”皆属C114版权所有,未经允许禁止转载、摘编,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。编译类文章仅出于传递更多信息之目的,不代表证实其描述或赞同其观点;翻译质量问题请指正

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2024 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141