C114通信网  |  通信人家园

移动平台
2025/5/20 14:09

华为王庆文:打造坚实算力底座,加速AI赋能千行万业

C114通信网  九九

C114讯 5月20日消息(九九)5月17日,2025世界电信和信息社会日“智算产业创新发展论坛”在南昌举办,华为昇腾计算业务副总裁王庆文在演讲中指出,大模型的性能在很多方面已经可以与人类媲美,并且在快速收敛,从原来的千模百态收敛到十来家,随着推理成本的大幅下降开始在很多行业获得应用,为医疗诊断、工业质检、AI教学等方面带来卓有成效的提升。

Gartner预测,未来两年80%中国企业将部署生成式AI,60%会将AI融入产品服务,标志着企业AI应用从通用场景向核心生产场景渗透的“奇点时刻”到来,企业AI部署已进入全面深化阶段。

王庆文进一步指出,运营商凭借领先的泛在多级训推资源,既能满足中小企业的灵活需求,也能支撑大型企业核心业务及海量用户场景,并通过多租户部署技术,保障大租户资源独立、中小租户性能提升的同时全方位确保数据安全。

王庆文介绍,昇腾从基础硬件、算子到推理系统全面创新,面向不同的推理场景需求,为包含运营商在内的客户及伙伴提供集高性能、高可靠、易部署、开源开放于一体的推理解决方案。

面向大型企业、C端超级应用等需要大规模推理算力资源的场景,高并发、低时延下的吞吐性能是关键。昇腾国内首创大规模专家并行集群推理方案:通过将MoE模型的多专家权重数据 分散部署到更多的卡上,降低单卡权重加载时延,让模型解码输出更快;单卡内存容量占用的降低,也能够支持更大用户并发所需的KV缓存,实现系统的更大吞吐性能,平均单卡吞吐性能提升3倍以上,大幅降低每Token推理成本,帮助运营商构筑高性能的AI算力基础设施,为行业客户带来更优的业务体验。

面向中小企业、学校和医院等机构需要快速部署、快速落地AI应用的需求,昇腾使能运营商打造大模型应用一体机。打包量化、调优等工具链显著提升50%部署效率,通过MLA(Multi-Head Latent Attention)亲和等特性,提升吞吐性能90%,从模型部署到应用上线实现“即开即用”,降低AI部署门槛,帮助运营商赋能千行万业智能化转型。目前已有超140家合作伙伴基于昇腾发布大模型应用一体机产品,为各行业场景提供广泛的智能应用。

演讲的最后,王庆文表示,昇腾将致力于打造坚实的算力底座,携手运营商及ISV等产业伙伴破解算力供给与场景落地的关键挑战,加速AI在千行万业的落地应用,为产业融合升级注入强劲动能。

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2025 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141