您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息
免费发信息

华为发布大模型时代AI存储新品

2024/4/17 3:24:38发布4次查看
7月14日,华为发布大模型时代ai存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放ai新动能。
企业在开发及实施大模型应用过程中,面临四大挑战:
首先,数据准备时间长,数据来源分散,归集慢,预处理百tb数据需10天左右;其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100mb/s,训练集加载效率低;第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要checkpoint机制恢复训练,故障恢复耗时超过一天;最后,大模型实施门槛高,系统搭建繁杂,资源调度难,gpu资源利用率通常不到40%。
华为顺应大模型时代ai发展趋势,针对不同行业、不同场景大模型应用,推出oceanstor a310深度学习数据湖存储与fusioncube a3000训/推超融合一体机。
华为数据存储产品线总裁 周跃峰
oceanstor a310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的ai全流程海量数据管理。
oceanstor a310单框5u支持业界最高的400gb/s带宽以及1200万iops的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统gfs实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30 %。
fusioncube a3000训/推超融合一体机,面向行业大模型训练/推理场景,针对百亿级模型应用,集成oceanstor a300高性能存储节点、训/推节点、交换设备、ai平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。开箱即用,2小时内即可完成部署。为了适应不同规模的模型需求,可以独立水平扩展训练节点和存储节点。同时fusioncube a3000通过高性能容器实现多个模型训练推理任务共享gpu,将资源利用率从40%提升到70%以上。fusioncube a3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、ai平台软件的第三方伙伴一站式方案。
周跃峰表示,在大数据时代,数据决定了人工智能的水平。作为数据的载体,数据存储成为ai大模型的关键基础设施。华为数据存储未来将持续创新,面向ai大模型时代提供多样化的方案与产品,携手伙伴共同推进ai赋能千行百业。”
本网站上的内容(包括但不限于文字、图片及音视频),除转载外,均为时代在线版权所有,未经书面协议授权,禁止转载、链接、转贴或以其他 方式使用。违反上述声明者,本网将追究其相关法律责任。请联络丁先生(news@time-weekly.com)以获得本网站的转载许可,如果其他媒体、网站或个人想要进行转载的话
以上就是华为发布大模型时代ai存储新品的详细内容。
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录