两小时完成大模型部署！华为AI存储新品有什么亮点？
两小时完成大模型部署！华为AI存储新品有什么亮点？
极客公园
OceanStor A310深度学习数据湖存储，实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理；FusionCube A3000训/推超融合一体机，面向十亿级模型应用，可实现一站式快速部署，通过预置AI大模型，2小时即可完成开局，开箱即用。
就像当年所有公司都在你追我赶的「上云」，现在所有公司都在问，如何才能用上大模型？
不少公司不断推出不同的大模型，来帮助企业进入到这个 AI 的新时代。
如果说大模型代表的「算法」、GPU 代表的算力都在因为大模型而不断进化时，在数据方面，尤其是数据存储方向上，业界目前还没有更好的方案，来解决大模型时代数据的存储、训练和传输。
7 月 14 日，在华为盘古 Chat3.0 发布一周后，华为数据存储发布了新产品 OceanStor A310 和 FusionCube A3000，两款产品分别在深度学习数据存储，以及训（练）/推（理）融合能力上进行了提升，有望进一步降低 AI 大模型的使用门槛。
华为公司副总裁，数据存储产品线总裁周跃峰｜华为
01 两小时完成大模型部署
「如果用人类进化历史做比喻，大脑类似于算力、算法类似于方法论，而文字类似于数据，有了文字，才能传承文明。」
华为公司副总裁，数据存储产品线总裁周跃峰如此描述算力、算法和数据，三个在 AI 时代最重要的元素的关系。
在大模型为代表的新的 AI 时代，算力和算法在快速推进，这就对数据也提出了更高的要求——一方面大模型需要的数据量更大，一方面数据存储需要更好的配合算力，避免让 GPU「空闲」浪费算力资源和成本。
华为团队认为，大模型时代存储的技术挑战有两个：
1）数据准备阶段的问题，包括数据归集慢以及数据预处理周期长。
数据归集需要从跨地域的多个数据源拷贝原始数据，这些原始数据不能直接用于 AI 模型训练，需要将多样化、多格式的数据进行清洗、去重、过滤、加工，大量的数据预处理工作需要耗用大量的 GPU，我们知道 100 个 GPU 每小时的训练成本是几十万，可以用「近存计算技术」系统性地处理这个问题，从而让整个系统更高效。
2）训练集加载效率问题和训练中断处理。
相较于传统深度学习模型，大模型带来训练参数、训练数据集呈指数级增加，如何实现海量的小文件数据集快速加载，降低 GPU 等待时间都是需要认真考虑的问题。同时，主流训练模型已经有千亿级参数，甚至将发展至万亿级。
AI 大模型训练不稳定，频繁的参数调优、服务器故障或者网络的故障经常造成中断，需要 Checkpoint（检查点）机制确保训练能够快速返回。
针对上述痛点，华为团队推出了 OceanStor A310 和 FusionCube A3000 两款产品：
1）OceanStor A310 深度学习数据湖存储
为智能数据而生，实现从数据归集、预处理到模型训练、推理应用的 AI 全流程海量数据管理。
利用全局文件系统 GFS 构建智能的数据编织能力，接入分散在各地域的原始数据，实现跨系统、跨地域、跨云的全局统一数据视图和调度，简化数据归集流程；
通过存储内嵌的算力实现近数据的预处理，减少无效数据传输，同时降低预处理服务器等待时间，预处理效率提升 30%。
2）FusionCube A3000 训/推超融合一体机
面向十亿级模型应用，集成存储节点、训/推节点、交换设备、AI 平台与管理运维软件，可实现一站式快速部署，通过预置 AI 大模型，2 小时即可完成开局，开箱即用。
高性能容器实现 GPU 共享，提升资源利用率。客户可以在边缘部署全流程的推理业务，并且每周或每月进行一次模型调优，这就需要多应用融合调度，大模型小模型融合调度。
通过容器应用共享 GPU 资源池，资源利用率可以达到 70% 以上。
02“存算互助”
不久前 Snowflakes 的年度大会上，这家知名数据平台公司宣布了和英伟达达成合作协议，将在大模型训练等领域进行深度合作。
英伟达的 GPU 堪称是大数据时代的「新核弹」，从某种意义上说，谁能拿到足够多英伟达的 GPU，就在算力上取得了优势。
但这件事还有另一个角度。
当前计算机体系结构依然是以 CPU 计算芯片为代表传统的冯·诺依曼架构，而 GPU 是针对 AI 场景定制的芯片，CPU 和 GPU 速度差可达 4-20 倍以上。
这带来的最大的问题是大多数情况下 CPU 跟不上 GPU 的处理速度，这样就会长时间使得 GPU 处于饥饿状态，导致昂贵的 GPU 资源浪费。
华为苏黎世研究所存储首席科学家张霁透露，团队正在研究如何利用近存计算/存内逻辑的能力，在海量 AI 数据存放的源头进行适当的计算逻辑的卸载，释放 CPU 的部分能力，降低 CPU 和GPU的效率差，进而提高 GPU 的处理效率。
这意味，如果在数据存储端，就能把一些预处理的工作完成，就能减轻 CPU 的压力，进而让 CPU 和 GPU 能更高效的合作，提升 GPU 的处理效率。
尤其在目前 GPU 算力相对紧缺的当下，数据存储端如果能和 GPU 产生「互补」，无疑是一件好事。
周跃峰认为，目前大模型算力成本约占整个成本的 25%，而数据清洗、预处理等工作，在不算数据存储硬件的情况下，占到成本 22%，从这个角度看，数据机器存储过程，在大模型时代越来越重要。
「这不仅仅是简单的数据量变大，而且数据的处理过程，以及过程中对于硬件性能的要求越来越高。」
周跃峰认为，随着大模型出现，数据存储和处理相关领域未来会越来越有前景。
本文作者：靖宇，来源：极客公园 (ID:geekpark)，原文标题：《盘古大模型之外，华为首秀大模型时代「硬实力」》
风险提示及免责条款
共有 0 条评论