首页 > 资讯 > 数字化

号称孵化30多个国产大模型的华为昇腾,究竟是何方神圣?

2023/05/24 09:01      阿尔法工场   


  如果说,大模型是智能化时代的新型工件,那么昇腾AI则相当于制造了这些工件的“母机”或“车床”。

  5月初,在鲲鹏昇腾开发者峰2023上,华为全面宣布升级鲲鹏开发者套件DevKit 23.0,首批基于鲲鹏的一体化解决方案联合发布,而其中最瞩目的,莫过于孵化了众多国内大模型的昇腾AI。

  目前,基于昇腾AI已孵化和适配30多个主流大模型,超过一半的中国原生大模型基于昇腾AI孵化。

  其中就包括了悟道大模型、鲲鹏大模型,鹏程系列、紫东系列等。

  如果说,大模型是智能化时代的新型工件,那么昇腾AI则相当于制造了这些工件的“母机”或“车床”。

  它不仅可以生产和加工各种大模型,满足不同的需求和场景,还提供了大模型的训练、推理、优化、部署等全流程的能力。

  那么,在大模型竞争日益激烈的今天,它的出现,对中国大模型的整体生态,又意味着什么?

  今天,我们就试着从技术与商业应用两方面,详细谈谈昇腾AI对中国大模型的意义。

  01 AI时代心“底座”

  众所周知,大模型的训练、开发人工智能需要算法、算力和数据的积累,对于大多数实力并不雄厚的普通企业而言,这是一道难以逾越的技术门槛较。

  如何让更多企业简单、便捷地开发自身的大模型,就成了人工智能得以落地化、产业化的关键。

  而昇腾AI就是这种让AI实现“量产化”的AI。

  具体来说,它主要从以下几个方面,为大模型的研发和应用提供了支持。

  硬件与算力

  异腾Al基于华为自主研发的鲲鹏处理器和异腾加速卡,承载了海量数据的处理、超大模型的训练和推理。单卡最大提供100 TOPS INT8算力,为数据中心推理提供更强大支持。

  在AI芯片方面,昇腾系列AI处理器,是基于华为自主研发的Da Vinci架构设计的AI芯片。

  目前主要包括了昇腾910(用于训练)和昇腾310(用于推理)两款处理器,采用自家的达芬奇架构。

  基于昇腾系列AI处理器和基础软件构建Atlas人工智能计算解决方案,包括Atlas系列模块、板卡、小站、服务器、集群等丰富的产品形态,打造面向“端、边、云”的全场景AI基础设施方案,可以满足不同场景的大模型计算需求,例如:

  昇腾910,是一款面向云端和数据中心的高性能AI处理器,具有256Tops@FP16的算力,可以支持超大规模的AI训练任务,如自然语言处理、计算机视觉、推荐系统等。

  而昇腾310,则主打面向边缘场景的低功耗AI处理器,具有16Tops@INT8的算力,针对的应用场景也变为了视频分析、智能监控、智能驾驶等。

  同时,昇腾系列AI处理器,还支持多种数据类型和精度,如FP16、INT8、BF16等,让用户可以根据不同的模型需求,进行灵活选择。

  集群硬件上,昇腾AI全栈能力支撑全国20多个人工智能计算中心建设。其所属的Atlas 800 AI训练集群,是一款面向大模型训练场景的高性能AI集群,支持8K液冷集群,每台服务器内置8颗昇腾910 AI处理器,可以提供2.24 PFLOPS的超强算力,支持深度学习模型的快速开发和训练。

  具体来说,它具有如下的特点:

  高速网络带宽:每台服务器配备8个100G RoCE v2高速接口,实现芯片间跨服务器互联,降低时延和功耗。

  超高能效:每台服务器最大功耗仅为5.6 kW,单机支持风冷和液冷两种散热方式,提供2.24 PFLOPS/5.6 kW的超高能效比。

  全场景AI计算框架:支持华为自研的全场景AI计算框架MindSpore,兼容主流AI框架如TensorFlow、PyTorch等,提供丰富的算法库和工具包。

  在集群训练的稳定性上,昇腾已经做到了2千亿参数大模型25天稳定训练至收敛。

  软件架构

  CANN异构计算架构是昇腾AI的基础软件架构,提供了多维度混合并行、多层级存储优化、断点续训等能力,加速大模型的高效训练。

  多维度混合并行是指在训练大模型时,利用多个昇腾AI处理器之间的协作,将模型和数据分割成多个部分,分别在不同的处理器上并行执行,从而提高训练效率和性能。

  这就像是要烘焙一个很大的蛋糕,可以把蛋糕切成几块,分别放在不同的烤箱里烘焙,然后再把烤好的蛋糕拼接起来,这样就可以节省时间和空间。

  多层级存储优化是指在训练大模型时,利用昇腾AI处理器上的不同层级的存储空间,根据数据的访问频率和重要性,将数据分配到合适的存储位置,从而提高数据的读写速度和效率。

  CANN异构计算架构还提供了统一的编程模型和运行时环境,支持多种AI框架和语言,兼容多种厂商硬件,实现软硬件协同优化。

  MindSpore AI框架是昇腾AI的全场景AI计算框架,提供了灵活的编程方式和丰富的算子库,支持业界主流社区模型套件,兼容第三方AI框架生态,为AI模型开发提供高效的编程体验。MindSpore AI框架还提供了自动微分、自动并行、自动混合精度等能力,为大模型的训练提供更高的性能和效率。

  MindStudio开发工具链是昇腾AI的全流程开发工具链,提供了算子、模型、应用一站式高效开发和极简部署的能力,为AI模型开发提供便捷的开发工具。MindStudio开发工具链还提供了性能分析、调试、故障诊断等能力,为大模型的训练提供更好的开发体验。

  02 以应用赋能生态

  除了强大的软、硬件基础外,昇腾AI之所以得以孵化超一半中国原生大模型,另一个重要原因,就是其丰富的应用使能、和开放的生态合作。

  MindX应用使能平台

  具体来说,其所提供的MindX应用使能平台,提供了多个领域和场景的SDK,并封装了华为在行业AI领域的基础算法和经验积累,目前包括制造质检、视觉分析、检索聚类、大模型微调等四个SDK。

  凭借着SDK提供的多种功能,用户不需要从零开始编写AI代码,而是直接调用SDK提供的简单易用的API,就可以实现各种AI功能,从而实现了快速开发和部署AI应用。

  此外,微调套件SDK还提供了多种微调算法和策略,如知识蒸馏、量化、剪枝等,为大模型提供了更高效和灵活的微调方式。

  同时,MindX应用使能平台还提供了ModelZoo,一个基于昇腾AI处理器的预训练模型库,为用户提供了多个领域和场景的高质量预训练模型,让用户可以快速使用和微调大模型。目前已提供20多个模型,下半年将增加到50以上。

  具体来说,它是通过提供大模型低参微调套件(MindSpore PET)来帮助用户快速使用和微调大模型的。

  MindSpore PET是一个基于昇思MindSpore的大模型低参微调套件,可以在不改变模型结构的情况下,通过少量参数的微调,实现模型在不同任务上的迁移学习。MindSpore PET支持多种预训练模型,如BERT、GPT-2、GPT-3等,以及多种下游任务,如文本分类、文本生成、阅读理解等。MindSpore PET还提供了一键式微调、评估、推理等功能,支持昇思高性能大模型。

  这就像是用户想要一辆汽车(大模型),但是没有时间和精力去自己设计和制造。那么,用户就可以从ModelZoo中选择一辆已经优化过的汽车,它可以在昇腾AI的道路上高速行驶。

  同时,用户还可以通过MindSpore PET对“汽车”的少量参数进行微调,比如换个颜色、加个音响、改个轮胎等。让它更适合自身的需要,而不需要花费太多的时间和精力。

  开放的生态合作

  除了通过MindX应用使能平台,提供各种应用场景外,昇腾AI在构建产业生态方面,也通过技术开放与合作,促成了产业的落地与应用。

  目前,昇腾AI不仅开放了大模型技术平台,还与UCloud、厦门文广、众数信科、南沙公控、CSDN等伙伴共同推进大模型在各个行业的应用和落地。

  例如,在电力行业,南方电网与华为签署了合作备忘录,携手推进人工智能在电力调度的创新应用。

  双方将基于昇腾AI技术,针对电网当前动态出力和负载状况,实时做出更加经济和安全的调度决策和编排计划,同时助力机组出力分配最优化,促进电力现货交易的供需平衡,有效降低平均发电成本,进而提升整体运营效率和效益。

  在智慧城市和数字政府领域,昇腾助力智慧龙岗2.0的打造。深圳市龙岗区政务服务数据管理局基于昇腾软硬件。

  双方将利用昇腾AI提供的大模型技术和语音识别技术,在龙岗区政务服务中心打造“智慧窗口”,实现语音自助查询、语音自助办理等功能,提高政务服务效率和便捷性。

  而昇腾AI提供的大模型技术和图像识别技术,也将在龙岗区城市管理中心打造“智慧眼睛”,实现城市环境监测、城市事件识别、城市事件处置等功能,提高城市管理水平和品质。

  同时,通过建立大模型创新联合体,昇腾AI也打通了科研创新、应用示范到产业推广的通道,目前,昇腾AI已经成立了遥感、多模态、流体力学三个大模型产业联合体,吸引了110多家科研机构和企业加入,孵化了80多个行业新应用。

  具体来说,昇腾AI为联合体成员提供了多维度的扶持政策和资金支持,例如昇腾AI为联合体成员赠送了昇腾AI硬件设备,提供了免费的AI算力资源,发放大模型研发补贴、大模型应用补贴等,帮助联合体成员加速大模型的研发和应用进程,降低项目风险和压力。

  这些举措,都让联合体成员可以更容易地将大模型应用于各个行业领域,打造行业解决方案和典型案例,展示大模型的价值和效果。

  同时使得联合体成员可以更广泛地将大模型推向市场,拓展商业渠道和客户群体,实现产业规模化和商业化。

  03 总结

  在AIGC时代,如果大模型只停留在实验室的层面,无法与真实的行业需求和应用场景相结合,那么它就会失去其存在的意义和价值。

  这方面的反面教材,莫过于当年的VR技术。

  VR技术在应用落地过程中遭遇的困难,是技术瓶颈、内容缺乏、产业链不完善和应用环境的限制,这些困难导致了VR技术难以实现规模化应用和价值创造,最终成为了一阵风,而无法带动行业变革。

  昇腾AI作为一种全栈AI计算基础设施,为大模型提供了从芯片到框架、从平台到应用的一体化解决方案,有效降低了大模型的开发门槛和成本,提升了大模型的性能和效率,促进了大模型的产业化和商业化。

  昇腾AI这样的全栈AI计算基础设施,有效地解决了大模型所面临的技术瓶颈、市场障碍、生态缺失等问题,并让其实现了真正的落地和价值创造。

  而只有通过产业落地和应用扩展,大模型才能真正发挥其优势,解决实际问题,创造社会效益和经济效益,推动人工智能技术的进步和创新,引领行业变革和发展。

  榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。

相关阅读