昇腾NPU固件 |
固件包含昇腾AI处理器自带的OS 、电源器件和功耗管理器件控制软件,分别用于后续加载到AI处理器的模型计算、芯片启动控制和功耗控制。 |
昇腾NPU驱动 |
部署在昇腾服务器,管理查询昇腾AI处理器,同时为上层CANN软件提供芯片控制、资源分配等接口。 |
CANN |
部署在昇腾服务器,包含Runtime、算子库、图引擎、媒体数据处理等组件,通过AscendCL(Ascend Computing Language,昇腾计算语言)对外提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API,帮助开发者实现在昇腾软硬件平台上开发和运行AI业务。 CANN软件按照功能主要分为Toolkit(开发套件)、NNAE(深度学习引擎)、NNRT(离线推理引擎)、TFPlugin(TensorFlow框架插件)几种软件包,各软件包支持功能范围如下: Toolkit:支持训练和推理业务、模型转换、算子/应用/模型开发和编译。 NNAE:支持训练和推理业务。 NNRT:仅支持离线推理。 TFPlugin:用于运行训练业务时和TensorFlow框架进行对接,帮助TensorFlow框架调用底层CANN接口运行训练业务。 |
用户需完成硬件、OS、昇腾NPU驱动固件、CANN软件的安装,CANN软件使用Toolkit(开发套件),深度学习框架使用PyTorch框架
昇腾训练设备包含以下型号,都可作为PyTorch模型的训练环境,如表2所示。
表2 训练硬件配套
Atlas 训练系列产品 |
Atlas 800 训练服务器(型号:9000) Atlas 800 训练服务器(型号:9010) Atlas 900 PoD(型号:9000) Atlas 300T 训练卡(型号:9000) Atlas 300T Pro 训练卡(型号:9000) |
Atlas A2 训练系列产品 |
Atlas 800T A2 训练服务器 Atlas 900 A2 PoD 集群基础单元 Atlas 200T A2 Box16 异构子框 Atlas 300T A2 训练卡 |
昇腾推理设备包含以下型号,都可作为大模型的推理环境,如表3所示。
表3 推理硬件配套
Atlas 推理系列产品(配置Ascend 310P AI处理器) |
Atlas 300I Duo 推理卡 |
Atlas 800I A2推理产品 |
Atlas 800I A2 推理服务器 |