更新时间:2024-01-15 gmt 08:00

modelarts支持哪些ai框架?-凯发k8国际娱乐官网入口

modelarts的开发环境notebook、训练作业、模型推理(即ai应用管理和部署上线)支持的ai框架及其版本,不同模块的呈现方式存在细微差异,各模块支持的ai框架请参见如下描述。

统一镜像列表

modelarts提供了arm ascend规格的统一镜像,包括mindspore、pytorch。适用于开发环境,模型训练,服务部署,请参考统一镜像列表表1表2所示镜像仅发布在西南-贵阳一区域

表1 mindspore

预置镜像

适配芯片

适用范围

mindspore_2.2.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b

ascend snt9b

notebook、训练、推理部署

mindspore_2.1.0-cann_6.3.2-py_3.7-euler_2.10.7-aarch64-snt9b

ascend snt9b

notebook、训练、推理部署

mindspore_2.0.0-cann_6.3.0-py_3.7-euler_2.8.3

ascend snt9b

notebook、训练、推理部署

表2 pytorch

预置镜像

适配芯片

适用范围

pytorch_2.1.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b

ascend snt9b

notebook、训练、推理部署

pytorch_1.11.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b

ascend snt9b

notebook、训练、推理部署

pytorch_1.11.0-cann_6.3.2-py_3.7-euler_2.10.7-aarch64-snt9b

ascend snt9b

notebook、训练、推理部署

开发环境notebook

开发环境的notebook,根据不同的工作环境,对应支持的镜像和版本有所不同。

表3 新版notebook支持的镜像

镜像名称

镜像描述

适配芯片

支持ssh远程开发访问

支持在线jupyterlab访问

pytorch1.8-cuda10.2-cudnn7-ubuntu18.04

cpu、gpu通用算法开发和训练基础镜像,预置ai引擎pytorch1.8

cpu/gpu

mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04

cpu and gpu general algorithm development and training, preconfigured with ai engine mindspore1.7.0 and cuda 10.1

cpu/gpu

mindspore1.7.0-py3.7-ubuntu18.04

cpu general algorithm development and training, preconfigured with ai engine mindspore1.7.0

cpu

pytorch1.10-cuda10.2-cudnn7-ubuntu18.04

cpu and gpu general algorithm development and training, preconfigured with ai engine pytorch1.10 and cuda10.2

cpu/gpu

tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04

cpu、gpu通用算法开发和训练基础镜像,预置ai引擎tensorflow2.1

cpu/gpu

tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04

gpu通用算法开发和训练基础镜像,预置ai引擎tensorflow1.13.1

gpu

conda3-ubuntu18.04

clean user customized base image only include conda

cpu

pytorch1.4-cuda10.1-cudnn7-ubuntu18.04

cpu、gpu通用算法开发和训练基础镜像,预置ai引擎pytorch1.4

cpu/gpu

conda3-cuda10.2-cudnn7-ubuntu18.04

clean user customized base image include cuda10.2, conda

cpu

tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64

ascend arm算法开发和训练基础镜像,ai引擎预置tensorflow和mindspore

ascend

modelbox1.3.0-tensorrt7.1.3-cuda10.2-cudnn8-euler2.9.6

ai应用开发基础镜像,预置ai应用编排引擎modelbox、ai引擎tensorrt,仅支持ssh连接

gpu

modelbox1.3.0-libtorch1.9.1-cuda10.2-cudnn8-euler2.9.6

ai应用开发基础镜像,预置ai应用编排引擎modelbox、ai引擎libtorch,仅支持ssh连接

gpu

spark2.4.5-ubuntu18.04

cpu algorithm development and training, prebuilt pyspark 2.4.5 and is able to attach to preconfigured spark cluster including mrs and dli.

cpu

mindstudio5.0.rc1-ascend-cann5.1.0-euler2.8.3-aarch64

ascend算子开发基础镜像,预置专业级算子开发工具mindstudio,仅支持ssh连接

ascend

mlstudio-pyspark2.3.2-ubuntu16.04

cpu算法开发和训练基础镜像,包含可以图形化机器学习算法开发和调测mlstudio工具,并预置pyspark2.3.2

cpu

mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3

ascend arm algorithm development and training. mindspore is preset in the ai engine.

ascend

mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3

ascend arm algorithm development and training. mindspore is preset in the ai engine.

ascend

mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3

ascend arm算法开发和训练基础镜像,ai引擎预置mindspore

ascend

tensorflow1.15-cann5.1.0-py3.7-euler2.8.3

ascend arm算法开发和训练基础镜像,ai引擎预置tensorflow

ascend

mlstudio-pyspark2.4.5-ubuntu18.04

cpu算法开发和训练基础镜像,包含可以图形化机器学习算法开发和调测mlstudio工具,并预置pyspark2.4.5

cpu

mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04

gpu算法开发和训练基础镜像,预置ai引擎mindspore-gpu

gpu

rlstudio1.0.0-ray1.3.0-cuda10.1-ubuntu18.04

cpu、gpu强化学习算法开发和训练基础镜像,预置ai引擎

cpu/gpu

mindquantum0.9.0-mindspore2.0.0-cuda11.6-ubuntu20.04

mindspore2.0.0 and mindquantum0.9.0

cpu

mindspore1.2.0-openmpi2.1.1-ubuntu18.04

cpu算法开发和训练基础镜像,预置ai引擎mindspore-cpu

cpu

cylp0.91.4-cbcpy2.10-ortools9.0-cplex20.1.0-ubuntu18.04

cpu运筹优化求解器开发基础镜像,预置cylp,cbcpy,ortools及cplex

cpu

训练作业

当前modelarts同时存在新版训练和旧版训练。新版训练和旧版训练的预置训练引擎存在差异。modelarts推荐您使用新版训练创建训练作业。在创建训练作业时,优先使用新版的预置引擎,如果您需要的引擎仅在旧版支持,也支持您在新版训练中使用旧版预置引擎。

新版预置引擎命名格式如下:

<训练引擎名称_版本号>-[cpu | ]--<操作系统名称_版本号>-< x86_64 | aarch64>
表4 新版训练作业支持的ai引擎

工作环境

适配芯片

系统架构

系统版本

ai引擎与版本

支持的cuda或ascend版本

tensorflow

cpu/gpu

x86_64

ubuntu18.04

tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda10.1

pytorch

cpu/gpu

x86_64

ubuntu18.04

pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda10.2

ascend-powered-engine

snt9

aarch64

euler2.8

mindspore_1.7.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64

5.1.0

tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64

5.1.0

mpi

gpu

x86_64

ubuntu18.04

mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64

cuda_10.1

horovod

gpu

x86_64

ubuntu_18.04

horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda_10.1

horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda_10.2

不同区域支持的ai引擎有差异,请以实际环境为准。

推理支持的ai引擎

在modelarts创建ai应用时,若使用预置镜像“从模板中选择”或“从obs中选择”导入模型,则支持如下常用引擎及版本的模型包。

  • 标注“推荐”的runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全,详细信息可以参见。
  • 推荐将旧版镜像切换为统一镜像,旧版镜像后续将会逐渐下线。
  • 待下线的基本镜像不再维护。
  • 统一镜像runtime的命名规范: - <硬件及版本:cpu或cuda或cann> - - <操作系统版本> -
表5 支持的常用引擎及其runtime

模型使用的引擎类型

支持的运行环境(runtime)

注意事项

tensorflow

python3.6

python2.7(待下线)

tf1.13-python3.6-gpu

tf1.13-python3.6-cpu

tf1.13-python3.7-cpu

tf1.13-python3.7-gpu

tf2.1-python3.7(待下线)

tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64(推荐)

  • python2.7、python3.6的运行环境搭载的tensorflow版本为1.8.0。
  • python3.6、python2.7、tf2.1-python3.7,表示该模型可同时在cpu或gpu运行。其他runtime的值,如果后缀带cpu或gpu,表示该模型仅支持在cpu或gpu中运行。
  • 默认使用的runtime为python2.7。

spark_mllib

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的spark_mllib版本为2.3.2。
  • 默认使用的runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于cpu的模型。

scikit_learn

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的scikit_learn版本为0.18.1。
  • 默认使用的runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于cpu的模型。

xgboost

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的xgboost版本为0.80。
  • 默认使用的runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于cpu的模型。

pytorch

python2.7(待下线)

python3.6

python3.7

pytorch1.4-python3.7

pytorch1.5-python3.7(待下线)

pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64(推荐)

  • python2.7、python3.6、python3.7的运行环境搭载的pytorch版本为1.0。
  • python2.7、python3.6、python3.7、pytorch1.4-python3.7、pytorch1.5-python3.7,表示该模型可同时在cpu或gpu运行。
  • 默认使用的runtime为python2.7。

mindspore

aarch64(推荐)

aarch64只能用于运行在snt3芯片上。

分享:

more

网站地图