返回列表
[32GB/64GB][MindFormers-dev]MindSpore2.1.1-Cann6.3.RC2.alpha005-Python3.9-Euler2.8
MindSpore
MindFormers
下载量:181
上传者:MindFormers官方
1
1
收藏
版本信息
Python版本:3.9
CANN版本:Cann6.3.RC2.alpha005
操作系统版本:Euler2.8
MindSpore:2.1.1
MindSpore-Lite:2.1.1
MindFormers:dev20230915
CANN版本:Cann6.3.RC2.alpha005
操作系统版本:Euler2.8
MindSpore:2.1.1
MindSpore-Lite:2.1.1
MindFormers:dev20230915
使用说明
基于MindFormers dev分支0915版本构建
适用对象:aicc使用镜像,也可在物理机启动
物理机上挂载8卡启动命令:
```
docker run -it -u root \
--ipc=host \
--network=host \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /var/log/npu/:/usr/slog \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
--name mindformers_dev \
swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore2.1.1:aicc_mindformers_dev_20230915_py39 \
/bin/bash
```
可根据需求更换容器名,挂载工作目录
启动后执行命令`su ma-user`进入默认工作用户,和aicc默认用户保持一致
在910B上使用时,执行以下命令以配置必需的环境变量:
```
source /home/ma-user/910b_env.sh
```
以下为本镜像构建的dockerfile,如需自定义修改镜像可以参照此dockerfile进行修改,以构建自定义镜像
```
# 基础镜像:mindspore2.1.1 + CANN 6.3rc2 alpha005 + python3.9
FROM swr.cn-central-221.ovaijisuan.com/wuh-aicc_dxy/mindspore_2_1_1:mindspore2.1.1-cann6.3rc2-py_3.9-euler_2.8
# 目标镜像:mindformers dev + mslite2.1.1 + mindspore2.1.1 + CANN 6.3rc2 alpha005 + python3.9
# 1. 无需更新CANN包与mindspore版本
# 2. 需新安装mindspore-lite2.1.1版本
# 3. 安装mindformers相关whl
USER ma-user
WORKDIR /home/ma-user
# 安装mslite包
RUN wget https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.1.1/MindSpore/lite/release/linux/aarch64/cloud_fusion/python39/mindspore_lite-2.1.1-cp39-cp39-linux_aarch64.whl && \
~/anaconda3/envs/MindSpore/bin/pip install --user mindspore_lite-2.1.1-cp39-cp39-linux_aarch64.whl -i https://pypi.tuna.tsinghua.edu.cn/simple && \
python -c "import mindspore_lite" && \
rm mindspore_lite-2.1.1-cp39-cp39-linux_aarch64.whl
# 添加mindformers dev whl 包,需提前将whl包放在当前目录下
COPY ./mindformers-dev20230915-py3-none-any.whl /home/ma-user/mindformers-dev20230915-py3-none-any.whl
# 安装mindfomers包
RUN ~/anaconda3/envs/MindSpore/bin/pip install --user /home/ma-user/mindformers-dev20230915-py3-none-any.whl -i https://pypi.tuna.tsinghua.edu.cn/simple && \
~/anaconda3/envs/MindSpore/bin/pip list | grep mind && \
python -c "import mindformers" && \
rm /home/ma-user/mindformers-dev20230915-py3-none-any.whl
# 配置910b所需环境变量,在910b上使用镜像时source 910b_env.sh
RUN touch 910b_env.sh && \
echo "export MS_ENABLE_GE=1" >> 910b_env.sh && \
echo "export MS_GE_TRAIN=1" >> 910b_env.sh && \
echo "export MS_GE_ATOMIC_CLEAN_POLICY=1" >> 910b_env.sh && \
chmod 755 /home/ma-user/910b_env.sh
```
镜像地址
在其他AICC使用本镜像时,
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore2.1.1:aicc_mindformers_dev_20230915_py39
评论
若您有任何疑虑,您可以在这里反馈您的建议。
发布
为什么出现Segmentation fault (core dumped)啊
2023-10-11 13:04
发布
在modelarts上验证可用,物理机可使用另一个镜像,如有问题请将详情提至mindformers issue界面https://gitee.com/mindspore/mindformers/issues
2023-10-11 11:56
发布
这个镜像可以用于华为云上的modleArts推理应用部署么?有木有人实测过
2023-10-07 08:48
发布
这个镜像,你们实测过嘛,直接段错误,莫名其妙啊。
2023-10-04 11:42
发布
使用这个镜像的时候,只是调用python跑import mindspore as ms后就报错Segmentation fault (core dumped),需要帮忙看下
2023-09-20 09:55
发布