返回列表
[910A][MindIE]910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71
PyTorch
MindIE
下载量:73
上传者:xMushroom
1
0
收藏
版本信息
Python版本:3.10
CANN版本:8.0.t63
操作系统版本:ubuntu_20.04
CANN版本:8.0.t63
操作系统版本:ubuntu_20.04
使用说明
### 推荐卡数
Qwen2-72B-W8A8 4卡
Qwen2.5-32B-W8A8 2卡
Qwen2-7B 1卡
# 遇到bug可以评论,验证测试后会更新迭代镜像
## 拉取镜像
+ 910a:
```shell
docker pull swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02
```
# 启动指令示例(自己加一下 【反斜杠】 我写了但不显示)
+ 910a:
```
docker run -it --ipc=host --net=host\\
--name MindIE \\
--device=/dev/davinci0 \\
--device=/dev/davinci1 \\
--device=/dev/davinci\_manager \\
--device=/dev/devmm\_svm \\
--device=/dev/hisi\_hdc \\
-v /usr/local/dcmi:/usr/local/dcmi \\
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \\
-v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \\
-v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \\
-v /etc/ascend\_install.info:/etc/ascend\_install.info \\
-v /etc/vnpu.cfg:/etc/vnpu.cfg \\
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \\
-v /home/aicc:/home/aicc \\
swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02 /bin/bash
```
# 加载环境变量
```shell
# 自动加载,镜像启动或者用户登录会小卡10来秒,参阅 \~/.bashrc
```
# 测试代码
+ 测试代码
```shell
torchrun --nproc\_per\_node 2 --master\_port 20038 -m examples.run\_pa --model\_path /home/aicc/mushroom/Qwen2-7B-Instruct --input\_text ["What's Deep Learning?"] --max\_output\_length 2048
# model\_path 写你自己的路径!!!!
```
# 镜像只是安装MindIE包,使用问题请自行解决
镜像地址
在其他AICC使用本镜像时,
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02
评论
若您有任何疑虑,您可以在这里反馈您的建议。
发布