返回列表
[910A][MindIE]910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71
PyTorch
MindIE
下载量:73
上传者:xMushroom
点赞
1
有改进之处
0
收藏
收藏
版本信息
Python版本:3.10
CANN版本:8.0.t63
操作系统版本:ubuntu_20.04
使用说明
### 推荐卡数 Qwen2-72B-W8A8 4卡 Qwen2.5-32B-W8A8 2卡 Qwen2-7B 1卡 # 遇到bug可以评论,验证测试后会更新迭代镜像 ## 拉取镜像 + 910a: ```shell docker pull swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02 ``` # 启动指令示例(自己加一下 【反斜杠】 我写了但不显示) + 910a: ``` docker run -it --ipc=host --net=host\\ --name MindIE \\ --device=/dev/davinci0 \\ --device=/dev/davinci1 \\ --device=/dev/davinci\_manager \\ --device=/dev/devmm\_svm \\ --device=/dev/hisi\_hdc \\ -v /usr/local/dcmi:/usr/local/dcmi \\ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \\ -v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \\ -v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \\ -v /etc/ascend\_install.info:/etc/ascend\_install.info \\ -v /etc/vnpu.cfg:/etc/vnpu.cfg \\ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \\ -v /home/aicc:/home/aicc \\ swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02 /bin/bash ``` # 加载环境变量 ```shell # 自动加载,镜像启动或者用户登录会小卡10来秒,参阅 \~/.bashrc ``` # 测试代码 + 测试代码 ```shell torchrun --nproc\_per\_node 2 --master\_port 20038 -m examples.run\_pa --model\_path /home/aicc/mushroom/Qwen2-7B-Instruct --input\_text ["What's Deep Learning?"] --max\_output\_length 2048 # model\_path 写你自己的路径!!!! ``` # 镜像只是安装MindIE包,使用问题请自行解决
镜像地址
在其他AICC使用本镜像时,
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
评论
若您有任何疑虑,您可以在这里反馈您的建议。
发布