返回列表
[910A][MindIE]910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71
PyTorch
MindIE
下载量:118
上传者:xMushroom
点赞
4
有改进之处
0
收藏
收藏
版本信息
Python版本:3.10
CANN版本:8.0.t63
操作系统版本:ubuntu_20.04
使用说明
### 推荐卡数 Qwen2-72B-W8A8 4卡 Qwen2.5-32B-W8A8 2卡 Qwen2-7B 1卡 # 该镜像拉取即可使用MindIE,无需其他配置 # Ascend官方镜像请到AscendHub拉取,遇到bug可以评论,验证测试后会更新迭代镜像 ## 拉取镜像 + 910a: ```shell docker pull swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02 ``` # 启动指令示例(自己加一下 【反斜杠】 我写了但不显示) + 910a: ``` docker run -it --ipc=host --net=host\\ --name MindIE \\ --device=/dev/davinci0 \\ --device=/dev/davinci1 \\ --device=/dev/davinci\_manager \\ --device=/dev/devmm\_svm \\ --device=/dev/hisi\_hdc \\ -v /usr/local/dcmi:/usr/local/dcmi \\ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \\ -v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \\ -v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \\ -v /etc/ascend\_install.info:/etc/ascend\_install.info \\ -v /etc/vnpu.cfg:/etc/vnpu.cfg \\ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \\ -v /home/aicc:/home/aicc \\ swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02 /bin/bash ``` # 加载环境变量 ```shell # 自动加载,镜像启动或者用户登录会小卡10来秒,参阅 \~/.bashrc ``` # 测试代码 + 测试代码 ```shell torchrun --nproc\_per\_node 2 --master\_port 20038 -m examples.run\_pa --model\_path /home/aicc/mushroom/Qwen2-7B-Instruct --input\_text ["What's Deep Learning?"] --max\_output\_length 2048 # model\_path 写你自己的路径!!!! ``` # 镜像只是安装MindIE包,使用问题请自行解决
镜像地址
在其他AICC使用本镜像时,
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
评论
若您有任何疑虑,您可以在这里反馈您的建议。
发布
用户79247861
咨询一下这个镜像标明了 910A 是和别的镜像有什么差异点吗? 主要是cann 和mindie 的配套版本吗 ?
2025-02-21 16:06
发布
HcclCommInitRootInfo fail.error:1,rank:0,ranksize: 现在推理的时候,有这个报错。之前从来没有遇到过
2025-02-20 13:57
发布
跪求x86版本,如果可以给个dockerfile也行,感谢感谢
2025-02-16 21:48
发布
您好,后续会有x86的910A镜像推送吗?想与您交流910A的mindie镜像制作。非常感谢!
2025-02-10 21:32
发布
用户71111207
你好,请问这版的mindie支持多机多卡吗?如果没有后续有支持多机多卡的计划吗?
2025-02-06 16:43
xMushroom
暂未测试多机。
2025-02-07 09:56
发布
你们做mindie镜像建议按照AscendHub发布的mindie镜像制作,除了各种包的版本不一样,其他完全一样,如环境变量、默认安装路径等,不然对mindie不熟悉的客户用910a和910b的mindie镜像像在用两个东西,各种环境问题
2025-01-22 11:12
xMushroom
这个只是个人开发者分享镜像,如果不符合您的诉求,可以不用。
2025-02-07 09:52
发布