返回列表
[300I Duo][MindIE]310p3-ascend_24.1.rc2-cann_8.0.rc2-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.RC2.02
PyTorch
LLM
下载量:50
上传者:xMushroom
点赞
3
有改进之处
0
收藏
收藏
版本信息
Python版本:3.10
CANN版本:8.0.rc2
操作系统版本:ubuntu_22.04
mindie_1.0.RC2
使用说明
# 依赖【细看,版本对齐,不行就装】 + 驱动 Ascend-hdk-310p-npu-driver_24.1.rc2_linux-aarch64.run 链接:https://obs-whaicc-fae-public.obs.cn-central-221.ovaijisuan.com/cann/mindie/1.0.RC2/310p/Ascend-hdk-310p-npu-driver_24.1.rc2_linux-aarch64.run + 固件 Ascend-hdk-310p-npu-firmware_7.3.0.1.231.run 链接:https://obs-whaicc-fae-public.obs.cn-central-221.ovaijisuan.com/cann/mindie/1.0.RC2/310p/Ascend-hdk-310p-npu-firmware_7.3.0.1.231.run # 拉取镜像 + 修改 /etc/hosts 加入 58.48.42.198 swr.cn-central-221.ovaijisuan.com + 修改 /etc/docker/daemon.json 如下: ```json { "registry-mirrors": [ ...[没有就不写这个字段] ], "insecure-registries": [ "swr.cn-central-221.ovaijisuan.com" ] } ``` ``` ``` + 重启docker ```shell systemctl daemon-reload systemctl restart docker ``` + 拉取镜像 ```shell docker pull swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:310p3-ascend_24.1.rc2-cann_8.0.rc2-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.RC2.02 ``` # 启动指令示例(自己加一下 【反斜杠】 我写了但不显示) ```shell docker run -it \ --name MindIE \ --ipc=host \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \ -v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /etc/vnpu.cfg:/etc/vnpu.cfg \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /home/aicc:/home/aicc \ swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:310p3-ascend_24.1.rc2-cann_8.0.rc2-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.RC2.02 /bin/bash ``` # 加载环境变量 ```shell # 自动加载,镜像启动或者用户登录会小卡10来秒,参阅 ~/.bashrc ``` # 测试代码 + LLaMA2-7b-hf测试代码 ```shell cd /usr/local/Ascend/atb-models/ torchrun --nproc_per_node 2 --master_port 20038 -m examples.run_pa --model_path /home/aicc/mushroom/LLaMA2-7b-hf --input_text ["What's Deep Learning?"] --max_output_length 2048 # model_path 写你自己的路径!!!! ```
镜像地址
在其他AICC使用本镜像时,
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
评论
若您有任何疑虑,您可以在这里反馈您的建议。
发布