返回列表
[910B][MindIE]910B-ascend_24.1.rc2-cann_8.0.rc2-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.RC2
PyTorch
LLM
下载量:137
上传者:xMushroom
点赞
11
有改进之处
0
收藏
收藏
版本信息
Python版本:3.10
CANN版本:8.0.rc2
操作系统版本:ubuntu_22.04
mindie_1.0.RC2
使用说明
# 依赖【细看,版本对齐,不行就装】 + 驱动 Ascend-hdk-910b-npu-driver_24.1.rc2_linux-aarch64.run 链接:https://obs-whaicc-fae-public.obs.cn-central-221.ovaijisuan.com/cann/mindie/1.0.RC2/910b/Ascend-hdk-910b-npu-driver_24.1.rc2_linux-aarch64.run + 固件 Ascend-hdk-910b-npu-firmware_7.3.0.1.231.run 链接:https://obs-whaicc-fae-public.obs.cn-central-221.ovaijisuan.com/cann/mindie/1.0.RC2/910b/Ascend-hdk-910b-npu-firmware_7.3.0.1.231.run # 拉取镜像 + 修改 /etc/hosts 加入 58.48.42.198 swr.cn-central-221.ovaijisuan.com + 修改 /etc/docker/daemon.json 如下: ```json { "registry-mirrors": [ ...[没有就不写这个字段] ], "insecure-registries": [ "swr.cn-central-221.ovaijisuan.com" ] } ``` ``` ``` ``` ``` + 重启docker ```shell systemctl daemon-reload systemctl restart docker ``` + 拉取镜像 ```shell docker pull swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:37131-ascend_24.1.rc2-cann_8.0.rc2-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.RC2.01 ``` # 启动指令示例(自己加一下 【反斜杠】 我写了但不显示) ```shell docker run -it \ --name MindIE \ --ipc=host \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \ -v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /etc/vnpu.cfg:/etc/vnpu.cfg \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /home/aicc:/home/aicc \ swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:37131-ascend_24.1.rc2-cann_8.0.rc2-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.RC2.01 /bin/bash ``` # 加载环境变量 ```shell # 自动加载,镜像启动或者用户登录会小卡10来秒,参阅 ~/.bashrc ``` # 测试代码 + LLaMA2-7b-hf测试代码 ```shell cd /usr/local/Ascend/atb-models/ torchrun --nproc_per_node 2 --master_port 20038 -m examples.run_pa --model_path /home/aicc/mushroom/LLaMA2-7b-hf --input_text ["What's Deep Learning?"] --max_output_length 2048 # model_path 写你自己的路径!!!! ```
镜像地址
在其他AICC使用本镜像时,
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
评论
若您有任何疑虑,您可以在这里反馈您的建议。
发布
分享一下构建流程
2024-09-30 11:52
发布
你好,能分享一下构建流程吗
2024-09-25 10:42
发布
Fatal Python error: PyThreadState_Get: the function must be called with the GIL held, but the GIL is released (the current Python thread state is NULL)
Python runtime state: finalizing (tstate=0x0000fffbf401d570)
2024-08-01 16:25
发布
6666
2024-07-26 11:09
发布