返回列表
mindformers1.3_mindspore2.4:20241114
MindFormers
下载量:210
上传者:MindFormers官方

3

0

收藏
版本信息
Python版本:3.10
CANN版本:8.0.RC3
操作系统版本:unbuntu:22.04
MindIE1.0.rc3
CANN版本:8.0.RC3
操作系统版本:unbuntu:22.04
MindIE1.0.rc3
使用说明
## 新建容器
```shell
image_name=swr.cn-central-221.ovaijisuan.com/mindformers/mindformers1.3_mindspore2.4:20241114
docker_name=container_name
docker run -itd -u root -h localhost
--ipc=host --net=host
--privileged
--device=/dev/davinci6
--device=/dev/davinci7
--device=/dev/davinci_manager
--device=/dev/devmm_svm
--device=/dev/hisi_hdc
-v /etc/localtime:/etc/localtime
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/bin/hccn_tool
-v /etc/ascend_install.info:/etc/ascend_install.info
-v /var/log/npu:/usr/slog
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi
-v /etc/hccn.conf:/etc/hccn.conf
--name "$docker_name"
"$image_name"
/bin/bash
```
## 安装MindFormers
镜像中未安装`MindFormers`包,可根据使用场景不同进行操作
**源码使用**
```bash
git clone https://gitee.com/mindspore/mindformers.git -b r1.3.0
```
**whl包使用**
```bash
git clone https://gitee.com/mindspore/mindformers.git -b r1.3.0 # 源码使用
bash build.sh
```
## 使用MindIE进行服务化推理
在使用MindIE前需要设置的环境变量
```bash
export MS_INTERNAL_DISABLE_CUSTOM_KERNEL_LIST=PagedAttention
# 使用多卡进行推理时需要设置如下环境变量,端口号可根据实际使用进行变更
export MS_SCHED_HOST=127.0.0.1
export MS_SCHED_PORT=8090
```
镜像地址
在其他AICC使用本镜像时,
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
1) 在本地arm宿主机通过docker pull 拉取上面镜像到本地(即执行docker pull remote_image_address)
2) 用docker tag 将局点信息和组织名替换成对应版本(即执行 docker tag local_image_address remote_image_address),
3) 用docker push 将修改后的镜像名称推送到局点的swr服务中(即执行docker push remote_image_address)
swr.cn-central-221.ovaijisuan.com/mindformers/mindformers1.3_mindspore2.4:20241114


评论
若您有任何疑虑,您可以在这里反馈您的建议。
发布