ModelZoo Cloud

1.介绍

MagicMind 是面向寒武纪 MLU 的推理加速引擎。

MagicMind 能将 AI 框架(TensorFlow,PyTorch,ONNX,Caffe 等) 训练好的算法模型转换成 MagicMind 统一计算图表示,并提供端到端的模型优化、代码生成以及推理业务部署能力。

本仓库展示如何将 CV 分类、检测、分割、NLP、语音等场景的前沿和经典模型，通过 MagicMind 转换和优化，进而运行在基于 MagicMind 的推理加速引擎的寒武纪加速板卡上的示例程序，为开发者提供丰富的 AI 应用移植参考。

2.前提条件

• Linux 常见操作系统版本(如 Ubuntu16.04，Ubuntu18.04，CentOS7.x 等)，安装 docker(>=v18.00.0)应用程序；
• 服务器装配好寒武纪 300 系列及以上的智能加速卡，并安装好驱动(>=v4.20.6)；
• 若不具备以上软硬件条件，可前往寒武纪开发者社区申请试用;

3.环境准备

若基于寒武纪云平台环境可跳过该环节。否则需运行以下步骤：

1.请前往寒武纪开发者社区下载 MagicMind(version >= 1.0.1)镜像，名字如下：

magicmind_version_os.tar.gz, 例如 magicmind_1.0.1-1_ubuntu18.04.tar.gz

2.加载：

docker load -i magicmind_version_os.tar.gz

3.运行：

docker run -it --shm_size 10G --name=dockername \
           --network=host --cap-add=sys_ptrace \
           -v /your/host/path/MagicMind:/MagicMind \
           -v /usr/bin/cnmon:/usr/bin/cnmon \
           --device=/dev/cambricon_dev0:/dev/cambricon_dev0 --device=/dev/cambricon_ctl \
           -w /MagicMind/ magicmind_version_image_name:tag_name /bin/bash

4.网络支持列表和链接

CV：

Classification:

MODELS	FRAMEWORK	MLU370-X4	MLU370-S4	CPP	PYTHON
AlexNet	Caffe	YES	YES	YES	NO
ArcFace	PyTorch	YES	YES	YES	NO
CRNN	PyTorch	YES	YES	NO	YES
DenseNet121	Caffe	YES	YES	YES	NO
EfficientNet	Paddle	YES	YES	NO	YES
GoogleNet_bn	Caffe	YES	YES	YES	YES
MobileNetV2	Caffe	YES	YES	YES	YES
MobileNetV3	PyTorch	YES	YES	YES	NO
ResNet50	ONNX	YES	YES	NO	YES
ResNet50	PyTorch	YES	YES	NO	YES
ResNet50	Paddle	YES	YES	NO	YES
ResNext50	Caffe	YES	YES	YES	YES
SENet50	Caffe	YES	YES	YES	NO
SqueezeNet_v1_1	Caffe	YES	YES	YES	NO
SwinTransformer	PyTorch	YES	YES	NO	YES
VGG16	Caffe	YES	YES	YES	YES
Xception	Paddle	YES	YES	NO	YES
3D-ResNet	PyTorch	YES	YES	NO	YES

Detection:

MODELS	FRAMEWORK	MLU370-X4	MLU370-S4	CPP	PYTHON
C3D	Caffe	YES	YES	YES	NO
CenterNet	PyTorch	YES	YES	YES	NO
DBNet	PyTorch	YES	YES	NO	YES
Faster_R-CNN	PyTorch	YES	YES	NO	YES
Cascade_R-CNN	PyTorch	YES	YES	NO	YES
HoiTransformer	PyTorch	YES	YES	NO	YES
HRNet	PyTorch	YES	YES	NO	YES
Mask_R-CNN(Offical API)	PyTorch	YES	YES	NO	YES
Mask_R-CNN	PyTorch	YES	YES	NO	YES
PSENet	TensorFlow	YES	YES	NO	YES
PPYOLOE	Paddle	YES	YES	NO	YES
Retinaface	PyTorch	YES	YES	YES	NO
RetinaNet	PyTorch	YES	YES	NO	YES
SSD	Caffe	YES	YES	YES	YES
SSD	PyTorch	YES	YES	NO	YES
YOLOv3	Caffe	YES	YES	YES	NO
YOLOv3	TensorFlow	YES	YES	YES	NO
YOLOv3	Paddle	YES	YES	NO	YES
YOLOv3 Tiny	Caffe	YES	YES	YES	NO
YOLOv4	Caffe	YES	YES	YES	NO
YOLOv5	PyTorch	YES	YES	YES	YES
YOLOv5 without plugin	PyTorch	YES	YES	NO	YES
YOLOv7	PyTorch	YES	YES	YES	YES
YOLOv8	PyTorch	YES	YES	NO	YES

Segmentation:

MODELS	FRAMEWORK	MLU370-X4	MLU370-S4	CPP	PYTHON
Deeplabv3	PyTorch	YES	YES	NO	YES
Deeplabv3	TensorFlow	YES	YES	YES	NO
nnUnet	PyTorch	YES	YES	NO	YES
OCRNet(Offical API)	PyTorch	YES	YES	NO	YES
OCRNet	PyTorch	YES	YES	NO	YES
SegNet	Caffe	YES	YES	YES	NO
UNet	PyTorch	YES	YES	NO	YES
UNet(MMSegmentation)	PyTorch	YES	YES	NO	YES
U2Net	PyTorch	YES	YES	NO	YES

Others:

MODELS	FRAMEWORK	MLU370-X4	MLU370-S4	CPP	PYTHON
Clip	PyTorch	YES	YES	NO	YES
FSANet	TensorFlow	YES	YES	NO	YES
HRNet	PyTorch	YES	YES	NO	YES
I3D	PyTorch	YES	YES	NO	YES
MobileNetv2	PyTorch	YES	YES	NO	YES
Openpose	Caffe	YES	YES	YES	NO
PaddleOCRv2	Paddle	YES	YES	NO	YES
PaddleOCRv3	Paddle	YES	YES	NO	YES
ResNet50	PyTorch	YES	YES	NO	YES
TSM	PyTorch	YES	YES	NO	YES

NLP:

LanguageModeling:

MODELS	FRAMEWORK	MLU370-X4	MLU370-S4	CPP	PYTHON
BERT	PyTorch	YES	YES	NO	YES
BERT	TensorFlow	YES	NO	NO	YES
ROBERTA	PyTorch	YES	YES	NO	YES
Roformer-sim	TensorFlow	YES	YES	NO	YES
Transformers	PyTorch	YES	YES	NO	YES

SpeechSynthesis:

MODELS	FRAMEWORK	MLU370-X4	MLU370-S4	CPP	PYTHON
TACOTRON2	ONNX	YES	YES	NO	YES

SpeechRecognition:

MODELS	FRAMEWORK	MLU370-X4	MLU370-S4	CPP	PYTHON
WeNet	PyTorch	YES	YES	NO	YES

Recommendation:

MODELS	FRAMEWORK	MLU370-X4	MLU370-S4	CPP	PYTHON
xDeepFM	Paddle	YES	YES	NO	YES

5.issues/wiki/forum 跳转链接

6.contrib 指引和链接

7.LICENSE

ModelZoo Cloud 的 License 具体内容请参见LICENSE文件。

8.免责声明

ModelZoo 仅提供公共数据集以及预训练模型的下载链接，公共数据集及预训练模型并不属于 ModelZoo, ModelZoo 也不对其质量或维护承担责任。请您在使用公共数据集和预训练模型的过程中，确保符合其对应的使用许可。

如果您不希望您的数据集或模型公布在 ModelZoo 上，或者您希望更新 ModelZoo 中属于您的数据集或模型，请您通过 Gitee 中提交 issue，您也可以联系[email protected]告知我们。

9.Release Note

v1.7:

• MagicMind支持版本1.7.0
• 修复部分网络README错误
• 删除对TensorFlow框架支持，详情见MagicMind r1.7.0 Release Note

v1.6:

• MagicMind支持版本1.6.0
• 整理代码格式，统一文件命名规则，修复部分网络README错误
• CV : 新增yolov8_pytorch、yolov5_v7_1_non_detection_output_pytorch网络支持
• NLP : 新增xdeepfm_paddle网络支持

v1.5:

• MagicMind支持版本1.5.0
• 修复tacotron2_onnx perf测试中模型错误问题

v1.4:

• MagicMind支持版本1.3.0
• 新增gen_model以及infer时的公共组件函数:python_common, cpp_common
• cv/classification: 重构 3dresnet_pytorch/arcface_pytorch/crnn_pytorch/densenet121_caffe/efficientnet_paddle/googlenet_bn_caffe/mobilenetv2_caffe/mobilenetv3_pytorch/resnet50_onnx/resnet50_paddle/resnet50_pytorch/senet50_caffe/squeezenet_v1_1_caffe/swintransformer_pytorch/vgg16_caffe/xception_paddle/ 删除 squeezenet_v1_0_caffe
• cv/detection: 重构 c3d_caffe/centernet_pytorch/dbnet_pytorch/retinaface_pytorch/yolov3_caffe/yolov3_tensorflow/yolov3_tiny_caffe/yolov4_caffe/yolov5_v6_1_pytorch/yolov7_pytorch 新增 mmdetection/paddledetection
• cv/segmentation: 重构 unet_pytorch 新增 mmsegmentation
• cv/other: 重构 clip_pytorch/openpose_caffe/ 新增 mmaction2/mmpose/paddleocr
• nlp/LanguageModeling: 重构 bert_squad_pytorch/bert_tensorflow/roberta_pytorch/roformer-sim_tensorflow/
• nlp/SpeechRecognition: 重构 wenet_pytorch
• nlp/SpeechSynthesis: 重构 tacotron2_onnx

v1.3:

• MagicMind支持版本1.0.1

• CV : 新增CRNN/Densenet121/GoogleNet_bn/DBNet/ResNet50(Paddle)/SwinTransformer/3D-ResNet/YoloV3(TensorFlow&Paddle)/YoloV7/HoiTransformer/YoloV4/PSENet/Openpose/Clip/FSANet网络的支持

• NLP : 新增Roberta/Roformer-sim/WeNet网络的支持

v1.2:

• MagicMind支持版本0.14.0

• CV : 新增AlexNet/SENet50/ArgFace/MaskRCNN/RetinaFace/SegNet/Deeplabv3/U2Net/Openpose网络的支持

• NLP : 新增BERT(TensorFlow)/Transformers网络的支持

v1.1:

• CV : 新增ResNext50/Squeezenet_v1_1/Squeezenet_v1_0/Centernet/YoloV3/YoloV3 Tiny/C3D/MobileNetV2/MobileNetV3网络的支持

• NLP : 新增Tacotron2网络的支持

v1.0:

• MagicMind支持版本0.13.0

• CV : 新增ResNet50/VGG16/YoloV5/SSD/Unet网络的支持

• NLP : 新增BERT(PyTorch)网络的支持