AIACC-Inference(AIACC推理加速)支持优化基于TensorFlow搭建的图像分类和检测模型,可以显著提升推理性能。本文介绍手动安装和使用AIACC-Inference(AIACC推理加速) TensorFlow版的流程。
前提条件
- 已创建阿里云GPU实例:
- 实例规格:配备NVIDIA P100、V100或T4 GPU
- 实例镜像:Ubuntu 18.04、Ubuntu 16.04、CentOS 8.x或CentOS 7.x
- GPU实例已安装:
- Python 3.6
- CUDA 10
- cuDNN 7.4或以上版本
- TensorFlow 1.14
- TensorRT 5或者6
背景信息
为了使用AIACC-Inference(AIACC推理加速) TensorFlow版加速推理,您需要调用AIACC-Inference(AIACC推理加速) TensorFlow版的接口优化模型。具体操作,请参见
使用AIACC-Inference(AIACC推理加速) TensorFlow版。