TensorRT安装及使用教程

参考:https://arleyzhang.github.io/articles/7f4b25ce/

1 什么是TensorRT

一般的深度学习项目,训练时为了加快速度,会使用多 GPU 分布式训练。但在部署推理时,为了降低成本,往往使用单个 GPU 机器甚至嵌入式平台(比如 NVIDIA Jetson)进行部署,部署端也要有与训练时相同的深度学习环境,如 caffe,TensorFlow 等。由于训练的网络模型可能会很大(比如,inception,resnet 等),参数很多,而且部署端的机器性能存在差异,就会导致推理速度慢,延迟高。这对于那些高实时性的应用场合是致命的,比如自动驾驶要求实时目标检测,目标追踪等。所以为了提高部署推理的速度,出现了很多轻量级神经网络,比如 squeezenet,mobilenet,shufflenet 等。基本做法都是基于现有的经典模型提出一种新的模型结构,然后用这些改造过的模型重新训练,再重新部署。

而 TensorRT 则是对训练好的模型进行优化。 TensorRT 就只是推理优化器。当你的网络训练完之后,可以将训练模型文件直接丢进 TensorRT中,而不再需要依赖深度学习框架(Caffe,TensorFlow 等),如下:

可以认为 TensorRT 是一个只有前向传播的深度学习框架,这个框架可以将  Caffe,TensorFlow 的网络模型解析,然后与 TensorRT 中对应的层进行一一映射,把其他框架的模型统一全部转换到 TensorRT 中,然后在 TensorRT 中可以针对 NVIDIA 自家 GPU 实施优化策略,并进行部署加速。

如果想了解更多关于 TensorRT 的介绍,可参考官网介绍

2 TensorRT安装

TensorRT 的安装方式很简单,只需要注意一些环境的依赖关系就可以,我们以 TensorRT 5.0.4 版本为例,参考官网安装教程,这里简单总结一下步骤

TensorRT 支持的环境和 Python 版本如表所示(来源

2.1 环境确认

  • 确认 CUDA 版本是 9.0 或者 10.0,可通过运行 nvcc -V 指令来查看 CUDA,如果不是 9.0 以上,则需要先把 CUDA 版本更新一下
  • cudnn 版本是 7.3.1,如果不满足要求,按照《Linux之cudnn升级方法》进行升级
  • 需安装有 TensorFlow,uff模块需要

2.2 安装 pycuda

如果要使用 Python 接口的 TensorRT,则需要安装 Pycuda

pip install 'pycuda>=2017.1.1'

2.3 下载安装包

  1. 进入下载链接
  2. 点击 Download Now(需要登录英伟达账号,没有的注册一个)
  3. 选择下载的版本
  4. 完成问卷调查
  5. 选择同意协议
  6. 根据自己的系统版本和 CUDA 版本,选择安装包,如图所示(如果是完整安装,建议选择Tar File Install Packages,这样可以自行选择安装位置)

2.4 安装指令

安装时只需要把压缩文件解压,相应的库文件拷贝到系统路径下即可

#在home下新建文件夹,命名为tensorrt_tar,然后将下载的压缩文件拷贝进来解压
tar xzvf TensorRT-5.0.2.6.Ubuntu-16.04.4.x86_64-gnu.cuda-9.0.cudnn7.3.tar

#解压得到TensorRT-5.0.2.6的文件夹,将里边的lib绝对路径添加到环境变量中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/lthpc/tensorrt_tar/TensorRT-5.0.2.6/lib

为了避免其它软件找不到 TensorRT 的库,建议把 TensorRT 的库和头文件添加到系统路径下

# TensorRT路径下
sudo cp -r ./lib/* /usr/lib
sudo cp -r ./include/* /usr/include

如果要使用 python 版本,则使用 pip 安装,执行下边的指令

# 安装TensorRT
cd TensorRT-5.0.2.6/python
pip install tensorrt-5.0.2.6-py2.py3-none-any.whl

# 安装UFF,支持tensorflow模型转化
cd TensorRT-5.0.2.6/uff
pip install uff-0.5.5-py2.py3-none-any.whl

# 安装graphsurgeon,支持自定义结构
cd TensorRT-5.0.2.6/graphsurgeon
pip install graphsurgeon-0.3.2-py2.py3-none-any.whl

很多人安装某些版本的时候会报错,比如

ERROR: tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl is not a supported wheel on this platform.

这个是因为自己 python 版本不对,输入 pip --version 来查看 python 版本是否是自己想象中的版本,不对的话切换一下  

============= 20200618更新 ===============

为了避免安装时各种问题,我们也可以使用 deb 包的方式安装,即在 2.3 步骤中选择自己系统对应的版本,然后使用如下指令安装

# 首先根据自己下载的版本填写os和tag变量
# 我下载的版本是 nv-tensorrt-repo-ubuntu1804-cuda10.2-trt7.0.0.11-ga-20191216_1-1_amd64.deb
# 得到如下值

os="ubuntu1804"
tag="cuda10.2-trt7.0.0.11-ga-20191216"
sudo dpkg -i nv-tensorrt-repo-${os}-${tag}_1-1_amd64.deb
sudo apt-key add /var/nv-tensorrt-repo-${tag}/7fa2af80.pub

sudo apt-get update
sudo apt-get install tensorrt

sudo apt-get install python-libnvinfer-dev  # for python2
sudo apt-get install python3-libnvinfer-dev  # for python3
sudo apt-get install uff-converter-tf  # for tensorflow

安装完之后运行下边指令

dpkg -l | grep TensorRT

 输出如下,表明安装成功

ii  graphsurgeon-tf	7.1.0-1+cuda10.2	amd64	GraphSurgeon for TensorRT package
ii  libnvinfer-bin		7.1.0-1+cuda10.2	amd64	TensorRT binaries
ii  libnvinfer-dev		7.1.0-1+cuda10.2	amd64	TensorRT development libraries and headers
ii  libnvinfer-doc		7.1.0-1+cuda10.2	all	TensorRT documentation
ii  libnvinfer-plugin-dev	7.1.0-1+cuda10.2	amd64	TensorRT plugin libraries
ii  libnvinfer-plugin7	7.1.0-1+cuda10.2	amd64	TensorRT plugin libraries
ii  libnvinfer-samples	7.1.0-1+cuda10.2	all	TensorRT samples
ii  libnvinfer7		7.1.0-1+cuda10.2	amd64	TensorRT runtime libraries
ii  libnvonnxparsers-dev		7.1.0-1+cuda10.2	amd64	TensorRT ONNX libraries
ii  libnvonnxparsers7	7.1.0-1+cuda10.2	amd64	TensorRT ONNX libraries
ii  libnvparsers-dev	7.1.0-1+cuda10.2	amd64	TensorRT parsers libraries
ii  libnvparsers7	7.1.0-1+cuda10.2	amd64	TensorRT parsers libraries
ii  python-libnvinfer	7.1.0-1+cuda10.2	amd64	Python bindings for TensorRT
ii  python-libnvinfer-dev	7.1.0-1+cuda10.2	amd64	Python development package for TensorRT
ii  python3-libnvinfer	7.1.0-1+cuda10.2	amd64	Python 3 bindings for TensorRT
ii  python3-libnvinfer-dev	7.1.0-1+cuda10.2	amd64	Python 3 development package for TensorRT
ii  tensorrt		7.1.0.x-1+cuda10.2 	amd64	Meta package of TensorRT
ii  uff-converter-tf	7.1.0-1+cuda10.2	amd64	UFF converter for TensorRT package

2.5 环境测试

运行 python 测试,导入模块不报错就表明安装正确

注意:导入 uff 的时候需要安装 tensorflow 模块,tensorflow 版本要与 cuda 版本对应,比如 cuda9 要对应 tensorflow1.12 及以下版本,以上版本需要 cuda10,具体参考官网

如果导入 TensorRT 报错如下,则是因为 python 版本不对,应根据 2.1 节上边的那个表调整自己的 python 版本

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/xxx/anaconda3/lib/python3.6/site-packages/tensorrt/__init__.py", line 1, in <module>
    from .tensorrt import *
ImportError: /home/xxx/anaconda3/lib/python3.6/site-packages/tensorrt/tensorrt.so: undefined symbol: _Py_ZeroStruct

安装后会在 /usr/src 目录下生成一个 TensorRT 文件夹,里面包含 bin,data,python,samples 四个文件夹,samples 文件夹中是官方例程的源码;data,python 文件中存放官方例程用到的资源文件,比如 caffemodel 文件,TensorFlow 模型文件,一些图片等;bin 文件夹用于存放编译后的二进制文件。

 ============= 20200618更新 ===============

也可以使用如下方法测试

sudo cp -r /usr/src/tensorrt/ ~/
cd ~/tensorrt/samples
sudo make
cd ../bin
./sample_int8 mnist

3 使用流程

在 /TensoRT-5.0.2.6/samples/python 文件夹下有很多 python 的例子,我们以第一个 end_to_end_tensorflow_mnist 的例子为例,描述 TensorRT 的使用流程,在 README.md 文件里也说得很明白了

3.1 安装依赖

需要安装好 numpy、Pillow、pycuda、tensorflow 等环境,如果都有可以跳过

3.2 生成pb文件

mkdir models
python model.py

运行 model.py 后,会下载数据 mnist.npz,并开始训练,完成后在 models 文件夹下生成 lenet5.pb 文件,如果自己已经训练得到 pb 文件,上述过程可以跳过

3.3 格式转化

要将 tensorflow 的 pb 文件转化为 uff 格式的文件,首先找到 convert_to_uff 文件,看自己用的是哪个版本的 python,如果是 python3,则在 /usr/lib/python3.5/dist-packages/uff/bin 文件夹下,如果是 python2,则在 /usr/lib/python2.7/dist-packages/uff/bin 文件夹下

我们在终端中进入 end_to_end_tensorflow_mnist,运行以下指令

python3.5 /usr/lib/python3.5/dist-packages/uff/bin/convert_to_uff.py --input_file models/lenet5.pb

则会在 models 文件夹中生成 lenet5.uff 文件

需要注意的是:该转化过程只支持在 x86 平台上实现,如果想在 TX2 等嵌入式平台上使用 TensorRT ,需要先在 x86 平台上将 pb 模型转化为 uff 文件,然后再拷贝到 TX2 上使用

3.4 运行文件

运行 sample.py 文件,得到如下输出,表明可完整的使用 TensorRT


4 使用自己的模型

前边 3 步相当于是环境的配置,当然还不够,我们需要的是可以转化并运行我们自己的模型,达到加速的效果,因此接下来对相关的工作进行总结,具体转换参考《TX2之TensorRT加速TensorFlow目标检测模型

打赏
文章很值,打赏犒劳作者一下
相关推荐
tensorrt7 官方文档 c++ python中tensorrt的应用 Chapter 1. What Is TensorRT?.............................................................................................1 1.1. Benefits Of TensorRT................................................................................................................3 1.1.1. Who Can Benefit From TensorRT.....................................................................................4 1.2. Where Does TensorRT Fit?......................................................................................................5 1.3. How Does TensorRT Work?..................................................................................................... 7 1.4. What Capabilities Does TensorRT Provide?............................................................................8 1.5. How Do I Get TensorRT?..........................................................................................................9 Chapter 2. Using The C++ API............................................................................................10 2.1. Instantiating TensorRT Objects in C++..................................................................................10 2.2. Creating A Network Definition In C++................................................................................... 11 2.2.1. Creating A Network Definition From Scratch Using The C++ API.................................12 2.2.2. Importing A Model Using A Parser In C++..................................................................... 13 2.2.3. Importing A Caffe Model Using The C++ Parser API......................................................14 2.2.4. Importing A TensorFlow Model Using The C++ UFF Parser API...................................14 2.2.5. Importing An ONNX Model Using The C++ Parser API..................................................15 2.3. Building An Engine In C++.....................................................................................................
<p> <strong><span style="background-color:#FFFFFF;color:#E53333;font-size:24px;">本页面购买不发书!!!仅为视频课购买!!!</span></strong> </p> <p> <strong><span style="color:#E53333;font-size:18px;">请务必到</span></strong><a href="https://edu.csdn.net/bundled/detail/49?utm_source=banner"><strong><span style="color:#E53333;font-size:18px;">https://edu.csdn.net/bundled/detail/49</span></strong></a><strong><span style="color:#E53333;font-size:18px;">下单购买课+书。</span></strong> </p> <p> <span style="font-size:14px;">本页面,仅为观看视频页面,如需一并购买图书,请</span><span style="font-size:14px;">务必到</span><a href="https://edu.csdn.net/bundled/detail/49?utm_source=banner"><span style="font-size:14px;">https://edu.csdn.net/bundled/detail/49</span></a><span style="font-size:14px;">下单购买课程+图书!!!</span> </p> <p> <br /> </p> <p> <span style="font-size:14px;">疯狂Python精讲课程覆盖《疯狂Python讲义》全书的主体内容。</span> </p> <span style="font-size:14px;">内容包括Python基本数据类型、Python列表、元组和字典、流程控制、函数式编程、面向对象编程、文件读写、异常控制、数据库编程、并发编程与网络编程、数据可视化分析、Python爬虫等。</span><br /> <span style="font-size:14px;"> 全套课程从Python基础开始介绍,逐步步入当前就业热点。将会带着大家从Python基础语法开始学习,为每个知识点都提供对应的代码实操、代码练习,逐步过渡到文件IO、数据库编程、并发编程、网络编程、数据分 析和网络爬虫等内容,本课程会从小案例起,至爬虫、数据分析案例终、以Python知识体系作为内在逻辑,以Python案例作为学习方式,最终达到“知行合一”。</span><br />
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页

打赏

ZONG_XP

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者