/tags/tensorrt/Recent content in TensorRT on My BlogHugoen-usSun, 15 Jul 2018 00:00:00 +0000/2018/07/15/tensorrt%E5%AE%89%E8%A3%85/Sun, 15 Jul 2018 00:00:00 +0000/2018/07/15/tensorrt%E5%AE%89%E8%A3%85/<!-- toc --> <p>[TOC]</p> <h2 id="tensorrt简介">tensorRT简介</h2> <p>深度学习的发展带动了一批深度学习框架，caffe、tensorflow、pytorch等，对于计算量庞大的CNN，效率一直是大家所关注的，接触过深度网络压缩的同学应该知道网络压缩最关键的两个思路，剪枝和量化。 TensorRT就是量化，将FP32位权值数据优化为 FP16 或者 INT8，而推理精度不发生明显的降低。 关于TensorRT首先要清楚以下几点：</p> <ol> <li> <p>TensorRT是NVIDIA开发的深度学习推理工具，只支持推理，不支持训练； 目前TensorRT4已经支持Caffe、Caffe2、TensorFlow、MxNet、Pytorch等主流深度学习库；</p> </li> <li> <p>TensorRT底层针对NVIDIA显卡做了多方面的优化，不仅仅是量化，可以和 CUDA CODEC SDK 结合使用，也就是另一个开发包DeepStream；</p> </li> <li> <p>TensorRT独立于深度学习框架，通过解析框架文件来实现，不需要额外安装DL库；</p> <p>参考示意图：</p> <p><img alt="tensorrt_01" loading="lazy" src="/2018/07/15/tensorrt%E5%AE%89%E8%A3%85/tensorrt_01.png"></p> </li> </ol> <h2 id="tensorrt安装">tensorRT安装</h2> <p>1、安装tensorRT之前准备</p>