tensorRT(二)| MNIST例子解读
本文来自公众号“AI大道理”。
这里既有AI,又有生活大道理,无数渺小的思考填满了一生。
本文使用TensorRT MNIST的例子介绍TensorRT的基本流程。
MNIST的例子将训练好的神经网络模型转换为TensorRT的形式,并用TensorRT Optimizer进行优化。
1、全流程
TensorRT获取模型结构与权重、进行模型优化、生成engine。
这一步被称为 build phase,耗时较长(特别在嵌入式设备上),所以需要保存为一个本地文件。
生成的文件不能在不同设备、不同TensorRT版本下使用。
基本流程:
执行基本的安装,用Caffe parser初始化tensorRT。 用Caffe parser导入训练过的Caffe model。 对输入进行预处理并存储在缓冲区内。 建立引擎。 序列化和反序列化引擎。 利用引擎推理一张图片。
TensortRT构造 SampleMNIST 对象,调用相关方法实现Caffe模型转换、TensorRT En
共有 0 条评论