TensorRT 8 带来创纪录的推理创新

TensorRT 8 带来创纪录的推理创新

00:00
12:18

AI 革命如火如荼,为企业带来新的机遇,企业的产品、服务、客户互动等方方面面都将融入 AI 并借助 AI 实现改进。多年来,GPU 已经证明能够非常有效地解决某些极为复杂的深度学习问题。早在 2016 年 NVIDIA 就推出了支持高性能深度学习推理加速引擎 —— TensorRT,NVIDIA 深度学习平台也逐渐成为业界标准的训练解决方案。


NVIDIA TensorRT 是一个用于高性能深度学习推理的SDK,包含深度学习推理优化器和运行时环境,可为深度学习应用提供低延迟、高吞吐率的部署推理。借助 TensorRT,用户可以优化在所有主要框架中训练的神经网络模型,并最终将模型部署到超大规模数据中心、嵌入式或汽车产品平台中。 


本期节目中,NVIDIA技术专家将带领大家全面了解最新的TensorRT 8的功能以及AI推理的发展情况,并通过分析行业使用状况和市场需求,解析TensorRT如何助力开发者优化AI推理的解决方案。


· TensorRT作为AI推理利器的发展历程、AI推理的重要性

· TensorRT 8带来了创纪录的推理创新和速度,主要指什么?

· TensorRT的行业应用与下载使用情况如何?

· AI推理技术迅猛发展的原因有哪些?


本期嘉宾介绍:

刘一鸣,NVIDIA深度学习解决方案架构师,毕业于加州大学尔湾分校统计系,主要研究方向为数理统计和计算机视觉等。2020年加入NVIDIA 担任解决方案架构师,为 NVIDIA 企业级客户提供全面的技术支持,帮助消费互联网客户构建基于 GPU计算的深度学习训练和推理加速解决方案。

以上内容来自专辑
用户评论

    还没有评论,快来发表第一个评论!