蔚来NADP+NVIDIA Triton 搭建稳定高效的推理平台

【编者按】

在近日举行的 GTC 大会上,蔚来 AI 平台负责人白宇利带来非常有价值的分享,他首次对外透露了蔚来自研的全栈式自动驾驶系统(NAD)的部署和开发情况,同时也将蔚来自动驾驶研发平台(NADP)这个神秘的“Peta Factory”带到了公众视野中。

据了解,NADP是服务于蔚来自动驾驶核心业务方向的研发平台,用于开发 NAD 功能。以“Peta”为名是因为每辆车每天能生成 55 petabit 数据(1 petabit = 10^6 gigabit = 10^9 megabit = 10^15 bits),而 NADP 是所有流程、工作流、数据以及底层软硬件的组合。NADP 能够以一站式平台管理大量复杂的 AI 应用,并将模型开发效率提高 20 倍,从而缩短自动驾驶汽车的上市周期,开发出更新、更快的架构。

在模型训练、测试和部署的过程中,为了确保新改进能够切实地解决相应问题,且不会引发任何新问题, NADP 需要执行 10 万项推理任务,包括数据挖掘、仿真和回归测试。经过众多方案的对比和筛选,蔚来选用了NVIDIA Triton 推理服务器作为核心组件,构建了 NADP 的高性能推理服务。

NVIDIA Triton 推理服务器是 NVIDIA AI 平台的一部分,它是一款开源推理服务软件,可助力标准化模型的部署和执行,并在生产环境中提供快速且可扩展的 AI。

Triton 推理服务器可助力团队在任意基于 GPU 或 CPU 的基础设施上部署、运行和扩展任意框架中经过训练的 AI 模型,进而精简 AI 推理。同时,AI 研究人员和数据科学家可在不影响生产部署的情况下,针对其项目自由选择合适的框架。它还帮助开发者跨云、本地、边缘和嵌入式设备提供高性能推理。

正如白宇利在分享中提到:“我们基于 NVIDIA Triton 推理服务器构建了高性能推理服务。此服务非常适用于 NADP,并可轻松集成模型仓库、工作流、Jupyter、Prometheus 和许多其他组件,从而简化 AI 推理。Triton 让编排和扩展变得更轻松,还能将推理速度提高至 6 倍,并可节省 24% 的资源。”

蔚来基于 NVIDIA Triton 搭建的推理服务平台,在数据挖掘业务场景下,通过服务器端模型前处理和多模型 DAG 式编排,GPU 资源平均节省 24%;在部分核心 pipeline上,吞吐能力提升为原来的 5 倍,整体时延降低为原来的 1/ 6。

Triton 在设计之初,就融入了云原生的设计思路,为后面逐步围绕 Triton 搭建完整的云原生平台性推理解决方案提供了相当大的便利。

作为 NADP 推理平台的核心组件,Triton 与 NADP 的各个组件形成了一套完整的推理一站式解决方案。从集成效率、高性能、易用性、高可用四方面,在 NADP 推理平台中提供助力。

目前,NADP 数据挖掘业务下的相关模型预测服务已经全部迁移至 Triton 推理服务器,为上百个模型提供了高吞吐预测能力。同时在某些任务基础上,通过自实现前处理算子、前后处理服务化、BLS 串联模型等手段,将一些模型任务合并起来,极大的提升了处理效率。

NVIDIA Triton 推理服务器支持所有主要模型框架( TensorFlow、PyTorch、TensorRT、XGBoost、ONNX、OpenVINO、Python 等),可用于在 x86 和 Arm CPU、NVIDIA GPU 和 AWS Inferentia 上运行模型。

目前,NVIDIA Triton 正在被全世界各行各业数以千计的组织使用,用于解决人工智能推理挑战。包括:阿里云、Amazon Elastic Kubernetes Service (EKS)、Amazon Elastic Container Service (ECS)、Amazon SageMaker、Google Kubernetes Engine (GKE)、Google Vertex AI、HPE Ezmeral、Microsoft Azure Kubernetes Service (AKS) 和 Azure Machine Learning 都在使用 NVIDIA Triton进行AI推理和模型部署。

更多详情,请查看NVIDIA开发者博客,查看完整版案例介绍《NADP + Triton搭建稳定高效的推理平台》。

关于 NVIDIA

自1993年成立以来,NVIDIA (NASDAQ: NVDA) 一直是加速计算领域的先驱。NVIDIA 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形,开启了现代AI时代。NVIDIA现在是一家全栈计算公司,其数据中心规模的产品正在重塑整个行业。