NIM – 英伟达推出的AI模型推理微服务平台

NIM是什么

NIM（NVIDIA Inference Microservices）是英伟达推出的用于快速部署加速生成式AI推理的微服务解决平台。NIM提供预构建、优化的推理微服务，支持在任何NVIDIA加速的基础设施（如云、数据中心、工作站和边缘设备）上部署最新的AI模型。NIM结合托管API的易用性和自托管模型的安全性与灵活性，具备低延迟、高吞吐量的推理性能，支持细粒度模型。NIM的企业级特性、快速部署能力和广泛的模型支持，成为推动企业AI应用快速落地的理想选择。

NIM的主要功能

• 预构建与优化的微服务：提供针对最新AI模型的预优化推理微服务，支持快速部署，减少开发和部署时间。