Nemotron 3.5 Lightning是一款300亿参数的混合专家模型,专为大型多智能体系统中的专业任务而构建,有助于创建更智能、更高效的智能体应用。
此外,英伟达还发布了NeMo Switchyard,这是一个开源库,可在主流智能体工具内部实现智能路由。企业可以基于自身特定需求构建路由系统。部署后,NeMo Switchyard能够智能地将每个请求导向最合适、最能胜任该任务的模型,涵盖开发者自行组合的开源模型、专有模型以及英伟达模型,且无需开发者重写应用程序。
Nemotron 3.5 Lightning与NeMo Switchyard相结合,可在PC、工作站、数据中心和云端环境中,为AI的部署方式、运行位置以及运行效率提供更强的控制力。
现代智能体系统——即常驻智能体——日益以模型集成或模型组合的形式运作,不同的模型专门处理不同的任务。
英伟达Nemotron开放模型即为这种架构而设计。像Nemotron 3 Ultra或GPT-5.6这样的前沿推理模型可以规划并编排工作流程,而像Nemotron 3.5 Lightning这样较小的专业模型则可以执行代码审查、工具调用、安全警报监控和计费问题解答等针对性任务。
Nemotron 3.5 Lightning是一个完全可定制的开放模型,专为支撑常驻智能体的高吞吐任务而打造。它的开发离不开Nemotron联盟的贡献,联盟成员提供了评估方法、推理软件和数据集,以帮助推进该模型。
与同类其他模型相比,该模型的输出速度最高可提升4倍,智能体任务完成速度可提升30%。而且由于它是开放且可定制的,组织可以使用英伟达NeMo在自己的领域数据、工具和工作流程上轻松对Nemotron 3.5 Lightning进行后训练,从而提高专业任务的准确性。
各行业的AI领导者正在针对自身工作负载定制Nemotron 3.5 Lightning,包括网络安全领域的CrowdStrike、法律服务的Harvey(与Trajectory合作)以及代码审查领域的CodeRabbit(与Baseten合作),以提高领域特定智能体任务的准确性。此外,Lila Sciences正在帮助提升物理和生命科学领域智能体任务的推理能力,Fastino Labs定制了该模型后,在软件开发、金融和医疗健康工作负载方面取得了领先的准确性。
Nemotron 3.5 Lightning还让组织能够掌控隐私和部署方式。它可以在本地AI系统上运行,包括NVIDIA RTX PC、NVIDIA DGX Spark、NVIDIA DGX Station和NVIDIA Jetson,帮助用户最大化利用现有基础设施投资,或扩展到边缘AI设备、NVIDIA RTX PRO工作站、数据中心和云环境以满足企业用例。对于需要快速响应的高吞吐专业任务,Nemotron 3.5 Lightning可以在本地或私有化部署。
此外,与每次Nemotron发布一样,英伟达在许可允许的范围内尽可能公开训练数据和训练技术,从而实现可追溯性、审计以及基于其训练其他模型。与Lightning一同发布的还有Nemotron-RL-Agentic-Terminal-Pivot,这是一个智能体强化学习数据集,用于对模型进行后训练以增强其编码智能体能力。
有些模型更擅长编码,有些更擅长推理,有些适合轻量任务,还有些针对本地运行进行了优化以提升隐私和效率。如果客户依赖单一默认模型,可能会过度支出或损失质量;如果手动管理路由,则会带来拖慢部署的集成工作。