3月25日,浪潮信息宣布元脑企智DeepSeek一体机推出“双模”版,单机可同时部署、运行671B参数的DeepSeek R1与V3模型,并可高性能支持2000用户并发服务,结合元脑企智EPAI企业大模型应用开发平台,将为各行业用户提供强大、好用、易部署的大模型应用系统。
浪潮信息团队针对用户的这一迫切需求,从AI 服务器、推理框架、大模型应用软件等多个方面开展适配与优化工作,推出浪潮元脑企智DeepSeek一体机,已适配支持DeepSeek R1 671B、DeepSeek V3 671B/685B模型,实现了“快思考”与“深度思考”能力的全面融合,助力企业用户在全场景下充分释放DeepSeek大模型能力。
元脑企智DeepSeek一体机NF5698A7原生支持FP8计算引擎,以1536GB HBM3显存、5.3 TB/s 内存带宽实现了显存容量与通信效率的黄金组合,适配 DeepSeek R1模型“短输入长输出、显存带宽敏感”的技术特性,单机支持全量DeepSeek R1与V3模型推理情况下,仍保留充足的KV缓存空间,配合896 GB/s P2P带宽的高速通信架构,在保障单机部署张量并行效率的同时,实现大模型推理解码阶段的加速,为DeepSeek R1与V3模型提供强劲算力支撑与稳定运行保障。
此外,得益于超大显存,浪潮NF5698A7的能够同时部署、运行DeepSeek R1与DeepSeek V3模型,为用户带来了“开箱即用”的解决方案,降低了DeepSeek模型部署的技术门槛,快速实现大模型在业务中的应用。