华尔街见闻 · 要闻·· 4 小时前关注度42
DeepSeek全面开源推理框架DeepInfer:兼容英伟达、华为昇腾芯片,单集群日吞吐155万亿Token
DeepSeek全面开源推理框架:兼容英伟达、华为昇腾芯片,单集群日吞吐155万亿Token,每卡每小时收入38美元
模型导读
DeepSeek宣布全面开源内部推理框架DeepInfer,兼容英伟达与华为昇腾平台,支持分布式推理、推测解码与结构化输出,并已支撑DeepSeek V4.1 Flash的高吞吐低延迟大规模推理服务。该框架单集群日吞吐达155万亿Token,每卡每小时收入38美元,同步开源生产级Token编解码组件deepseek-recipe。
来源:华尔街见闻 · 要闻 · wallstreetcn.com