1. 首页>>分享

DeepSeek知乎官方账号发布DeepSeek-V3/R1推理系统概览,首次披露模型推理系统优化细节及成本利润率

3 月 1 日有消息称,TechWeb 方面,DeepSeek 在知乎开设了官方账号,并且独家发布了《DeepSeek-V3/R1 推理系统概览》这篇技术文章,首次把模型推理系统的优化细节公布了出来,同时也披露了成本利润率的关键信息。

DeepSeeK 文章称:“DeepSeek-V3 / R1 推理系统的优化目标为,要达到更大的吞吐以及更低的延迟。”为了达成这两个目标,DeepSeek 的举措是运用大规模跨节点专家并行(EP),然而此方案也使得系统的复杂性有所增加。文章主要内容是怎样使用 EP 增长批量大小,怎样隐藏传输耗时,以及怎样进行负载均衡。

值得一提的是,文章率先披露了 DeepSeek 的关键信息,包括成本和利润率等。假定 GPU 租赁成本是 2 美金每小时,那么总成本为每天 87072 美金。如果所有 tokens 全部按照 DeepSeek R1 的定价来计算,从理论上来说,一天的总收入是 562027 美金,成本利润率为 545%。

“DeepSeek 开源周”的时间是从 2 月 24 日一直到 2 月 28 日。在这段时间里,陆续开源了最新的技术进展。这些进展包括 FlashMLA、DeepEP、DeepGEMM 和 3FS 这四个开源项目,同时还有 DualPipe、EPLB 等代码库。

有业内人士认为,“DeepSeek 开源周”的重要性比不久前 OpenAI 的发布会更为突出。DeepSeek 通过大量且充足的开源举措,有力地回应了欧美对于 DeepSeek 故意压低训练成本的说法,同时也证明了在训练链路上存在着极大的优化潜力。

图片

本文采摘于网络,不代表本站立场,转载联系作者并注明出处:http://www.mjgaz.cn/fenxiang/274635.html

联系我们

在线咨询:点击这里给我发消息

微信号:13588888888

工作日:9:30-18:30,节假日休息