北大與DeepSeek聯合開源DSpark框架,高併發下生成速度提升超60%

來源 Jinse_news
金色財經報道,6月27日,DeepSeek聯合北京大學正式發佈DSpark推理加速框架,旨在解決大語言模型在高併發生產環境中的推理效率瓶頸。該框架已部署於DeepSeek-V4-Flash與DeepSeek-V4-Pro的預覽版服務引擎中,相比此前生產環境採用的單token推測解碼基線MTP-1,在同等吞吐量水平下可將單用戶生成速度提升60%至85%。相關論文、訓練代碼及模型檢查點已在GitHub平臺DeepSpec項目中開源。
免責聲明:僅供參考。 過去的表現並不預示未來的結果。
goTop
quote