國產GPU成功部署DeepSeek！
2025-02-04 15:08:30 EETOP摩爾線程智能科技（北京）有限責任公司今日發(fā)文宣布，摩爾線程實現(xiàn)了對 DeepSeek 蒸餾模型推理服務部署。DeepSeek 開源模型（如 V3、R1 系列）在多語言理解與復雜推理任務中展現(xiàn)了卓越性能。通過 DeepSeek 提供的蒸餾模型，能夠將大規(guī)模模型的能力遷移至更小、更高效的版本，在國產 GPU 上實現(xiàn)高性能推理。
原文如下：
DeepSeek開源模型（如V3、R1系列）在多語言理解與復雜推理任務中展現(xiàn)了卓越性能。這些開源模型的發(fā)布，極大地推動了AI技術的普及與發(fā)展，為研究者和開發(fā)者提供了寶貴的資源和靈感。DeepSeek的貢獻不僅在于技術的領先，更在于其對開源社區(qū)的持續(xù)支持與賦能。 實戰(zhàn)驗證！從摩爾線程開始部署 作為國產全功能GPU創(chuàng)新企業(yè)，摩爾線程快速實現(xiàn)對DeepSeek蒸餾模型推理服務的高效部署，旨在賦能更多開發(fā)者基于摩爾線程全功能GPU進行AI應用創(chuàng)新。用戶可訪問以下鏈接一鍵體驗，也可點擊“閱讀原文”進行訪問： https://playground.mthreads.com 此外，用戶也可以基于MTT S80和MTT S4000進行DeepSeek-R1蒸餾模型的推理部署。早在1月28日，就已經有B站UP主在MTT S80上手動完成實踐，感興趣的用戶可訪問鏈接： https://www.bilibili.com/video/BV18YfQYEEs2 雙引擎部署：開源與自研協(xié)同優(yōu)化 通過DeepSeek提供的蒸餾模型，能夠將大規(guī)模模型的能力遷移至更小、更高效的版本，在國產GPU上實現(xiàn)高性能推理。摩爾線程基于自研全功能GPU，通過開源與自研雙引擎方案，快速實現(xiàn)了對DeepSeek蒸餾模型的推理服務部署，為用戶和社區(qū)提供高質量服務。 ▼ 開源框架適配：基于Ollama開源框架，摩爾線程完成DeepSeek-R1-Distill-Qwen-7B蒸餾模型的部署，并在多種中文任務中展現(xiàn)了優(yōu)異的性能，驗證摩爾線程自研全功能GPU的通用性與CUDA兼容性。 ▼ 自研引擎加速：通過摩爾線程自主研發(fā)的高性能推理引擎，結合軟硬件協(xié)同優(yōu)化技術，通過定制化的算子加速和內存管理，顯著提升了模型的計算效率和資源利用率。這一引擎不僅支持DeepSeek蒸餾模型的高效運行，還為未來更多大規(guī)模模型的部署提供了技術保障。 開放GPU集群：加速生態(tài)共建 為推進國產AI生態(tài)發(fā)展，摩爾線程即將開放自主設計的夸娥（KUAE）GPU智算集群，全面支持DeepSeek V3、R1模型及新一代蒸餾模型的分布式部署。夸娥集群集成先進推理技術與分布式計算框架，將確保大規(guī)模模型的高效穩(wěn)定運行，助力開發(fā)者快速實現(xiàn)業(yè)務落地。 開源與國產雙贏，共拓AGI未來 DeepSeek的開源模型與摩爾線程的硬件實踐形成閉環(huán)，既驗證了國產全功能GPU對復雜AI任務的支持能力，也為AGI技術普惠化提供了可行路徑。未來，摩爾線程將持續(xù)深化與開源社區(qū)合作，通過技術開放與生態(tài)共建，推動國產全功能GPU在AI計算領域的規(guī)模化應用，為更多用戶提供更智能、高效的解決方案。
EETOP 官方微信
創(chuàng)芯大講堂 在線教育
半導體創(chuàng)芯網 快訊
相關文章
