國產GPU成功部署DeepSeek！
2025-02-04 15:08:30 EETOP摩爾線程智能科技（北京）有限責任公司今日發文宣布，摩爾線程實現了對 DeepSeek 蒸餾模型推理服務部署。DeepSeek 開源模型（如 V3、R1 系列）在多語言理解與復雜推理任務中展現了卓越性能。通過 DeepSeek 提供的蒸餾模型，能夠將大規模模型的能力遷移至更小、更高效的版本，在國產 GPU 上實現高性能推理。
原文如下：
DeepSeek開源模型（如V3、R1系列）在多語言理解與復雜推理任務中展現了卓越性能。這些開源模型的發布，極大地推動了AI技術的普及與發展，為研究者和開發者提供了寶貴的資源和靈感。DeepSeek的貢獻不僅在于技術的領先，更在于其對開源社區的持續支持與賦能。 實戰驗證！從摩爾線程開始部署 作為國產全功能GPU創新企業，摩爾線程快速實現對DeepSeek蒸餾模型推理服務的高效部署，旨在賦能更多開發者基于摩爾線程全功能GPU進行AI應用創新。用戶可訪問以下鏈接一鍵體驗，也可點擊“閱讀原文”進行訪問： https://playground.mthreads.com 此外，用戶也可以基于MTT S80和MTT S4000進行DeepSeek-R1蒸餾模型的推理部署。早在1月28日，就已經有B站UP主在MTT S80上手動完成實踐，感興趣的用戶可訪問鏈接： https://www.bilibili.com/video/BV18YfQYEEs2 雙引擎部署：開源與自研協同優化 通過DeepSeek提供的蒸餾模型，能夠將大規模模型的能力遷移至更小、更高效的版本，在國產GPU上實現高性能推理。摩爾線程基于自研全功能GPU，通過開源與自研雙引擎方案，快速實現了對DeepSeek蒸餾模型的推理服務部署，為用戶和社區提供高質量服務。 ▼ 開源框架適配：基于Ollama開源框架，摩爾線程完成DeepSeek-R1-Distill-Qwen-7B蒸餾模型的部署，并在多種中文任務中展現了優異的性能，驗證摩爾線程自研全功能GPU的通用性與CUDA兼容性。 ▼ 自研引擎加速：通過摩爾線程自主研發的高性能推理引擎，結合軟硬件協同優化技術，通過定制化的算子加速和內存管理，顯著提升了模型的計算效率和資源利用率。這一引擎不僅支持DeepSeek蒸餾模型的高效運行，還為未來更多大規模模型的部署提供了技術保障。 開放GPU集群：加速生態共建 為推進國產AI生態發展，摩爾線程即將開放自主設計的夸娥（KUAE）GPU智算集群，全面支持DeepSeek V3、R1模型及新一代蒸餾模型的分布式部署。夸娥集群集成先進推理技術與分布式計算框架，將確保大規模模型的高效穩定運行，助力開發者快速實現業務落地。 開源與國產雙贏，共拓AGI未來 DeepSeek的開源模型與摩爾線程的硬件實踐形成閉環，既驗證了國產全功能GPU對復雜AI任務的支持能力，也為AGI技術普惠化提供了可行路徑。未來，摩爾線程將持續深化與開源社區合作，通過技術開放與生態共建，推動國產全功能GPU在AI計算領域的規模化應用，為更多用戶提供更智能、高效的解決方案。
