Deepseek在多語言互動，知識檢索生成，圖像視頻處理，數(shù)據(jù)分析，商業(yè)決策等場景中已展示出強大推理能力，而如何更好地應用于各行業(yè)已成為行業(yè)探索新方向。
中小企業(yè)是經(jīng)濟結(jié)構(gòu)中的主力軍，是推動經(jīng)濟發(fā)展的重要驅(qū)動力。中小企業(yè)活躍于各個行業(yè)，通過不斷創(chuàng)新和拓展，為經(jīng)濟發(fā)展注入新的活力，推動產(chǎn)業(yè)升級和經(jīng)濟結(jié)構(gòu)調(diào)整。
此前，安擎智選推薦了基于海光平臺適配DeepSeek的全國產(chǎn)化算力配置。今天安擎智選將針對中小企業(yè)的業(yè)務(wù)咨詢、視頻處理、仿真系統(tǒng)等推理需求，推薦特定解決方案。
Deepseek發(fā)布了不同參數(shù)量的蒸餾模型版本以適應差異化場景需求，其中DeepSeek-R1-Distill-Qwen-32B能夠以高性價比的TCO成本，滿足中小型企業(yè)的推理需求，針對這一模型部署安擎推薦如下算力解決方案：
一、顯存計算需求
為保障系統(tǒng)輸出精度，部署的DeepSeek-R1-Distill-Qwen-32B采用FP16 精度，中間激活KV顯存為2GB，根據(jù)以下公式計算所需的顯存： 模型運行所需顯存=模型參數(shù)量×精度系數(shù)+中間激活KV緩存+10%~20% 其他消耗 其中： 模型參數(shù)量：32B 中間激活KV：2GB FP16 精度系數(shù)：2 計算可得： 最小顯存需求：32×2+2+(64+2)×10% =72.6G 依據(jù)以上結(jié)果，GPU卡的最小組合需求數(shù)量為：2張 Nvidia L20卡（2*48=96GB顯存）或4張Nvidia 24GB GPU卡(4*24=96GB顯存)。
二、推薦配置
為滿足32B大模型顯存需求，安擎推薦兩款10萬元級算力配置。 配置一： 采用安擎EG5221G4+2*NV L20構(gòu)建算力平臺，F(xiàn)P16算力為240TFLOPS；該配置適用于中小企業(yè)智能服務(wù)和生產(chǎn)輔助等場景，價格在10萬元級別。 EG5221G4是針對互聯(lián)網(wǎng)、IDC、云計算、各類企業(yè)市場等需求，推出的具有廣泛用途的新一代2U2路機架式旗艦服務(wù)器，適用于AI計算、云計算、虛擬化、分布式存儲、大數(shù)據(jù)處理應用及其它復雜工作負載。
配置二：
采用安擎EG540-G30+4*NV 24GB顯存GPU構(gòu)建算力平臺，F(xiàn)P16算力為294TFLOPS；該配置適用于中小企業(yè)業(yè)務(wù)分析和科研仿真等場景，售價10萬元級。 安擎EG540-G30 是基于Intel?Xeon?可擴展處理器開發(fā)的一款4U雙路GPU服務(wù)器。16通道DDR4內(nèi)存，PCIe4.0 擴展，作為高性價比的雙路方案，EG540-G30 具有高性能、低噪音、低功耗、可擴展性強、高可靠性、易維護性、高性價比的特點。
安擎一直致力于為客戶搭建可靠的算力底座和解決方案，針對Deepseek大模型的架構(gòu)特點，結(jié)合使用場景并充分測試驗證，安擎可為各場景客戶提供一整套算力推薦配置。
若您對上述方案感興趣，歡迎隨時留言，我們期待為您答疑解惑，提供更詳盡的信息與服務(wù)。
公眾號
公網(wǎng)安備 12011402001065號 
