DeepSeek通過(guò)模型算法優(yōu)化，在顯著降低訓(xùn)練成本與能耗的情形下，實(shí)現(xiàn)了與國(guó)際頂尖大模型相當(dāng)?shù)闹悄芩健?duì)于算力行業(yè)的電力需求而言，一方面，DeepSeek的系列優(yōu)化技術(shù)可以有效減少芯片運(yùn)算，降低當(dāng)前算力行業(yè)的電力需求；另一方面，DeekSeek將適配更多的國(guó)產(chǎn)GPU芯片，有效緩解“卡脖子”問(wèn)題并激發(fā)社會(huì)的普遍應(yīng)用，進(jìn)而導(dǎo)致用電總量的提升。因此，有必要分析DeepSeek的電力影響邏輯，研判未來(lái)算力行業(yè)的電力需求變化趨勢(shì)并有效應(yīng)對(duì)。
技術(shù)上看，DeepSeek引領(lǐng)的算法優(yōu)化、疊加開(kāi)源的傳播優(yōu)勢(shì)，將促使算力行業(yè)由“算力”驅(qū)動(dòng)轉(zhuǎn)向“算力+算法”并重，進(jìn)而影響未來(lái)算力行業(yè)的電力需求。
以ChatGPT為代表的傳統(tǒng)大模型，主要由堆砌算力和樣本量提升大模型能力。DeepSeek帶來(lái)的系列大模型技術(shù)，通過(guò)“樣本、架構(gòu)、編程、應(yīng)用”四方面優(yōu)化算力需求，將影響未來(lái)算力行業(yè)的電力需求邏輯。
樣本方面，傳統(tǒng)的通算、智算訓(xùn)練一般采用32位或16位精度，而DeepSeek的訓(xùn)練采用了16位和8位混合精度框架。如未來(lái)算力行業(yè)均采用該精度，則相較于傳統(tǒng)的32位精度，訓(xùn)練量將降低50%，甚至75%。且隨著GPU芯片對(duì)低精度樣本更好地適配，將帶來(lái)算效的提升，從而使訓(xùn)練能耗顯著降低。
架構(gòu)方面，通過(guò)僅激活部分參數(shù)，大模型推理可以實(shí)現(xiàn)更低的算力消耗。DeepSeek的MLA和MOE架構(gòu)，相較于其他大模型激活的參數(shù)量占比更少，疊加“開(kāi)源”優(yōu)勢(shì)，有望吸引其他大模型模仿學(xué)習(xí)。若其他大模型未來(lái)推理過(guò)程中，激活參數(shù)占比降至DeepSeek同等水平，則能夠整體降低推理能耗的60%~70%。
編程方面，DeepSeek通過(guò)高水平編寫更底層的PTX語(yǔ)言，繞開(kāi)英偉達(dá)成熟的CUDA架構(gòu)，提升GPU利用率（MFU）約60%，向全球展示了算力緊張情景下的高效解決方案。但該技術(shù)的實(shí)現(xiàn)依賴于高級(jí)編程人才，預(yù)計(jì)多數(shù)大模型公司仍將選擇CUDA架構(gòu)，未來(lái)能耗壓降有限，但能有效緩解算力“卡脖子”問(wèn)題。
應(yīng)用方面，DeekSeek使用知識(shí)蒸餾技術(shù)，從6710億全參數(shù)模型中蒸餾出15億、70億、140億、700億參數(shù)的多類型小模型，避免重新訓(xùn)練。由于“免費(fèi)+開(kāi)源”的疊加效應(yīng)，DeepSeek極大降低了大模型應(yīng)用門檻，預(yù)計(jì)未來(lái)社會(huì)應(yīng)用將爆發(fā)式增長(zhǎng)，帶動(dòng)能耗的整體上升。
行業(yè)來(lái)看，DeepSeek引發(fā)的生態(tài)變革，疊加國(guó)內(nèi)政策與國(guó)際競(jìng)合因素，將促使社會(huì)應(yīng)用需求發(fā)生變化，預(yù)計(jì)未來(lái)將呈現(xiàn)出“先穩(wěn)后升”的用電態(tài)勢(shì)。
模型技術(shù)主要影響算力需求，除算力需求外，用電量還受到數(shù)據(jù)中心PUE、算力設(shè)備負(fù)載率等因素的綜合影響。DeepSeek引發(fā)模型技術(shù)之外行業(yè)生態(tài)變革，可能改變行業(yè)生態(tài)因素，從而影響整體用電需求。
目前，我國(guó)智能算力占比不足40%，雖然預(yù)計(jì)在2028年將達(dá)到75%，但目前仍以通用算力為主。DeepSeek帶來(lái)模型技術(shù)變革，當(dāng)前主要作用于智算行業(yè)，通算和超算行業(yè)應(yīng)用該類技術(shù)需進(jìn)一步適配和調(diào)整。因此，DeepSeek帶來(lái)的能耗壓降影響，將不會(huì)在短期內(nèi)大量釋放。
傳統(tǒng)大模型對(duì)算力規(guī)模的高要求，決定了主要的訓(xùn)練工作在中大型算力中心完成。DeepSeek對(duì)算力規(guī)模需求的降低，將使得中小型算力中心也具備模型訓(xùn)練和微調(diào)的能力。一方面，社會(huì)使用的擴(kuò)大將對(duì)沖掉部分先進(jìn)技術(shù)對(duì)能耗的壓降；另一方面，中小型算力中心PUE（約1.3~1.5）相較于大型算力中心PUE（約1.1~1.3）普遍較高，也將對(duì)沖掉部分能耗壓降的規(guī)模。
目前，英偉達(dá)GPU市場(chǎng)占有率超過(guò)90%，隨著AMD、華為等公司宣布針對(duì)DeepSeek進(jìn)行芯片適配，英偉達(dá)的芯片壟斷將被打破，引入競(jìng)爭(zhēng)將進(jìn)一步降低GPU價(jià)格。根據(jù)杰文斯悖論，預(yù)計(jì)芯片國(guó)產(chǎn)化適配后，未來(lái)大模型在制造、信息、材料、家居等行業(yè)的應(yīng)用將更為普遍，長(zhǎng)遠(yuǎn)來(lái)看將進(jìn)一步拉升全社會(huì)用電量。
能源行業(yè)有必要積極關(guān)注社會(huì)訓(xùn)練、推理算力的用電趨勢(shì)分化，未來(lái)可以考慮將部分社會(huì)應(yīng)用模式創(chuàng)新納入能源行業(yè)大模型應(yīng)用體系。
從全國(guó)一體化算力網(wǎng)加快建設(shè)的態(tài)勢(shì)來(lái)看，未來(lái)訓(xùn)練需求將集中于各樞紐節(jié)點(diǎn)。短期內(nèi)，DeepSeek模型優(yōu)化技術(shù)將對(duì)沖訓(xùn)練需求上升，電力電網(wǎng)設(shè)施配套不宜過(guò)早、過(guò)多、過(guò)快；長(zhǎng)遠(yuǎn)看，未來(lái)訓(xùn)練算力需求將持續(xù)增加，樞紐節(jié)點(diǎn)是算力保電重點(diǎn)，有必要因時(shí)因地、分層分級(jí)地精細(xì)劃分裕度區(qū)間，避免資源錯(cuò)配錯(cuò)位。
研究認(rèn)為，由于數(shù)字、電商、高端制造等產(chǎn)業(yè)的聚集效應(yīng)，以及大模型應(yīng)用的可復(fù)制性和擴(kuò)散效應(yīng)，DeepSeek帶來(lái)的社會(huì)應(yīng)用增長(zhǎng)，將率先在數(shù)字經(jīng)濟(jì)發(fā)達(dá)區(qū)域出現(xiàn)，需及時(shí)研判供電保電壓力變化。
DeepSeek類蒸餾小模型推理算力需求低、能耗低、開(kāi)源優(yōu)勢(shì)明顯，有望在用戶側(cè)以小規(guī)模算力實(shí)現(xiàn)大量部署，催生出多種創(chuàng)新應(yīng)用模式。建議持續(xù)關(guān)注社會(huì)應(yīng)用模式創(chuàng)新，優(yōu)化能源行業(yè)“集中—分散”硬件資源布局，借鑒納入無(wú)人機(jī)智能巡檢、智能機(jī)器人等能源行業(yè)專業(yè)應(yīng)用。
來(lái)源：強(qiáng)電磁技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室網(wǎng)站 |
