DeepSeek全球爆火，再一次引發(fā)外界對GPU算力限制話題的關(guān)注。
據(jù)報(bào)道，DeepSeek開發(fā)的大語言模型繞過了英偉達(dá)的CUDA框架，正為未來兼容國產(chǎn)GPU芯片做準(zhǔn)備。
眾所周知，英偉達(dá)的CUDA（Compute Unified Device Architecture，統(tǒng)一運(yùn)算架構(gòu)）能大幅降低研發(fā)大模型的難度，獲全球開發(fā)商使用，一舉將英偉達(dá)推上AI芯片領(lǐng)域的壟斷地位。
但最新發(fā)現(xiàn)顯示，DeepSeek使用英偉達(dá)的H800芯片訓(xùn)練時(shí)，使用英偉達(dá)底層硬件指令PTX（Parallel Thread Execution）語言，而非高級編程語言CUDA。
這樣意味著DeepSeek繞過了CUDA，使用更底層的編程語言做優(yōu)化。
對于程序開發(fā)人員來說，CUDA是一種更加友好的高級語言，開發(fā)者只需要專注于程序和算法最相關(guān)的運(yùn)行邏輯，而不太需要考慮具體的程序是如何在GPU等硬件上具體如何執(zhí)行計(jì)算的，從而能夠降低開發(fā)難度。
而PTX在接近匯編語言的層級運(yùn)行，允許進(jìn)行細(xì)粒度的優(yōu)化，如寄存器分配和Thread / Warp級別的調(diào)整。這種編程非常復(fù)雜且難以維護(hù)，所以行業(yè)通用的做法是使用CUDA這樣的高級編程語言。
換句話說，DeepSeek把優(yōu)化做到了極致。
北京航空航天大學(xué)副教授黃雷表示，繞過CUDA可以直接根據(jù)GPU的驅(qū)動(dòng)函數(shù)做一些新的開發(fā)，從而實(shí)現(xiàn)更加細(xì)粒度的操作。
這也說明DeepSeek擁有一些擅長寫PTX語言的內(nèi)部開發(fā)者。假如它之后使用國產(chǎn)GPU，其在硬件適配方面將會(huì)更得心應(yīng)手，其只要了解這些硬件驅(qū)動(dòng)提供的一些基本函數(shù)接口，就可以仿照英偉達(dá)GPU硬件的編程接口去寫相關(guān)的代碼，從而讓自家大模型更加容易適配國產(chǎn)硬件。
“這凸顯了DeepSeek非凡的工程水平，并表明美國對華制裁加劇的“GPU短缺危機(jī)”激發(fā)了他們緊迫感和創(chuàng)造力。”韓國Mirae Asset Securities Research的一名分析師表示。 
