NV黃仁勛“挑戰(zhàn)”CPU：GPU訓(xùn)練AI可降低96%成本

5月29日消息，在剛剛召開(kāi)的2023年臺(tái)北電腦展上，NVIDIA首席執(zhí)行官黃仁勛進(jìn)行了演講。

在演講中，黃仁勛向傳統(tǒng)的CPU服務(wù)器集群發(fā)起“挑戰(zhàn)”，認(rèn)為在人工智能和加速計(jì)算這一未來(lái)方向上，GPU服務(wù)器有著更為強(qiáng)大的優(yōu)勢(shì)。

根據(jù)黃仁勛在演講上展示的范例，訓(xùn)練一個(gè)LLM大語(yǔ)言模型，將需要960個(gè)CPU組成的服務(wù)器集群，這將耗費(fèi)大約1000萬(wàn)美元(約合人民幣7070萬(wàn)元)，并消耗11千兆瓦時(shí)的電力。

相比之下，同樣以1000萬(wàn)美元的成本去組建GPU服務(wù)器集群，將以僅3.2千兆瓦時(shí)的電力消耗，訓(xùn)練44個(gè)LLM大模型。

如果同樣消耗11千兆瓦時(shí)的電量，那么GPU服務(wù)器集群能夠?qū)崿F(xiàn)150倍的加速，訓(xùn)練150個(gè)LLM大模型，且占地面積更小。

而當(dāng)用戶僅僅想訓(xùn)練一個(gè)LLM大模型時(shí)，則只需要一個(gè)40萬(wàn)美元左右，消耗0.13千兆瓦時(shí)電力的GPU服務(wù)器即可。

換言之，相比CPU服務(wù)器，GPU服務(wù)器能夠以4%的成本和1.2%的電力消耗來(lái)訓(xùn)練一個(gè)LLM，這將帶來(lái)巨大的成本節(jié)省。