數(shù)據(jù)家,idc官網(wǎng),算力,裸金屬,高電機(jī)房,邊緣算力,云網(wǎng)合一,北京機(jī)房,北京云計(jì)算,北京邊緣計(jì)算,北京裸金屬服務(wù)器,北京數(shù)據(jù)服務(wù)器,北京GPU服務(wù)器,高算力服務(wù)器,數(shù)據(jù)機(jī)房相關(guān)技術(shù)新聞最新報(bào)道
生成式人工智能不僅改變了組織開(kāi)展業(yè)務(wù)的方式，還改變了它們消耗計(jì)算資源的方式。這些大型語(yǔ)言模型(LLM)以及數(shù)字孿生、擴(kuò)展現(xiàn)實(shí)和元宇宙等其他人工智能工具，需要大量圖形處理單元(GPU)來(lái)訓(xùn)練數(shù)據(jù)集或處理圖形密集型任務(wù)。
然而，這其中也有一個(gè)問(wèn)題。GPU價(jià)格昂貴、供應(yīng)不足，而且消耗大量能源。因此，首席信息官(CIO)和其他業(yè)務(wù)和IT領(lǐng)導(dǎo)者，越來(lái)越面臨著如何使用它們以及在何處使用它們的問(wèn)題。了解所需任務(wù)并平衡處理能力需求和成本至關(guān)重要。
idc網(wǎng),算力,裸金屬,高電機(jī)房,邊緣算力,云網(wǎng)合一,北京機(jī)房,北京云計(jì)算,北京邊緣計(jì)算,北京裸金屬服務(wù)器,北京數(shù)據(jù)服務(wù)器,北京GPU服務(wù)器,高算力服務(wù)器,數(shù)據(jù)機(jī)房所有這些都直接與數(shù)據(jù)中心相關(guān)。隨著人工智能成為主流，組織必須適應(yīng)，僅僅了解GPU在哪里帶來(lái)戰(zhàn)略收益是不夠的，CIO必須做出關(guān)鍵決策，決定何時(shí)使用GPU或CPU，以及是否在本地或云端處理訓(xùn)練、推理和其他任務(wù)。
盡管最近GenAI備受關(guān)注，但GPU進(jìn)入數(shù)據(jù)中心已有十多年了。圖形處理器在科學(xué)研究、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)以及機(jī)器視覺(jué)、機(jī)器人技術(shù)和自動(dòng)化等眾多其他任務(wù)中發(fā)揮著關(guān)鍵作用。它們已成為處理復(fù)雜模擬和海量數(shù)據(jù)挑戰(zhàn)的寶貴工具。
然而，2022年11月，情況發(fā)生了巨大變化。在ChatGPT公開(kāi)發(fā)布以及隨后出現(xiàn)的MicrosoftCopilot和GoogleGemini等GenAI框架之后，組織開(kāi)始積極探索將LLM投入使用的方法。很快人們就發(fā)現(xiàn)，AI定制對(duì)于實(shí)現(xiàn)特定任務(wù)至關(guān)重要，包括聊天機(jī)器人、內(nèi)容創(chuàng)建、設(shè)計(jì)迭代、市場(chǎng)研究、網(wǎng)絡(luò)安全、欺詐檢測(cè)、產(chǎn)品原型設(shè)計(jì)以及各種其他用例。
如今，數(shù)據(jù)中心對(duì)GPU的需求正在飆升。預(yù)計(jì)到2027年，數(shù)據(jù)中心的平均機(jī)架密度將達(dá)到每機(jī)架50kW，超過(guò)目前的平均36kW。人工智能和機(jī)器學(xué)習(xí)的迅猛發(fā)展正在推動(dòng)數(shù)據(jù)中心設(shè)計(jì)、選址和投資策略的變革浪潮。
與此同時(shí)，GPU的價(jià)格越來(lái)越高。例如，NVIDIAGeForceRTX4090是一款廣泛部署的頂級(jí)型號(hào)，于2022年推出，起價(jià)約為每臺(tái)1,600美元。價(jià)格較低、顯存較少的GPU仍需數(shù)百美元。但硬件的前期投資只是一個(gè)起點(diǎn)。GPU的耗電量通常是CPU的兩倍或三倍，同時(shí)需要強(qiáng)大的冷卻和更復(fù)雜的布線。
許多數(shù)據(jù)中心都沒(méi)有足夠的空間和電力來(lái)運(yùn)行GPU。因此，首席信息官必須就如何處理人工智能做出一些艱難的決定以及GPU何時(shí)能帶來(lái)明顯的優(yōu)勢(shì)。對(duì)于一些大規(guī)模并行任務(wù)(如人工智能訓(xùn)練工作負(fù)載)，GPU實(shí)際上可以通過(guò)更快地執(zhí)行計(jì)算來(lái)降低總體TCO。然而，對(duì)于其他工作負(fù)載(如人工智能推理)，CPU通常可以提供足夠的性能，同時(shí)降低每瓦運(yùn)營(yíng)成本。
首先要確定具體用例以及所需的性能和準(zhǔn)確度水平。此時(shí)，可以考慮成本和碳排放等因素，并確定使用哪種硬件以及處理應(yīng)在云端還是在本地進(jìn)行?；A(chǔ)模型訓(xùn)練需要GPU，但推理則不同。在某些情況下，甚至可以在筆記本電腦或手持設(shè)備上進(jìn)行推理。
所有主要的云提供商如今都提供預(yù)裝GPU的虛擬機(jī)，或租用支持GPU的服務(wù)器的選項(xiàng)。因此，無(wú)需投資物理硬件。這些云也不會(huì)忽視可管理性。它們提供GPU直通工具，可直接管理GPU硬件上的性能因素。
這使得CIO能夠配置和管理復(fù)雜的環(huán)境，包括涉及GPU和CPU的混合情況。它包括用于擴(kuò)展和利用資源、配置GPU內(nèi)存以及為機(jī)器學(xué)習(xí)或視頻編輯等特定任務(wù)建立實(shí)例類型的工具。
通過(guò)清晰地了解關(guān)鍵因素(包括訓(xùn)練數(shù)據(jù)集的大小和廣度、誰(shuí)將使用它、系統(tǒng)上的查詢或點(diǎn)擊量預(yù)計(jì)是多少、以及GPU和CPU的堆疊方式)，可以做出明智的決策。例如，在某些情況下，可能需要不同類型的GPU來(lái)推理和運(yùn)行系統(tǒng)，或者帶有加速器的CPU可能更適合處理較小的模型。
還可以從可持續(xù)性和碳性能權(quán)衡的角度來(lái)看待GPU和CPU。我們將看到對(duì)AI的需求不斷增長(zhǎng)，企業(yè)對(duì)GPU的需求也不斷增長(zhǎng)。但我們也可能看到GPU和CPU的更多混合，因?yàn)樵S多任務(wù)在成本和碳排放方面仍然更高效。
