365:香港GPU云服務器應該如何選擇

发布时间2020-09-14    点击数: 65   作者:365体育平台首页

熟悉深度學習的人都知道,深度學習是需要訓練的,所謂的訓練就是在成千上萬個變量中尋找最佳值的計算。這需要通過不斷的嘗試識別,而最終得到

的數值并非是人工確定的數字,而是一種常態的公式。通過這種像素級的學習,不斷總結規律,計算機便可
以實現像人一樣思考。因而,更擅長并行計算和高帶寬的-GPU,則成了大家關注的重點。

數據并行的原理很簡樸

,如下圖,其中-CPU-主要負責梯度平均和參數更新,而-GPU1和-GPU2-主要負責訓練模型副本(modelreplica),這里稱作“模型副本”是因為它們都是基于訓練樣例的子集訓練得到的,模型之間具有一定的獨立性。具體的訓練步驟如下。

除了計算能力之外,GPU-另一個比較主要

的優勢就是他的內存結構。首先是共享內存。在-NVIDIA-披露的性能參數中,每個流處理器集群末端設有共享內存。相比于-CPU-每次操作數據都要返回內存再進行調用,GPU-線程之間的數據通訊不需要訪問全局內存,而在共享內存中便可
以直接訪問。這種設置的帶來最大的好處就是線程間通訊速度的提高(速度:共享內存全局內存)。

而在傳統的CPU構架中,盡管有高速緩存(Cache)的存在,但是因為

其容量較小,大量的數據只能存放在內存(RAM)中。進行數據處理時,數據要從內存中讀取然后在-CPU-中運算最后返回內存中。因為
構架的原因,二者之間的通信帶寬通常在-60GB/s-左右徘徊。與之相比,大顯存帶寬的-GPU-具有更大的數據吞吐量。在大范圍
深度神經網絡的訓練中,必然帶來更大的優勢。

另一方面,如果要充分利用-GPU-資源處理海量數據,需要不斷向-GPU-注入大量數據。目前,PCIe-的數據傳輸速度還無法跟上這一速度,如果想避免此類“交通擁堵”,提高數據傳輸速度可以選擇應用-NVlink-技術的-GPU-卡片。

NVLink-是目前最快的-GPU-高速互聯技術,借助這種技術,GPU-和-CPU-彼此之間的數據交換速度要比使用PCIe時快-5-到-12-倍,應用程序的運行速度可放慢

兩倍。通過-NVLink連接兩個-GPU-可使其通信速度提高至-80-GB/s,比之前快了-5-倍。

而且就目前而言,越來越多的深度學習標準庫支持基于-GPU-的深度學習加速,通俗點形貌

就是深度學習的編程框架會自動根據-GPU-所具有的線程/Core-數,去自動分配數據的處理策略,從而達到優化深度學習的時間。而這些軟件上的全面支持也是其它計算結構所欠缺的。

目前依托NVIDIATuring架構和NVIDIARTX平臺,將20年來計算機圖形領域取得的重大進步引入了專業工作流程。設計師和藝術家們現可利用硬件加速光芒

追蹤、深度學習和先進的著色技術大幅提升工作效率,以空前速度創造出使人
驚嘆的內容。

NVLink讓專業應用程序得以使用多GPU設置

實現內存和性能的輕松擴大
。使用QuadroRTXNVLinkHB橋接器連接2塊RTX6000顯卡,可實現高達100GB/秒的帶寬和總計48GB的GDDR6顯存,從而能夠處理更大的渲染、AI、虛擬現實或可視化工作負載。


Copyright 2003 - 2002 365体育平台首页. All Rights Reserved 版权所有粤ICP11235728 地址:BENZCLOUD奔馳雲端 優質平價雲端服務