NVLink Bağlantılı GPU Sunucu ile PCIe Tabanlı Sistem Arasındaki Fark

Çok GPU'lu bir eğitim işi başlattığınızda sistemin performansını belirleyen tek faktör GPU'ların hesaplama gücü değildir. Sekiz GPU'lu bir sunucuda her GPU saniyede trilyonlarca işlem yapabilir, ama bu GPU'lar birbirleriyle veri paylaşamadığı sürece toplam performans beklenenin çok altında kalır. Model paralelliği ve veri paralelliği gibi dağıtık eğitim yöntemlerinin tamamı, GPU'lar arasında sürekli ve yüksek hacimli veri aktarımına dayanır.

Bu noktada sunucunun GPU'lar arası bağlantı mimarisi devreye girer. PCIe veri yolu üzerinden iletişim kuran bir sistemle NVLink üzerinden iletişim kuran bir sistem, aynı GPU modeline sahip olsa bile çok farklı eğitim süreleri ortaya çıkarabilir. Bu yazıda bu iki mimarinin teknik farkını ve hangi iş yükünde hangisinin mantıklı olduğunu ele alıyoruz.

Çok GPU'lu eğitimde GPU'lar arası veri aktarımı neden darboğaz oluşturur

Derin öğrenme eğitiminde her GPU, veri setinin bir parçasını işler ve elde ettiği gradyanları diğer GPU'larla paylaşır. Bu paylaşım işlemi eğitim döngüsünün her adımında tekrarlanır. GPU sayısı arttıkça paylaşılması gereken veri hacmi de artar; sonuçta hesaplama gücünden çok, bu veriyi taşıyabilme kapasitesi performansı belirler.

Bir GPU'nun kendi hesaplamasını bitirip diğer GPU'ların sonucunu beklemesi gereken süre uzadıkça, pahalı donanım atıl bekler. Bu bekleme süresi, bağlantı bant genişliği düşük olduğunda daha da belirginleşir ve büyük modellerde eğitim süresini ciddi oranda uzatabilir.

Gradyan senkronizasyonu ve all-reduce trafiği

Veri paralelliğinde kullanılan en yaygın yöntem all-reduce işlemidir. Her GPU kendi gradyanını hesapladıktan sonra, tüm GPU'ların gradyanları toplanır ve ortalaması tekrar her GPU'ya dağıtılır. Bu işlem GPU sayısıyla doğru orantılı olarak artan bir trafik yaratır.

Sekiz GPU'lu bir sunucuda all-reduce trafiği, PCIe üzerinden taşınmaya çalışıldığında bağlantı hızla doyuma ulaşır. Özellikle büyük parametre sayısına sahip modellerde (büyük dil modelleri, geniş transformer mimarileri) bu senkronizasyon adımı, toplam eğitim süresinin önemli bir bölümünü oluşturabilir. Bağlantı mimarisi burada doğrudan eğitim verimliliğine yansır.

NVLink teknolojisi PCIe'ye göre bant genişliğini nasıl artırır

PCIe, GPU'lar dahil pek çok bileşenin anakartla ve birbiriyle iletişim kurduğu genel amaçlı bir veri yoludur. Genel amaçlı olması esneklik sağlar ama GPU'lar arası iletişime özel olarak tasarlanmadığı için bant genişliği belirli bir noktada sınırlı kalır. Ayrıca PCIe üzerinden yapılan GPU-GPU iletişimi çoğu zaman CPU ve sistem belleği üzerinden dolaylı yoldan gerçekleşir, bu da gecikmeyi artırır.

NVLink ise doğrudan GPU'dan GPU'ya bağlantı kurmak için tasarlanmış bir teknolojidir. CPU'yu veya sistem belleğini ara katman olarak kullanmadan GPU'lar birbirine doğrudan bağlanır. Bu sayede hem bant genişliği PCIe'nin kat kat üzerine çıkar hem de gecikme önemli ölçüde azalır. Sonuç olarak aynı GPU modeliyle kurulu iki sistemden NVLink destekli olanı, çok GPU'lu iş yüklerinde belirgin şekilde daha yüksek verim sunar.

NVSwitch ile tam bağlantılı GPU topolojisi

NVLink'in gerçek potansiyeli, NVSwitch ile birleştiğinde ortaya çıkar. NVSwitch, sunucudaki tüm GPU'ların birbirine noktadan noktaya değil, tam bağlantılı (full-mesh) bir topoloji üzerinden bağlanmasını sağlar. Bu yapıda her GPU, diğer tüm GPU'lara aynı hızda ve aynı gecikmeyle erişebilir.

Bu özellik özellikle büyük modellerin birden fazla GPU'ya bölünerek eğitildiği model paralelliği senaryolarında kritik önem taşır. GPU'lar arasında hiyerarşik olmayan, simetrik bir iletişim yapısı, yazılım tarafında da iş yükü dağılımını basitleştirir.

PCIe tabanlı GPU sunucu hangi iş yüklerinde yeterli kalır

NVLink her senaryoda gerekli değildir. Tek GPU üzerinde çalışan veya veri paralelliği dışında az sayıda GPU ile yürütülen iş yüklerinde PCIe tabanlı bir sunucu hem yeterli performans sunar hem de daha uygun bir maliyet yapısı sağlar. Aşağıdaki kullanım alanlarında PCIe tabanlı bir GPU sunucu çoğunlukla ihtiyacı karşılar:

• Çıkarım (inference) iş yükleri; model eğitildikten sonra tahmin üretme aşamasında GPU'lar arası yoğun senkronizasyon gerekmez.
• Küçük ve orta ölçekli model eğitimi; parametre sayısı düşük modellerde all-reduce trafiği bağlantıyı doyurmaz.
• Görüntü işleme, render ve grafik yoğun uygulamalar; bu iş yükleri genellikle tek GPU üzerinde veya sınırlı GPU paylaşımıyla çalışır.
• Geliştirme ve test ortamları; üretim öncesi model doğrulama sürecinde yüksek bant genişliği önceliği taşımaz.

Bu tür iş yükleri için NVLink'e yatırım yapmak, kullanılmayan kapasiteye ödeme yapmak anlamına gelebilir.

H200 NVL gibi NVLink destekli sunucular hangi senaryolarda tercih edilir

NVLink destekli sunucuların avantajı, GPU sayısı ve model büyüklüğü arttıkça daha belirgin hale gelir. GIGABYTE G294-A21-AAP2 GPU Sunucu – 4 × NVIDIA H200 NVL gibi sistemler, dört GPU'yu NVLink üzerinden doğrudan bağlayarak çok GPU'lu eğitim ve büyük ölçekli çıkarım iş yüklerinde PCIe tabanlı bir yapılandırmanın sunamayacağı bant genişliğini sağlar.

Bu tip sunucular özellikle şu durumlarda tercih edilir:

• Model parametre sayısı tek GPU belleğine sığmayacak kadar büyük olduğunda
• Eğitim süresinin iş süreçleri açısından kritik olduğu, zaman tasarrufunun donanım maliyetinin önüne geçtiği projelerde
• Birden fazla GPU'nun aynı anda yoğun veri paylaşımı yaptığı araştırma ve geliştirme ortamlarında

Büyük dil modeli eğitimi ve paralel işleme ihtiyacı

Büyük dil modelleri genellikle tek bir GPU belleğine sığmaz; model katmanları birden fazla GPU'ya dağıtılır (model paralelliği) veya aynı model farklı GPU'larda farklı veri grupları üzerinde çalıştırılır (veri paralelliği). Her iki yöntemde de GPU'lar arası sürekli veri akışı gerekir.

Bu noktada NVLink PCIe GPU sunucu karşılaştırmasında fark somut şekilde ortaya çıkar: model paralelliğinde ara katman çıktıları her adımda GPU'lar arasında taşınırken, NVLink bağlantısı bu taşımayı PCIe'ye göre çok daha az gecikmeyle gerçekleştirir. Bu da eğitim döngüsünün toplam süresini doğrudan kısaltır.

NVLink ve PCIe sunucu seçiminde dikkat edilmesi gereken kriterler

Seçim yaparken yalnızca GPU modeline değil, sunucunun bütün olarak iş yüküne uygunluğuna bakmak gerekir. Aşağıdaki kriterler karar sürecinde yol gösterici olur:

• Eğitilecek veya çalıştırılacak modelin parametre büyüklüğü ve bellek gereksinimi
• Aynı anda kaç GPU'nun veri paylaşımı yapacağı
• İş yükünün eğitim mi yoksa çıkarım mı olduğu
• Mevcut yazılım altyapısının (dağıtık eğitim çerçeveleri) NVLink topolojisinden ne ölçüde fayda sağlayabileceği

Bu kriterlere göre örneğin HPE ProLiant DL380 Gen11 8SFF - H200 GPU Sunucu CTO (Konfigüre Edilebilir) model aralığına bakılabilir; konfigüre edilebilir yapı sayesinde GPU sayısı ve bağlantı seçenekleri iş yüküne göre belirlenebilir.

Güç, soğutma ve rack altyapısı uyumu

NVLink destekli GPU sunucular, yüksek bant genişlikli bağlantı ve daha fazla GPU yoğunluğu nedeniyle genellikle daha yüksek güç çeker ve daha fazla ısı üretir. Bu sunucuları planlarken rack başına güç kapasitesi, soğutma altyapısı (hava soğutmalı veya sıvı soğutmalı) ve güç kaynağı yedekliliği mutlaka değerlendirilmelidir. Mevcut veri merkezi altyapısı bu yoğunluğu kaldıramıyorsa, ek güç ve soğutma yatırımı gerekebilir.

Depolama ve bellek yapılandırmasının etkisi

GPU'lar arası bağlantı hızlansa bile, veri GPU'lara yeterince hızlı ulaştırılamazsa darboğaz bu kez depolama ve bellek katmanında oluşur. Yüksek hacimli eğitim verisiyle çalışan sistemlerde NVMe tabanlı depolama ve yeterli sistem belleği, NVLink'in sağladığı avantajın GPU'lara kadar taşınmasını sağlar. Sunucu konfigürasyonu yapılırken GPU bağlantısı kadar depolama ve bellek bant genişliği de göz önünde bulundurulmalıdır.

Kapanış

NVLink ile PCIe arasındaki fark, teorik bir bant genişliği farkından ibaret değildir; çok GPU'lu eğitim iş yüklerinde gerçek eğitim süresine ve donanım verimliliğine doğrudan yansır. Doğru seçim, iş yükünün GPU sayısı, model büyüklüğü ve senkronizasyon ihtiyacına göre yapılmalıdır.

İş yükünüze uygun GPU sunucu konfigürasyonunu netleştirip ihtiyacınızı belirttikten sonra teklif isteyin.