Yapay Zeka Modelinde VRAM İhtiyacı Nasıl Hesaplanır

Bir yapay zeka modelini çalıştırmak ya da eğitmek için kaç GB GPU belleği gerektiğini bilmeden donanım almak, ya gereksiz yere pahalı bir karta para vermek ya da eğitim sırasında "out of memory" hatasıyla karşılaşmak anlamına gelir. Bellek ihtiyacı rastgele bir sayı değildir; model parametre sayısı, kullanılan hassasiyet seviyesi, batch boyutu ve bağlam uzunluğu gibi değişkenlerin toplamından çıkar.

Bu yazıda parametre sayısından yola çıkarak pratik bir hesaplama mantığı kuruyor, 48 GB, 96 GB ve 141 GB bellek kapasiteli kartların hangi iş yüklerine denk geldiğini karşılaştırıyoruz.

Model parametre sayısı bellek ihtiyacını nasıl belirler

Bir modelin bellek ayak izi, öncelikle kaç parametreye sahip olduğuna bağlıdır. Her parametre, seçilen hassasiyet seviyesine göre belirli sayıda byte kaplar. 7 milyar parametreli bir model ile 70 milyar parametreli bir model arasındaki bellek farkı, yaklaşık olarak parametre sayısı oranıyla orantılıdır; ama tam karşılık yalnızca ağırlıkların kendisinden gelmez, çıkarım veya eğitim sırasında araya giren ek bellek katmanlarından da gelir.

Parametre sayısı modelin kart kataloğunda genellikle açıkça belirtilir (7B, 13B, 34B, 70B gibi). Bu sayı, bellek hesabının başlangıç noktasıdır; ama tek başına yeterli değildir.

Hassasiyet seviyesi FP16, BF16 ve INT8 arasında bellek farkı

Hassasiyet seviyesi, her parametrenin kaç byte kaplayacağını belirler:

• FP32: parametre başına 4 byte
• FP16 / BF16: parametre başına 2 byte
• INT8: parametre başına 1 byte
• INT4: parametre başına 0,5 byte

Örneğin 7 milyar parametreli bir model FP16 hassasiyetinde yaklaşık 14 GB ağırlık belleği gerektirirken, aynı model INT8 ile yaklaşık 7 GB'a, INT4 ile yaklaşık 3,5 GB'a iner. Kuantizasyon bu yüzden sınırlı VRAM'li kartlarda büyük modelleri çalıştırmanın en pratik yoludur; ancak doğruluk kaybı ile bellek tasarrufu arasında bir denge kurmak gerekir.

Optimizer ve ara değer belleği eğitim sırasında neden eklenir

Çıkarım (inference) sırasında yalnızca model ağırlıkları ve aktivasyonlar belleği doldururken, eğitim sırasında tabloya iki büyük kalem daha eklenir: gradyanlar ve optimizer durumları. Adam gibi yaygın optimizerlar her parametre için momentum ve varyans değerlerini ayrı ayrı tutar; bu da genellikle FP32 cinsinden parametre başına ek 8 byte anlamına gelir.

Sonuç olarak tam hassasiyetli (FP32) eğitimde toplam bellek ihtiyacı, yalnızca ağırlık belleğinin 4-6 katına kadar çıkabilir. Karma hassasiyetli eğitim (mixed precision) bu yükü bir miktar azaltır ama tamamen ortadan kaldırmaz, çünkü optimizer durumları genellikle FP32'de tutulmaya devam eder.

Batch boyutu ve bağlam uzunluğu VRAM üzerindeki etkisi

Ağırlık ve optimizer belleği sabit kalırken, batch boyutu ve bağlam (context) uzunluğu arttıkça aktivasyon belleği doğrusal olarak büyür. Her katmanın ileri geçişte ürettiği ara değerler (aktivasyonlar), geri yayılım sırasında gradyan hesaplamak için saklanır; batch boyutu iki katına çıktığında bu bellek de kabaca iki katına çıkar.

Transformer tabanlı dil modellerinde bağlam uzunluğu ayrı bir etken olarak öne çıkar. Dikkat (attention) mekanizması, token sayısının karesiyle orantılı bellek tüketir; 4.000 token'lık bir bağlamdan 32.000 token'a geçmek, bellek ihtiyacını katlarca artırabilir. Uzun bağlamlı modellerle çalışacak ekiplerin bu etkiyi batch boyutundan bağımsız olarak ayrıca hesaba katması gerekir.

Çıkarım ile eğitim arasındaki bellek tüketim farkı

Çıkarım sırasında gradyan ve optimizer belleği devre dışı kaldığı için aynı model, eğitime göre çok daha az VRAM ile çalıştırılabilir. Pratikte 70 milyar parametreli bir modeli FP16 ile eğitmek yüzlerce GB bellek gerektirirken, aynı modeli yalnızca çıkarım için INT8 veya INT4 ile çalıştırmak tek bir yüksek kapasiteli kartla mümkün olabilir. Bu fark, satın alma kararında "eğitim mi, çıkarım mı" sorusunun neden ilk soru olması gerektiğini açıklar.

GPU VRAM hesaplama için pratik bir formül

Kesin sayı GPU'nun mimarisine, modelin katman yapısına ve kullanılan çerçeveye göre değişse de, kabaca bir tahmin için şu toplam kullanılabilir:

• Ağırlık belleği = parametre sayısı × hassasiyet başına byte
• Eğitimde optimizer + gradyan belleği ≈ ağırlık belleğinin 3-5 katı (Adam ile FP32 durumlar için)
• Aktivasyon belleği ≈ batch boyutu × bağlam uzunluğu × katman sayısı × gizli boyut değerine bağlı, model mimarisine göre değişen bir katsayı

Bu üç kalemin toplamına, çalışma zamanı için yüzde 10-20 arası bir tampon pay eklemek, pratikte "tam sınırda" bir kart seçip modelin sığmaması riskini azaltır. GPU VRAM hesaplama yaparken bu tampon payı atlamak, özellikle uzun bağlamlı veya büyük batch'li iş yüklerinde beklenmedik bellek taşmalarına yol açar.

48 GB bellekli kartlar hangi model boyutlarına yeter

48 GB VRAM kapasiteli kartlar (NVIDIA L40S ve benzeri profesyonel kartlar), orta ölçekli iş yükleri için pratik bir denge noktasıdır:

• 7B-13B parametreli modellerin FP16 ile hem çıkarımı hem de ince ayarı (fine-tuning)
• 30B-34B parametreli modellerin INT8 kuantizasyon ile çıkarımı
• Orta uzunlukta bağlam (4K-16K token) gerektiren uygulamalar
• Görüntü üretimi ve orta ölçekli bilgisayarlı görü modelleri

Bu kapasite aralığı, tek kullanıcılı geliştirme ortamları, pilot projeler ve üretim öncesi test senaryoları için genellikle yeterlidir. Daha büyük modellerle çalışmayı planlayan ekipler için ekran kartları (GPU) kategorisinde farklı bellek kapasitelerine sahip seçenekleri karşılaştırmak faydalı olur.

96 GB ve 141 GB bellek kapasiteli kartlar hangi senaryoda tercih edilir

96 GB sınıfı kartlar (NVIDIA H100 NVL gibi) ve 141 GB bellekli H200, büyük dil modellerinin eğitimi ve yüksek bağlam uzunluklu çıkarım için tasarlanmış sınıflardır. Bu kapasiteler şu durumlarda tercih edilir:

• 70B ve üzeri parametreli modellerin tek kart üzerinde FP16 veya BF16 ile çıkarımı
• Büyük batch boyutlarıyla yapılan eğitim ve ince ayar işlemleri
• Uzun bağlamlı (32K token ve üzeri) üretim uygulamaları
• Birden fazla modelin aynı anda bellekte tutulduğu çoklu görev (multi-tenant) servisler

141 GB bellek, özellikle KV cache gereksinimi yüksek olan büyük bağlamlı çıkarım senaryolarında, modelin tamamını tek kartta tutarak kart arası veri transferinden kaynaklanan gecikmeyi ortadan kaldırır.

Çoklu GPU kurulumunda bellek paylaşımı ve NVLink etkisi

Tek kart yeterli olmadığında model, birden fazla GPU arasında paylaştırılır (model parallelism) veya veri paralel eğitim yapılır. Bu noktada kartlar arası bağlantı hızı belirleyici hale gelir; NVLink üzerinden bağlanan GPU'lar, PCIe'ye göre çok daha yüksek bant genişliğiyle veri alışverişi yapar ve bu da efektif bellek havuzunu büyütmüş gibi davranmayı mümkün kılar.

Kurumsal ölçekte çoklu GPU sunucusu planlayan ekipler için GPU sunucular kategorisinde NVLink destekli ve farklı GPU sayısına sahip konfigürasyonlar bulunur; doğru topoloji seçimi, bellek paylaşımı verimliliğini doğrudan etkiler.

Donanım seçiminde GPU VRAM hesaplama dışında dikkat edilmesi gereken bileşenler

Bellek hesabı doğru yapılsa bile, GPU'yu besleyen diğer bileşenler yetersiz kalırsa performans beklenen seviyede olmaz. Dikkat edilmesi gereken başlıca noktalar:

• CPU çekirdek sayısı ve PCIe lane kapasitesi, veri ön işleme ve GPU'ya veri aktarım hızını belirler
• Sistem RAM'i, veri setinin önbelleğe alınması ve veri yükleme hattının (data loader) tıkanmaması için GPU belleğiyle orantılı planlanmalıdır
• Güç kaynağı kapasitesi, yüksek TDP'li kartların sürekli yük altında stabil çalışması için yeterli olmalıdır

Ağ ve depolama altyapısının model eğitim hızına katkısı

Çoklu düğümlü (multi-node) eğitim kurulumlarında, GPU'lar arası iletişim ağ altyapısının hızına bağımlıdır. Düşük gecikmeli, yüksek bant genişlikli bağlantılar olmadan, güçlü GPU'lar bile veri bekleyerek boşta kalabilir. Bu nedenle 25 GbE ve üzeri hızlarda çalışan SFP modül seçimi, özellikle dağıtık eğitim mimarilerinde GPU kullanım oranını doğrudan etkiler.

Depolama tarafında ise NVMe tabanlı çözümler, büyük veri setlerinin GPU'ya kesintisiz akışını sağlayarak eğitim sürelerinin darboğazsız ilerlemesine katkı sunar.

Son Söz

VRAM ihtiyacını hesaplarken parametre sayısı, hassasiyet seviyesi, batch boyutu ve bağlam uzunluğunu birlikte değerlendirmek, hem gereksiz yatırımın hem de yetersiz kapasitenin önüne geçer. Çıkarım ve eğitim için gereken bellek miktarları birbirinden büyük farklar gösterdiğinden, donanım seçimini iş yükünün gerçek profiline göre yapmak gerekir.

İhtiyacınız olan model boyutuna ve iş yüküne uygun GPU konfigürasyonunu netleştirip teklif isteyin.