Calculator voor VRAM en modelgrootte

Formule

Gewichten

parameters × bits per gewicht ÷ 8

KV-cache (volledige attention)

2 × lagen × KV-heads × head-dimensie × context × batch × bytes per waarde

Bereik bij serveren

laag = gewichten + KV-cache + 1 GB; hoog = 1.2 × gewichten + KV-cache + 1 GB

Bereik bij fine-tunen

laag = modelstates + activaties + 1 GB; hoog = 1.2 × (modelstates + activaties) + 1 GB

Past ruim

hoge schatting ≤ 90 % van het opgegeven geheugen van de GPU

Aannames

1. Bits per gewicht: BF16/FP16 16; FP8/INT8 8; 4-bit AWQ/GPTQ 4.16 (4-bit gewichten plus een FP16-schaalfactor en een 4-bit nulpunt per 128 gewichten); GGUF Q8_0 8.5, Q5_K_M 5.7 en Q4_K_M 4.89, zoals gemeten door llama.cpp. 8-bit en 4-bit formaten houden de embeddings en de output-head op 16 bits. “Zoals gepubliceerd” gebruikt de dtypes van de eigen checkpoint van het model, met MXFP4 op 4.25 bits.
2. De KV-cache volgt de eigen laagopbouw van elk model: lagen met een sliding window groeien niet verder dan het window, lagen met latente attention cachen één gecomprimeerde latent per token en lagen met lineaire attention houden een vaste state per sequentie. Keys en values worden allebei gecachet, zoals in de referentie-implementaties.
3. De runtime-overhead is 1 GB per GPU voor de CUDA-context en de runtimebuffers. De bovenkant telt 20 % op bij de gewichten voor activaties, tijdelijke buffers en fragmentatie, volgens de vuistregel van EleutherAI.
4. Met meerdere GPU's worden gewichten en cache gelijk verdeeld (tensor parallelism) en telt de runtime-overhead op elke GPU mee. De tool kijkt naar maximaal 8 GPU's, één server.
5. Volledig fine-tunen rekent 16 bytes per parameter: BF16-gewichten en -gradiënten, FP32-mastergewichten en twee Adam-momenten. LoRA houdt de BF16-gewichten bevroren; QLoRA slaat ze op in NF4 op 4.127 bits. Beide trainen adapters met rank 16 op de attention- en dense-MLP-projecties (alleen attention bij mixture-of-experts-modellen), op 16 bytes per adapterparameter.
6. Trainingsactivaties gaan uit van volledige gradient checkpointing: 2 bytes per token, verborgen eenheid en laag voor de opgeslagen laaginvoer, 34 bytes per token en verborgen eenheid voor de laag die opnieuw wordt berekend, en FP32-logits. Modelstates worden over de GPU's verdeeld (FSDP of ZeRO-3); activaties gelden per GPU.
7. Een model past ruim als de hoge schatting hoogstens 90 % van het opgegeven geheugen van de GPU gebruikt (vLLM reserveert standaard 92 %), en krap als de lage schatting binnen het opgegeven geheugen past. Activaties van vision-encoders, draft-modellen voor speculative decoding en buffers voor CUDA graphs zijn niet meegeteld.

Bronnen

• EleutherAI, Transformer Math 101 (opent in een nieuw tabblad) ↗≤ 20 % overhead bij inferentie, geheugen voor AdamW, herberekening van activaties
• Rajbhandari et al., ZeRO (arXiv 1910.02054) (opent in een nieuw tabblad) ↗16 bytes per parameter voor Adam met mixed precision
• Dettmers et al., QLoRA (arXiv 2305.14314) (opent in een nieuw tabblad) ↗NF4 met dubbele kwantisatie, 0.127 bits aan constanten per parameter
• Lin et al., AWQ (arXiv 2306.00978) (opent in een nieuw tabblad) ↗4-bit kwantisatie van gewichten met groepsgrootte 128
• llama.cpp, quantize README (opent in een nieuw tabblad) ↗gemeten bits per gewicht van GGUF-formaten
• vLLM engine arguments (opent in een nieuw tabblad) ↗standaardwaarde 0.92 voor gpu_memory_utilization
• Hermes Agent quickstart (opent in een nieuw tabblad) ↗een lokaal model voor Hermes Agent heeft minstens 64,000 tokens context nodig (de optie 64K)