GPU-cloud kiezen: zo vergelijk je GPU-cloudproviders

Kies eerst de GPU die je werklast nodig heeft, en vergelijk providers daarna op de prijs van precies die GPU en dat prijstype, niet op de opvallendste tarieven. Het goedkoopste vermelde GPU-uur levert vaak niet de laagste totale kosten op: afrekeneenheden, opslag die doorloopt terwijl een instance gestopt is, egress, belasting, capaciteit en de vraag of een prijs onderbreekbaar is of een marketplace-ondergrens, veranderen allemaal de factuur. Maak een shortlist van twee of drie providers die de GPU in de regio hebben die je nodig hebt, schat een volledige maand, test voordat je je vastlegt en houd je images en data overdraagbaar, zodat je later kunt overstappen.

• Vergelijk de GPU-variant, niet alleen de naam: de SXM- en PCIe-versies van dezelfde GPU verschillen in bandbreedte en schaling over meerdere GPU's.
• Vergelijk gelijk met gelijk: on-demand-, spot-, serverless- en marketplace-prijzen zijn verschillende producten.
• Reken de hele maand door: opslag, egress, belasting en afrekeneenheden kunnen zwaarder wegen dan een klein verschil per uur.
• Controleer capaciteit en voorwaarden: beschikbaarheid, huurlimieten en support verschillen meer dan lijstprijzen.
• Houd een uitweg open: je eigen container-image en data die je kunt verplaatsen maken overstappen naar een andere provider goedkoop.

De werklast bepaalt de GPU, en de GPU bepaalt welke providers überhaupt in aanmerking komen. Een model dat in het geheugen van één kaart past, heeft één GPU nodig met genoeg VRAM en geheugenbandbreedte. Trainen, of een model serveren dat over meerdere GPU's is verdeeld, vraagt daarnaast om snelle verbindingen tussen die GPU's. Bepaal eerst het geheugen (onze VRAM-gids laat de rekensom zien), kies dan het GPU-model en vergelijk pas daarna providers.

Controleer de exacte variant, niet alleen de naam

GPU-namen verbergen verschillen die de prestaties veranderen. NVIDIA verkoopt de H100 als SXM-module met NVLink van 900 GB/s tussen GPU's, en als PCIe-kaarten waarvan de verbinding met de host PCIe Gen5 op 128 GB/s is [1]. Onze GPU-catalogus vermeldt 3.35 TB/s geheugenbandbreedte voor de SXM-versie met 80 GB en 2.00 TB/s voor de PCIe-versie met 80 GB. Een aanbieding die alleen “H100” zegt, is niet genoeg om prijzen te vergelijken: vraag welke vormfactor, hoeveel geheugen en hoe de GPU's in een multi-GPU-instance met elkaar verbonden zijn.

Beantwoord vier vragen voordat je ook maar één prijspagina opent:

• Hoeveel GPU-geheugen heeft het model nodig bij jouw contextlengte en batchgrootte?
• Loopt één taak over meerdere GPU's? Dan telt de interconnect (NVLink, InfiniBand) net zo zwaar als de kaart.
• Is het werk interactief, waarbij latentie telt, of batchwerk, waarbij alleen doorvoer per dollar telt?
• Hoeveel uur per maand draaien de GPU's echt?

Providers verkopen dezelfde GPU onder verschillende prijstypen, en die prijstypen zijn verschillende producten. Wie een onderbreekbare prijs of een marketplace-prijs vergelijkt met de on-demand lijstprijs van een andere provider, laat de eerste goedkoper lijken dan hij is.

Reken terug naar één GPU-uur

Sommige providers verhuren alleen hele nodes, meestal met acht GPU's. Wij delen de nodeprijs door het aantal GPU's en bewaren de nodegrootte in het record, zodat elke prijs hieronder in USD per GPU-uur is. In de huidige dataset zijn 30 van de 63 on-demand aanbiedingen met een prijs multi-GPU-configuraties, zoals nodes met acht GPU's, en die staan hieronder tegen hun prijs per GPU.

Welke GPU-cloud is dan het goedkoopst? Dat hangt af van de GPU en het prijstype, en daarom houdt de tabel ze uit elkaar. Voor elke GPU in de catalogus toont de GPU-cloudvergelijking het aanbod van elke provider met de bron en de controledatum, en GPU-pagina's zoals H100-hostingprijzen, L40S-hosting en RTX 4090-cloud beperken het tot één kaart.

Uurprijs × uren is alleen de rekenkrachtregel van de factuur. Vijf andere posten wegen regelmatig zwaarder dan een klein verschil in uurtarief:

• Afrekeneenheid. Bij facturering per seconde kost een test van 10 minuten 10 minuten; bij facturering per uur kan die naar een heel uur worden afgerond.
• Opslag die doorloopt. Volumes en schijven worden meestal ook gefactureerd terwijl een instance gestopt is, soms tegen een ander tarief, en een tijdelijke schijf kan gewist worden als de instance stopt. Controleer beide voordat je machines laat stilstaan.
• Tegoed dat opraakt. Bij een prepaid account kan een leeg saldo je machines of API-toegang stoppen, en een instance zonder persistente opslag kan zijn data verliezen als hij stopt. Stel automatisch opwaarderen of een melding in.
• Egress (uitgaand dataverkeer). Modeluitvoer, checkpoints of datasets bij een provider weghalen kan per GB kosten, of helemaal niets, afhankelijk van de provider.
• Belasting. Controleer of een prijs btw of sales tax voor jouw land bevat. Prijzen in onze dataset zijn exclusief belasting, tenzij het record iets anders zegt.

Vul de uren, het aantal GPU's en de opslag die je verwacht in de GPU-kostencalculator in om een maand te zien bij elke provider met een gecontroleerde prijs, met de formule en de invoer erbij.

Een laag tarief is niets waard als de GPU niet beschikbaar is waar en wanneer je hem nodig hebt. Providers publiceren zelden hun actuele voorraad, en capaciteit voor de nieuwste GPU's is vaak beperkt of alleen te krijgen via een gesprek met sales. Op onze pagina's staat de beschikbaarheid als Beperkt wanneer de provider wachttijden of beperkte toegang vermeldt, en als Niet gecontroleerd wanneer hij niets publiceert.

Ook de huurvoorwaarden tellen. Spot- en marketplace-capaciteit kan eindigen voordat je taak klaar is, en sommige aanbiedingen hebben een maximale huurduur. Lange trainingsruns hebben een provider en prijstype nodig die niet onder je weg kunnen vallen.

• In welke regio's staat de GPU, en liggen die in de jurisdictie waarin je data moet blijven?
• Hoeveel GPU's kun je tegelijk starten zonder om een hoger quotum te vragen?
• Kun je capaciteit reserveren voor een lancering of een trainingsrun, en op welke voorwaarden?
• Is de GPU zelf af te nemen, of is eerst een gesprek met sales en een contract nodig?
• Wat gebeurt er met je data en lopende taken tijdens onderhoud?

Moet data in de EU blijven, begin dan met de checklist voor AI-hosting onder de GDPR voordat je prijzen vergelijkt.

Ontwikkeltijd hoort bij de kosten. Twee providers met dezelfde GPU kunnen uren aan inrichting en veel operationeel risico van elkaar verschillen.

1. Schrijf het GPU-model en de variant, het aantal GPU's, de geheugenbehoefte, de regio en de verwachte uren per maand op.
2. Filter providers die die GPU met een gecontroleerde prijs aanbieden, bijvoorbeeld op H100-hosting of in de vergelijking van GPU-cloudproviders.
3. Schat een volledige maand, inclusief opslag en egress, met de GPU-kostencalculator.
4. Zet de twee of drie beste kandidaten naast elkaar in de vergelijking.
5. Doe een korte betaalde test met je eigen werklast: meet doorvoer per dollar, tijd tot het eerste token, schijfsnelheid en opstarttijd.
6. Houd een uitweg open: bewaar gewichten en data waar jij er controle over hebt, en vermijd functies die je niet zou kunnen vervangen.

We controleren prijzen opnieuw op de eigen pagina's van de providers en tonen de controledatum bij elk bedrag; de methodologie legt uit hoe.

Een GPU-werklast verhuizen is vooral werk dat je op dag één had kunnen voorkomen. Controleer, voordat je van een provider afhankelijk wordt, of je er weer weg zou kunnen:

1. Verpak de runtime als een image die jij beheert. vLLM publiceert een officiële image, vllm/vllm-openai op Docker Hub, die zijn OpenAI-compatibele server draait [2]. Wie op een openbare image zoals deze bouwt in plaats van op een template die alleen bij één provider bestaat, kan dezelfde opzet ook elders draaien.
2. Leg vast wat elke template doet. Een template met één klik is een image plus een startcommando, poorten, omgevingsvariabelen en een gekoppeld volume. Schrijf ze op, zodat je de opzet bij een andere provider opnieuw kunt bouwen.
3. Bewaar gewichten en data waar je ze kunt verplaatsen. Volumes van providers zijn meestal aan één regio of datacenter gebonden, data synchroniseert niet vanzelf tussen die volumes, en data eruit kopiëren kost tijd en egress. Bewaar een backup van alles wat kritiek is buiten de volumes van de provider.
4. Begroot de verhuizing. Egress voor de data die je meeneemt (zie de tabel in sectie 3), plus de tijd om images opnieuw te bouwen en gewichten opnieuw te uploaden.
5. Benchmark voordat je verkeer omzet. Dezelfde GPU-naam kan bij een andere provider anders presteren, door de variant, de interconnect of de opslag erachter.
6. Controleer eerst de accountlimieten. Quota, bestedingslimieten en regionale capaciteit bepalen hoe snel je bij de nieuwe provider kunt opschalen.

Elk providerprofiel noemt de naaste alternatieven, bijvoorbeeld alternatieven voor Lambda, alternatieven voor Hyperstack en alternatieven voor Nebius.