Serverless of dedicated GPU's voor inferentie

Serverless GPU’s worden per seconde gefactureerd, alleen zolang een worker draait, en schalen naar nul, dus ze zijn goedkoper bij weinig of onregelmatig verkeer. Een dedicated GPU wordt gefactureerd voor elk uur dat hij aan staat, dus die wint zodra hij druk genoeg is. Voor dezelfde GPU bij dezelfde provider is het break-evenaandeel van de maand gelijk aan de dedicated uurprijs gedeeld door de serverless uurprijs; de tabel hieronder berekent het uit de huidige gecontroleerde prijzen. Latentie telt even zwaar als kosten: koude starts voegen de opstarttijd van de container en de laadtijd van het model toe, tenzij je workers warm houdt, en warme workers zijn gefactureerde tijd.

• Serverless: facturering per seconde, schaalt naar nul, koude starts, geen kosten bij stilstand tenzij je workers warm houdt.
• Dedicated: vaste kosten zolang hij draait, geen koude starts, volledige controle over batching en de serving-stack.
• Break-evenaandeel van de maand = dedicated prijs ÷ serverless prijs, voor dezelfde GPU, hetzelfde aantal GPU’s en dezelfde provider.
• Veel productieopstellingen combineren een kleine dedicated basis met serverless capaciteit voor pieken.

Serverless GPU’s worden gefactureerd voor de tijd dat een worker bestaat. Modal factureert bijvoorbeeld “by the second for CPU, memory, and GPU time”, en volgens Modal geldt: zodra een applicatie “has scaled down to zero containers you no longer get charged” [1]. De gefactureerde tijd bestaat uit drie delen: de opstarttijd (de container starten en het model in het GPU-geheugen laden), de uitvoering, en een inactieve periode na het laatste verzoek [1]. Modal houdt een inactieve container standaard maximaal 60 seconden aan voordat die wordt afgesloten, instelbaar van 2 seconden tot 20 minuten, en je betaalt voor de resources zolang hij wacht [2].

Dedicated GPU’s worden gefactureerd voor de tijd dat de instance draait, of hij nu werk doet of niet. Sommige providers factureren per seconde, andere per minuut of per uur (de afrekeneenheid van elk aanbod staat op de pagina van de provider), maar elke eenheid wordt gefactureerd tot je de instance stopt.

De providers in onze dataset die prijzen publiceren voor GPU’s die naar nul schalen, met hun laagste prijs en hoe fijn ze factureren:

Serverless GPU’s kosten per uur meestal meer dan een dedicated instance met dezelfde GPU. De vraag is hoeveel uur je werkelijk gebruikt. Kost een dedicated GPU D per uur en de serverless worker S per bezet uur, dan kost een maand dedicated capaciteit D × 730 en serverless S × bezette uren. De twee zijn gelijk als:

Onder dat aandeel van de maand is serverless goedkoper, erboven een dedicated instance. De tabel berekent het uit de huidige gecontroleerde prijzen, alleen waar één provider beide prijzen publiceert voor dezelfde GPU en hetzelfde aantal GPU’s, zodat providers, GPU-modellen en tarieven voor multi-GPU-clusters nooit door elkaar worden gehaald:

Een rekenvoorbeeld met het mediane paar uit de tabel: de L40S bij OVHcloud kost serverless $1.77 per uur en op een dedicated instance $1.60 per uur. Een worker die 4 uur per dag bezig is, ongeveer 122 uur per maand, kost serverless ongeveer $216, tegenover $1,165 voor de dedicated instance die de hele maand draait. Bij 16 bezette uren per dag (487 uur) komt serverless uit op ongeveer $861, nog steeds minder dan de dedicated instance.

De vergelijking gaat alleen over rekentijd. Tel opslag, netwerkvolumes en egress (uitgaand dataverkeer), die voor beide modellen gelden, erbij op met de GPU-kostencalculator.

Een koude start (cold start) is het wachten op een nieuwe worker: de container opstarten en je initialisatie uitvoeren, wat voor een LLM betekent dat er gigabytes aan gewichten in het GPU-geheugen worden geladen. Modal meldt dat zijn containers in ongeveer één seconde opstarten, maar een container telt pas als warm nadat je setupcode is uitgevoerd, en gewichten van tevoren downloaden in plaats van bij het opstarten “can reduce boot times from minutes to seconds” voor modellen van tientallen gigabytes [2]. Die opstartfase is ook gefactureerde tijd [1].

Zo beperk je koude starts, en wat dat kost

• Cache de gewichten of bouw ze in in de image of een volume, zodat elke worker de download overslaat.
• Houd workers warm. Met min_containers stel je bij Modal een ondergrens in, zodat een functie nooit naar nul schaalt, en buffer_containers houdt reservecontainers aan zolang de functie actief is [2].
• Blijf langer warm met een langere inactieve periode, zoals scaledown_window bij Modal [2].
• Gebruik een kleiner of gekwantiseerd model, dat sneller laadt; zie de VRAM-gids.

Elke warme worker is gefactureerde tijd, dus met deze instellingen beweeg je over dezelfde curve als in de break-eventabel. Modal benoemt de afweging zelf: ze “introduce a trade-off between cold start latencies and cost” [2].

Een drukbezette dedicated GPU doet meer werk per dollar als de server verzoeken in batches verwerkt. Het PagedAttention-paper, waarmee vLLM werd geïntroduceerd, meldt een 2–4× hogere doorvoer dan eerdere serving-systemen bij dezelfde latentie, met grotere winst bij langere reeksen en grotere modellen [3]. Een dedicated instance onder constante belasting heeft dat voordeel continu.

Serverless platforms kunnen ook batchen, maar alleen als verzoeken bij dezelfde worker aankomen. Controleer hoeveel gelijktijdige verzoeken één worker accepteert: één verzoek per worker vermenigvuldigt de koude starts en de gefactureerde inactieve perioden.

Wil je vLLM op je eigen instance draaien, dan vind je op de pagina vLLM-hosting providers met een officiële vLLM-template of documentatie.

Schat je bezette uren, vergelijk ze met het break-evenaandeel hierboven en bereken beide opties in de GPU-kostencalculator. Providers die beide modellen aanbieden, worden vergeleken onder inferentiehosting en beheerde AI-hosting.