Hyperstack
VM's met 1 tot 8 GPU's op A100 80GB PCIe, H100 PCIe en L40 voor fine-tunen en inferentie, per minuut gefactureerd en zonder kosten voor dataverkeer
A6000 48 GB · vanaf:
$0.50≈ €0.446 (geschatte omrekening van $0.50)
vLLM-hosting vergeleken: templates, serverless endpoints en GPU's
We kunnen commissie verdienen als je via de links hieronder koopt. Meer informatie
vLLM is een open-source inferentie-engine met een OpenAI-compatibele API-server. Vergelijk providers met officiële vLLM-templates of documentatie op GPU, VRAM en gecontroleerde prijs.
Providers voor vLLM-hosting
Wat de officiële vLLM-documentatie zegt
vLLM kan worden ingezet als server die het OpenAI-API-protocol implementeert, gestart met vllm serve gevolgd door de naam van het model.
GPU-eis: compute capability 7.5 of hoger, bijvoorbeeld T4, A100, L4, H100 of B200.
NVIDIA Blackwell-GPU's (B200, GB200) hebben CUDA 12.8 of nieuwer nodig.
Tools voor deze keuze
- VRAM en modelgrootteSchat het GPU-geheugen dat een model nodig heeft voor inferentie of fine-tunen, en welke GPU's passen.
- GPU-kostencalculatorSchat je maandelijkse GPU-kosten op basis van gecontroleerde uurprijzen, gebruiksuren, instances en opslag.
- Agent-hostingkeuzeBeantwoord een paar vragen over je agent en krijg een passende hostingcategorie en een shortlist van providers.
Hoe we vergelijken
Prijzen per GPU-uur.
GPU-prijzen zijn USD per enkele GPU per uur, van de eigen prijspagina of API van de provider. Multi-GPU-nodes worden gedeeld door hun aantal GPU's, en een prijs die alleen als node te huren is zegt dat erbij (“gehuurd als 8 GPU's”). Rijen beginnen met de goedkoopste pay-as-you-go-prijs (on-demand, secure, community of serverless). Een spot-, reserved- of marketplace-prijs staat alleen vooraan als de provider hier geen pay-as-you-go-prijs heeft, of als je op die facturering filtert; hij draagt zijn prijstype als label en staat in een eigen groep na de pay-as-you-go-prijzen, nooit ertussen gerangschikt. Prijzen zijn excl. btw en omzetbelasting.Niet gecontroleerd betekent niet gecontroleerd.
Als geen officiële bron een waarde bevestigt, tonen we “Niet gecontroleerd” in plaats van een schatting. Waar de voorwaarden van een provider niet toestaan dat zijn prijzen opnieuw worden gepubliceerd, linken we in plaats daarvan naar zijn actuele prijzen.Actualiteit op elke rij.
Vandaag bijgewerkt: gecontroleerd op de huidige dag (UTC). Actueel: tot 7 dagen. Verouderd: tot 30 dagen. Actualisatie nodig: ouder dan dat.Geen betaalde plaatsing.
Resultaten veranderen alleen van volgorde met de sortering die jij kiest. Affiliate-relaties beïnvloeden nooit de volgorde, de filters of welke providers verschijnen.
Filters matchen een provider als één van zijn vermelde aanbiedingen tegelijk aan elke GPU-, VRAM-, regio-, prijs- en afrekeneenheidvoorwaarde voldoet. De facturering spot, reserved en serverless toont elke provider die die prijsvorm aanbiedt en alleen prijzen op die basis, of “niet gecontroleerd” als we er geen hebben. Lees de volledige methodologie en onze affiliate-toelichting.
Veelgestelde vragen
Welke GPU heb ik nodig voor vLLM?
Volgens de vLLM-documentatie een NVIDIA-GPU met compute capability 7.5 of hoger, met genoeg VRAM voor de modelgewichten plus de KV-cache voor je contextlengte en het aantal gelijktijdige verzoeken. De tool VRAM en modelgrootte schat het geheugen voor veelgebruikte modellen.
Wat betekenen de ondersteuningsniveaus in de resultaten?
“Officiële template” betekent dat de provider een kant-en-klare vLLM-image, -template of -worker publiceert. “Gedocumenteerde installatie” betekent dat een gids de opzet bij die provider uitlegt; is de gids niet van de provider zelf, dan noemt de rij waar hij is gepubliceerd, zoals “(vLLM-documentatie)”. “Communitygids” betekent dat een gepubliceerde gids uit de community het behandelt. Providers waar je vLLM zonder zo'n gids zelf zou installeren, staan er niet bij.
Moet ik Ollama of vLLM gebruiken?
Ollama maakt het eenvoudig om een model op één machine te draaien, voor jezelf of een klein team. vLLM is gebouwd om veel gelijktijdige verzoeken efficiënt op GPU's te serveren, met een OpenAI-compatibele server, en past dus bij productie-endpoints. Beide zijn open source; je betaalt voor de server of GPU waarop ze draaien.
Zijn de prijzen per GPU of per instance?
Per GPU. Elke GPU-prijs staat in USD per enkele GPU per uur; aanbod voor multi-GPU-nodes wordt gedeeld door het aantal GPU's, en een prijs die je alleen als hele node kunt huren zegt dat erbij (bijvoorbeeld “gehuurd als 8 GPU's”). Opslag, dataverkeer en belastingen zijn niet inbegrepen, tenzij de provider ze meerekent.