KI-Modell Inferenzkosten-Rechner

Der VRAM deiner GPU bestimmt, welche Modelle du lokal betreiben kannst. 7B-Modelle brauchen ca. 6 GB, 13B ca. 10 GB, 70B ca. 40 GB VRAM (bei Q4-Quantisierung).

Q4-quantisierte Modelle brauchen ~50 % weniger VRAM als FP16 bei nur ~3 % Qualitätsverlust. Das halbiert die Hardware-Anforderungen und damit die Kosten.

API-Anbieter bieten oft Batch-Rabatte (bis -50 %). Wenn deine Anfragen nicht zeitkritisch sind, können Batch-APIs wie OpenAI Batch deutlich günstiger sein.