Benchmark carte × modèle
Qwen2.5 Coder 14B sur RTX 4070 Ti Q4_K_M
ConfortableSur une RTX 4070 Ti (12 Go), Qwen2.5 Coder 14B en Q4_K_M génère 50,3 tokens/s et lit le prompt à 3 239 tokens/s, avec 9,3 Go de mémoire vidéo occupée.
Médiane de 1 mesure · dernière le 25/09/26
50,3 tok/s
Génération
3 239 tok/s
Lecture du prompt
9,3 Go
VRAM utilisée (max)
167 W
Conso moyenne
0,30 tok/s/W
Efficacité
0,23 €/M tok
Coût élec. / M tokens · 0,25 €/kWh
Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous
Et avec un contexte plus long ?
Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.
| Contexte | Cache KV | VRAM estimée | Tient en 12 Go ? | Vitesse estimée |
|---|---|---|---|---|
| 4 096 | 0,8 Go | 9,9 Go | oui | ≈ 47,0 tok/s |
| 8 192 | 1,5 Go | 10,6 Go | oui | ≈ 43,6 tok/s |
| 16 384 | 3,0 Go | 12,1 Go | non | — |
| 32 768 | 6,0 Go | 15,1 Go | non | — |
Cache KV par token = 2 × 48 couches × 8 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »
Qwen2.5 Coder 14B sur les autres cartes
| Carte | VRAM | Génération | Écart | Prix |
|---|---|---|---|---|
| RTX 5070 Ti | 16 Go | 81,9 tok/s | +62,9 % | — |
| RTX 4070 Ti | 12 Go | 50,3 tok/s | cette carte | — |
Autres modèles mesurés sur la RTX 4070 Ti
Toutes les mesures
| Date | Source | Type | Génération | Prompt | VRAM | Temp. max | Conso | llama.cpp |
|---|---|---|---|---|---|---|---|---|
| 25/09/26 | SephiGame | contexte 32 768ASUS ROG Strix | 2,0 | 15,1 | 11,6 Go | 50 °C | 66 W | llama.cpp 96278e39f |
| 25/09/26 | SephiGame | contexte 16 384ASUS ROG Strix | 27,8 | 165 | 11,6 Go | 56 °C | 97 W | llama.cpp 96278e39f |
| 25/09/26 | SephiGame | contexte 8 192ASUS ROG Strix | 42,5 | 2 149 | 10,8 Go | 68 °C | 182 W | llama.cpp 96278e39f |
| 25/09/26 | SephiGame | standardASUS ROG Strix | 50,3 | 3 239 | 9,3 Go | 60 °C | 167 W | llama.cpp 96278e39f |
Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte