Benchmark carte × modèle
DeepSeek R1 Distill Qwen 14B sur RTX 4070 Ti Q4_K_M
ConfortableSur une RTX 4070 Ti (12 Go), DeepSeek R1 Distill Qwen 14B en Q4_K_M génère 51,1 tokens/s et lit le prompt à 3 266 tokens/s, avec 9,1 Go de mémoire vidéo occupée.
Médiane de 1 mesure · dernière le 25/09/26
51,1 tok/s
Génération
3 266 tok/s
Lecture du prompt
9,1 Go
VRAM utilisée (max)
166 W
Conso moyenne
0,31 tok/s/W
Efficacité
0,23 €/M tok
Coût élec. / M tokens · 0,25 €/kWh
Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous
Et avec un contexte plus long ?
Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.
| Contexte | Cache KV | VRAM estimée | Tient en 12 Go ? | Vitesse estimée |
|---|---|---|---|---|
| 4 096 | 0,8 Go | 9,8 Go | oui | ≈ 47,7 tok/s |
| 8 192 | 1,5 Go | 10,5 Go | oui | ≈ 44,3 tok/s |
| 16 384 | 3,0 Go | 12,0 Go | non | — |
| 32 768 | 6,0 Go | 15,0 Go | non | — |
| 65 536 | 12,0 Go | 21,0 Go | non | — |
| 131 072 | 24,0 Go | 33,0 Go | non | — |
Cache KV par token = 2 × 48 couches × 8 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »
DeepSeek R1 Distill Qwen 14B sur les autres cartes
| Carte | VRAM | Génération | Écart | Prix |
|---|---|---|---|---|
| RTX 5070 Ti | 16 Go | 81,5 tok/s | +59,6 % | — |
| RTX 4070 Ti | 12 Go | 51,1 tok/s | cette carte | — |
Autres modèles mesurés sur la RTX 4070 Ti
Toutes les mesures
| Date | Source | Type | Génération | Prompt | VRAM | Temp. max | Conso | llama.cpp |
|---|---|---|---|---|---|---|---|---|
| 25/09/26 | SephiGame | contexte 32 768ASUS ROG Strix | 2,1 | 15,3 | 11,6 Go | 49 °C | 66 W | llama.cpp 96278e39f |
| 25/09/26 | SephiGame | contexte 16 384ASUS ROG Strix | 27,8 | 170 | 11,6 Go | 56 °C | 97 W | llama.cpp 96278e39f |
| 25/09/26 | SephiGame | contexte 8 192ASUS ROG Strix | 43,3 | 2 217 | 10,7 Go | 68 °C | 183 W | llama.cpp 96278e39f |
| 25/09/26 | SephiGame | standardASUS ROG Strix | 51,1 | 3 266 | 9,1 Go | 60 °C | 166 W | llama.cpp 96278e39f |
Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte