Benchmark carte × modèle

DeepSeek R1 Distill Qwen 14B sur RTX 4070 Ti Q4_K_M

Confortable

Sur une RTX 4070 Ti (12 Go), DeepSeek R1 Distill Qwen 14B en Q4_K_M génère 49,3 tokens/s et lit le prompt à 3 196 tokens/s, avec 9,4 Go de mémoire vidéo occupée.

Médiane de 2 mesures · dernière le 08/08/26

49,3 tok/s

Génération

3 196 tok/s

Lecture du prompt

9,4 Go

VRAM utilisée (max)

169 W

Conso moyenne

0,29 tok/s/W

Efficacité

0,24 €/M tok

Coût élec. / M tokens · 0,25 €/kWh

Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous

Fiche RTX 4070 TiToutes les cartes sur DeepSeek R1 Distill Qwen 14BRessentir la vitesse Louer dans le cloud

Et avec un contexte plus long ?

Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.

ContexteCache KVVRAM estiméeTient en 12 Go ?Vitesse estimée
4 0960,8 Go10,0 Gooui≈ 46,0 tok/s
8 1921,5 Go10,7 Gooui≈ 42,7 tok/s
16 3843,0 Go12,2 Gonon—
32 7686,0 Go15,2 Gonon—
65 53612,0 Go21,2 Gonon—
131 07224,0 Go33,2 Gonon—

Cache KV par token = 2 × 48 couches × 8 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »

DeepSeek R1 Distill Qwen 14B sur les autres cartes

CarteVRAMGénérationÉcartPrix
RTX 5070 Ti16 Go82,5 tok/s+67,5 %1 400 €
RTX 4070 Ti12 Go49,3 tok/scette carte927 €

Autres modèles mesurés sur la RTX 4070 Ti

Llama 3.2 3B Instruct Q4_K_M 186 tok/sQwen2.5 7B Instruct Q4_K_M 94,9 tok/sMeta Llama 3.1 8B Instruct Q4_K_M 89,6 tok/sQwen2.5 14B Instruct Q4_K_M 49,2 tok/sPhi-4 Q4_K_M 48,8 tok/s

Toutes les mesures

DateSourceTypeGénérationPromptVRAMTemp. maxConsollama.cpp
08/08/26mesuréstandard48,93 1759,4 Go54 °C167 Wllama.cpp 96278e39f
04/08/26mesuréstandard49,73 2179,1 Go56 °C170 Wllama.cpp 96278e39f

Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte