Benchmark carte × modèle

R1 Distill 1.5B Qwen sur RTX 4070 Ti Q4_K_M

Fluide

Sur une RTX 4070 Ti (12 Go), R1 Distill 1.5B Qwen en Q4_K_M génère 328 tokens/s et lit le prompt à 21 225 tokens/s, avec 1,7 Go de mémoire vidéo occupée.

Médiane de 1 mesure · dernière le 25/09/26

328 tok/s

Génération

21 225 tok/s

Lecture du prompt

1,7 Go

VRAM utilisée (max)

48 W

Conso moyenne

6,83 tok/s/W

Efficacité

0,01 €/M tok

Coût élec. / M tokens · 0,25 €/kWh

Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous

Fiche RTX 4070 TiToutes les cartes sur R1 Distill 1.5B QwenRessentir la vitesse Louer dans le cloud
Où l'acheterLDLC Materiel.net TopAchat Cybertek Grosbill Rue du Commerce Amazon

Et avec un contexte plus long ?

Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.

ContexteCache KVVRAM estiméeTient en 12 Go ?Vitesse estimée
4 0960,1 Go1,8 Gooui≈ 303 tok/s
8 1920,2 Go1,9 Gooui≈ 278 tok/s
16 3840,4 Go2,1 Gooui≈ 238 tok/s
32 7680,9 Go2,6 Gooui≈ 186 tok/s
65 5361,8 Go3,5 Gooui≈ 129 tok/s
131 0723,5 Go5,2 Gooui≈ 79,8 tok/s

Cache KV par token = 2 × 28 couches × 2 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »

Autres modèles mesurés sur la RTX 4070 Ti

Gemma 3 270M Q4_K_M 728 tok/sLlama 3.2 1B Q4_K_M 442 tok/sGemma 2 2B Q4_K_M 202 tok/sLlama 3.2 3B Instruct Q4_K_M 189 tok/sGemma 3n E2B Q4_K_M 163 tok/sGemma 4 E2B Q4_K_M 198 tok/sGemma 3n E4B Q4_K_M 107 tok/sQwen2.5 Coder 7B Q4_K_M 96,7 tok/sQwen2.5 7B Instruct Q4_K_M 98,8 tok/sR1 Distill 7B Qwen Q4_K_M 97,6 tok/sMeta Llama 3.1 8B Instruct Q4_K_M 91,9 tok/sR1 0528 (Qwen3) 8B Q4_K_M 90,1 tok/sGemma 4 E4B Q4_K_M 114 tok/sGemma 2 9B Q4_K_M 72,1 tok/sGemma 4 12B Q4_K_M 53,8 tok/sQwen2.5 14B Instruct Q4_K_M 50,5 tok/sDeepSeek R1 Distill Qwen 14B Q4_K_M 51,1 tok/sQwen2.5 Coder 14B Q4_K_M 50,3 tok/sPhi-4 Q4_K_M 50,8 tok/sCoder V2 Lite 16B-A2.4B Q4_K_M 189 tok/s

Toutes les mesures

DateSourceTypeGénérationPromptVRAMTemp. maxConsollama.cpp
25/09/26SephiGamecontexte 32 768ASUS ROG Strix1927 5312,8 Go67 °C155 Wllama.cpp 96278e39f
25/09/26SephiGamecontexte 16 384ASUS ROG Strix24211 2562,4 Go63 °C129 Wllama.cpp 96278e39f
25/09/26SephiGamecontexte 8 192ASUS ROG Strix27714 2212,2 Go60 °C101 Wllama.cpp 96278e39f
25/09/26SephiGamestandardASUS ROG Strix32821 2251,7 Go57 °C48 Wllama.cpp 96278e39f

Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte