Benchmark carte × modèle

R1 0528 (Qwen3) 8B sur RTX 4070 Ti Q4_K_M

Fluide

Sur une RTX 4070 Ti (12 Go), R1 0528 (Qwen3) 8B en Q4_K_M génère 90,1 tokens/s et lit le prompt à 5 994 tokens/s, avec 5,2 Go de mémoire vidéo occupée.

Médiane de 1 mesure · dernière le 25/09/26

90,1 tok/s

Génération

5 994 tok/s

Lecture du prompt

5,2 Go

VRAM utilisée (max)

154 W

Conso moyenne

0,59 tok/s/W

Efficacité

0,12 €/M tok

Coût élec. / M tokens · 0,25 €/kWh

Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous

Fiche RTX 4070 Ti Toutes les cartes sur R1 0528 (Qwen3) 8B Ressentir la vitesse Louer dans le cloud

Où l'acheterLDLC Materiel.net TopAchat Cybertek Grosbill Rue du Commerce Amazon

Et avec un contexte plus long ?

Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.

Contexte	Cache KV	VRAM estimée	Tient en 12 Go ?	Vitesse estimée
4 096	0,6 Go	5,7 Go	oui	≈ 82,3 tok/s
8 192	1,1 Go	6,3 Go	oui	≈ 74,7 tok/s
16 384	2,3 Go	7,4 Go	oui	≈ 63,0 tok/s
32 768	4,5 Go	9,6 Go	oui	≈ 48,0 tok/s
65 536	9,0 Go	14,1 Go	non	—
131 072	18,0 Go	23,1 Go	non	—

Cache KV par token = 2 × 36 couches × 8 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »

Autres modèles mesurés sur la RTX 4070 Ti

Gemma 3 270M Q4_K_M 728 tok/s LFM2.5 1.2B Q4_K_M 473 tok/s Llama 3.2 1B Q4_K_M 442 tok/s R1 Distill 1.5B Qwen Q4_K_M 328 tok/s Gemma 2 2B Q4_K_M 202 tok/s Llama 3.2 3B Instruct Q4_K_M 189 tok/s Ministral 3 3B Q4_K_M 173 tok/s Granite 4.1 3B Q4_K_M 166 tok/s Phi-4 mini 3.8B Q4_K_M 159 tok/s Gemma 3n E2B Q4_K_M 163 tok/s Gemma 4 E2B Q4_K_M 198 tok/s Gemma 3n E4B Q4_K_M 107 tok/s Mistral 7B 7B Q4_K_M 98,1 tok/s Qwen2.5 Coder 7B Q4_K_M 96,7 tok/s R1 Distill 7B Qwen Q4_K_M 97,6 tok/s Qwen2.5 7B Instruct Q4_K_M 98,8 tok/s Meta Llama 3.1 8B Instruct Q4_K_M 91,9 tok/s Ministral 3 8B Q4_K_M 84,0 tok/s Gemma 4 E4B Q4_K_M 114 tok/s Gemma 2 9B Q4_K_M 72,1 tok/s Gemma 4 12B Q4_K_M 53,8 tok/s Ministral 3 14B Q4_K_M 53,8 tok/s DeepSeek R1 Distill Qwen 14B Q4_K_M 51,1 tok/s Qwen2.5 Coder 14B Q4_K_M 50,3 tok/s Qwen2.5 14B Instruct Q4_K_M 50,5 tok/s Phi-4 Q4_K_M 50,8 tok/s Coder V2 Lite 16B-A2.4B Q4_K_M 189 tok/s

Toutes les mesures

Date	Source	Type	Génération	Prompt	VRAM	Temp. max	Conso	llama.cpp
25/09/26	SephiGame	contexte 32 768ASUS ROG Strix	45,1	1 197	10,0 Go	68 °C	197 W	llama.cpp 96278e39f
25/09/26	SephiGame	contexte 16 384ASUS ROG Strix	60,5	2 264	7,7 Go	68 °C	182 W	llama.cpp 96278e39f
25/09/26	SephiGame	contexte 8 192ASUS ROG Strix	71,8	4 443	6,6 Go	67 °C	174 W	llama.cpp 96278e39f
25/09/26	SephiGame	standardASUS ROG Strix	90,1	5 994	5,2 Go	64 °C	154 W	llama.cpp 96278e39f

Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte