Benchmark carte × modèle

Phi-4 mini 3.8B sur RTX 4070 Ti Q4_K_M

Fluide

Sur une RTX 4070 Ti (12 Go), Phi-4 mini 3.8B en Q4_K_M génère 159 tokens/s et lit le prompt à 12 101 tokens/s, avec 3,1 Go de mémoire vidéo occupée.

Médiane de 1 mesure · dernière le 25/09/26

159 tok/s

Génération

12 101 tok/s

Lecture du prompt

3,1 Go

VRAM utilisée (max)

137 W

Conso moyenne

1,16 tok/s/W

Efficacité

0,06 €/M tok

Coût élec. / M tokens · 0,25 €/kWh

Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous

Fiche RTX 4070 Ti Toutes les cartes sur Phi-4 mini 3.8B Ressentir la vitesse Louer dans le cloud

Où l'acheterLDLC Materiel.net TopAchat Cybertek Grosbill Rue du Commerce Amazon

Et avec un contexte plus long ?

Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.

Contexte	Cache KV	VRAM estimée	Tient en 12 Go ?	Vitesse estimée
4 096	0,5 Go	3,5 Go	oui	≈ 136 tok/s
8 192	1,0 Go	4,0 Go	oui	≈ 116 tok/s
16 384	2,0 Go	5,0 Go	oui	≈ 89,6 tok/s
32 768	4,0 Go	7,0 Go	oui	≈ 61,7 tok/s
65 536	8,0 Go	11,0 Go	oui	≈ 38,0 tok/s
131 072	16,0 Go	19,0 Go	non	—

Cache KV par token = 2 × 32 couches × 8 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »

Autres modèles mesurés sur la RTX 4070 Ti

Gemma 3 270M Q4_K_M 728 tok/s LFM2.5 1.2B Q4_K_M 473 tok/s Llama 3.2 1B Q4_K_M 442 tok/s R1 Distill 1.5B Qwen Q4_K_M 328 tok/s Gemma 2 2B Q4_K_M 202 tok/s Llama 3.2 3B Instruct Q4_K_M 189 tok/s Ministral 3 3B Q4_K_M 173 tok/s Granite 4.1 3B Q4_K_M 166 tok/s Gemma 3n E2B Q4_K_M 163 tok/s Gemma 4 E2B Q4_K_M 198 tok/s Gemma 3n E4B Q4_K_M 107 tok/s Mistral 7B 7B Q4_K_M 98,1 tok/s Qwen2.5 Coder 7B Q4_K_M 96,7 tok/s Qwen2.5 7B Instruct Q4_K_M 98,8 tok/s R1 Distill 7B Qwen Q4_K_M 97,6 tok/s Meta Llama 3.1 8B Instruct Q4_K_M 91,9 tok/s R1 0528 (Qwen3) 8B Q4_K_M 90,1 tok/s Ministral 3 8B Q4_K_M 84,0 tok/s Gemma 4 E4B Q4_K_M 114 tok/s Gemma 2 9B Q4_K_M 72,1 tok/s Gemma 4 12B Q4_K_M 53,8 tok/s Ministral 3 14B Q4_K_M 53,8 tok/s Qwen2.5 14B Instruct Q4_K_M 50,5 tok/s DeepSeek R1 Distill Qwen 14B Q4_K_M 51,1 tok/s Qwen2.5 Coder 14B Q4_K_M 50,3 tok/s Phi-4 Q4_K_M 50,8 tok/s Coder V2 Lite 16B-A2.4B Q4_K_M 189 tok/s

Toutes les mesures

Date	Source	Type	Génération	Prompt	VRAM	Temp. max	Conso	llama.cpp
25/09/26	SephiGame	contexte 32 768ASUS ROG Strix	63,9	1 481	7,4 Go	67 °C	183 W	llama.cpp 96278e39f
25/09/26	SephiGame	contexte 16 384ASUS ROG Strix	91,3	3 137	5,4 Go	67 °C	169 W	llama.cpp 96278e39f
25/09/26	SephiGame	contexte 8 192ASUS ROG Strix	115	7 469	4,4 Go	64 °C	149 W	llama.cpp 96278e39f
25/09/26	SephiGame	standardASUS ROG Strix	159	12 101	3,1 Go	60 °C	137 W	llama.cpp 96278e39f

Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte