Benchmark carte × modèle
Phi-4 sur RTX 4070 Ti Q4_K_M
ConfortableSur une RTX 4070 Ti (12 Go), Phi-4 en Q4_K_M génère 48,8 tokens/s et lit le prompt à 3 363 tokens/s, avec 9,5 Go de mémoire vidéo occupée.
Médiane de 2 mesures · dernière le 08/08/26
48,8 tok/s
Génération
3 363 tok/s
Lecture du prompt
9,5 Go
VRAM utilisée (max)
173 W
Conso moyenne
0,28 tok/s/W
Efficacité
0,25 €/M tok
Coût élec. / M tokens · 0,25 €/kWh
Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous
Et avec un contexte plus long ?
Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.
| Contexte | Cache KV | VRAM estimée | Tient en 12 Go ? | Vitesse estimée |
|---|---|---|---|---|
| 4 096 | 0,8 Go | 10,1 Go | oui | ≈ 45,5 tok/s |
| 8 192 | 1,6 Go | 10,9 Go | oui | ≈ 42,1 tok/s |
| 16 384 | 3,1 Go | 12,5 Go | non | — |
Cache KV par token = 2 × 40 couches × 10 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »
Phi-4 sur les autres cartes
| Carte | VRAM | Génération | Écart | Prix |
|---|---|---|---|---|
| RTX 5070 Ti | 16 Go | 84,0 tok/s | +72,0 % | 1 400 € |
| RTX 4070 Ti | 12 Go | 48,8 tok/s | cette carte | 927 € |
Autres modèles mesurés sur la RTX 4070 Ti
Toutes les mesures
| Date | Source | Type | Génération | Prompt | VRAM | Temp. max | Conso | llama.cpp |
|---|---|---|---|---|---|---|---|---|
| 08/08/26 | mesuré | standard | 48,4 | 3 340 | 9,5 Go | 55 °C | 171 W | llama.cpp 96278e39f |
| 04/08/26 | mesuré | standard | 49,3 | 3 386 | 9,5 Go | 57 °C | 175 W | llama.cpp 96278e39f |
Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte