Benchmark carte × modèle
Phi-4 sur RTX 5070 Ti Q4_K_M
FluideSur une RTX 5070 Ti (16 Go), Phi-4 en Q4_K_M génère 84,0 tokens/s et lit le prompt à 3 926 tokens/s, avec 9,3 Go de mémoire vidéo occupée.
Médiane de 1 mesure · dernière le 04/08/26
84,0 tok/s
Génération
3 926 tok/s
Lecture du prompt
9,3 Go
VRAM utilisée (max)
191 W
Conso moyenne
0,44 tok/s/W
Efficacité
0,16 €/M tok
Coût élec. / M tokens · 0,25 €/kWh
Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous
Et avec un contexte plus long ?
Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.
| Contexte | Cache KV | VRAM estimée | Tient en 16 Go ? | Vitesse estimée |
|---|---|---|---|---|
| 4 096 | 0,8 Go | 10,0 Go | oui | ≈ 78,3 tok/s |
| 8 192 | 1,6 Go | 10,8 Go | oui | ≈ 72,5 tok/s |
| 16 384 | 3,1 Go | 12,3 Go | oui | ≈ 63,1 tok/s |
Cache KV par token = 2 × 40 couches × 10 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »
Phi-4 sur les autres cartes
| Carte | VRAM | Génération | Écart | Prix |
|---|---|---|---|---|
| RTX 5070 Ti | 16 Go | 84,0 tok/s | cette carte | 1 400 € |
| RTX 4070 Ti | 12 Go | 48,8 tok/s | −41,9 % | 927 € |
Autres modèles mesurés sur la RTX 5070 Ti
Toutes les mesures
| Date | Source | Type | Génération | Prompt | VRAM | Temp. max | Conso | llama.cpp |
|---|---|---|---|---|---|---|---|---|
| 04/08/26 | mesuré | standard | 84,0 | 3 926 | 9,3 Go | 62 °C | 191 W | llama.cpp 96278e39f |
Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte