Benchmark carte × modèle

Qwen2.5 14B Instruct sur RTX 5070 Ti Q4_K_M

Fluide

Sur une RTX 5070 Ti (16 Go), Qwen2.5 14B Instruct en Q4_K_M génère 82,4 tokens/s et lit le prompt à 3 808 tokens/s, avec 10,0 Go de mémoire vidéo occupée.

Médiane de 2 mesures · dernière le 25/09/26

82,4 tok/s

Génération

3 808 tok/s

Lecture du prompt

10,0 Go

VRAM utilisée (max)

172 W

Conso moyenne

0,48 tok/s/W

Efficacité

0,14 €/M tok

Coût élec. / M tokens · 0,25 €/kWh

Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous

Fiche RTX 5070 TiToutes les cartes sur Qwen2.5 14B InstructRessentir la vitesse Louer dans le cloud
Où l'acheterLDLC Materiel.net TopAchat Cybertek Grosbill Rue du Commerce Amazon

Et avec un contexte plus long ?

Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.

ContexteCache KVVRAM estiméeTient en 16 Go ?Vitesse estimée
4 0960,8 Go10,6 Gooui≈ 77,0 tok/s
8 1921,5 Go11,4 Gooui≈ 71,4 tok/s
16 3843,0 Go12,9 Gooui≈ 62,4 tok/s
32 7686,0 Go15,9 Gooui≈ 49,8 tok/s

Cache KV par token = 2 × 48 couches × 8 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »

Qwen2.5 14B Instruct sur les autres cartes

CarteVRAMGénérationÉcartPrix
RTX 5070 Ti16 Go82,4 tok/scette carte—
RTX 4070 Ti12 Go50,5 tok/s−38,8 %—

Autres modèles mesurés sur la RTX 5070 Ti

Qwen2.5 Coder 0.5B Q4_K_M 805 tok/sQwen2.5 0.5B Q4_K_M 803 tok/sQwen3 0.6B Q4_K_M 728 tok/sQwen3.5 0.8B Q4_K_M 514 tok/sQwen2.5 1.5B Q4_K_M 481 tok/sQwen2.5 Coder 1.5B Q4_K_M 481 tok/sQwen3 1.7B Q4_K_M 456 tok/sQwen3.5 2B Q4_K_M 394 tok/sQwen2.5 Coder 3B Q4_K_M 305 tok/sQwen2.5 3B Q4_K_M 305 tok/sLlama 3.2 3B Instruct Q4_K_M 283 tok/sQwen3 4B Q4_K_M 225 tok/sQwen3 2507 4B Q4_K_M 224 tok/sQwen3.5 4B Q4_K_M 196 tok/sQwen2.5 7B Instruct Q4_K_M 162 tok/sQwen2.5 Coder 7B Q4_K_M 162 tok/sMeta Llama 3.1 8B Instruct Q4_K_M 151 tok/sQwen3 8B Q4_K_M 146 tok/sQwen3.5 9B Q4_K_M 125 tok/sQwen2.5 Coder 14B Q4_K_M 81,9 tok/sDeepSeek R1 Distill Qwen 14B Q4_K_M 81,5 tok/sQwen3 14B Q4_K_M 84,8 tok/sPhi-4 Q4_K_M 84,9 tok/s

Toutes les mesures

DateSourceTypeGénérationPromptVRAMTemp. maxConsollama.cpp
25/09/26French_Girl_13contexte 32 768MSI Gaming X Trio49,51 26415,5 Go70 °C227 Wllama.cpp 96278e39f
25/09/26French_Girl_13contexte 16 384MSI Gaming X Trio62,01 99512,9 Go68 °C210 Wllama.cpp 96278e39f
25/09/26French_Girl_13contexte 8 192MSI Gaming X Trio70,52 64911,4 Go67 °C199 Wllama.cpp 96278e39f
25/09/26French_Girl_13standardMSI Gaming X Trio83,33 8509,8 Go61 °C172 Wllama.cpp 96278e39f
25/09/26French_Girl_13standardMSI Gaming X Trio81,53 76710,0 Go58 °C172 Wllama.cpp 96278e39f

Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte