Benchmark carte × modèle

Llama 3.2 3B Instruct sur RTX 5070 Ti Q4_K_M

Fluide

Sur une RTX 5070 Ti (16 Go), Llama 3.2 3B Instruct en Q4_K_M génère 283 tokens/s et lit le prompt à 14 572 tokens/s, avec 3,7 Go de mémoire vidéo occupée.

Médiane de 2 mesures · dernière le 25/09/26

283 tok/s

Génération

14 572 tok/s

Lecture du prompt

3,7 Go

VRAM utilisée (max)

121 W

Conso moyenne

2,35 tok/s/W

Efficacité

0,03 €/M tok

Coût élec. / M tokens · 0,25 €/kWh

Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous

Fiche RTX 5070 Ti Toutes les cartes sur Llama 3.2 3B Instruct Ressentir la vitesse Louer dans le cloud

Où l'acheterLDLC Materiel.net TopAchat Cybertek Grosbill Rue du Commerce Amazon

Et avec un contexte plus long ?

Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.

Contexte	Cache KV	VRAM estimée	Tient en 16 Go ?	Vitesse estimée
4 096	0,4 Go	4,0 Go	oui	≈ 239 tok/s
8 192	0,9 Go	4,5 Go	oui	≈ 202 tok/s
16 384	1,8 Go	5,4 Go	oui	≈ 154 tok/s
32 768	3,5 Go	7,1 Go	oui	≈ 105 tok/s
65 536	7,0 Go	10,6 Go	oui	≈ 63,9 tok/s
131 072	14,0 Go	17,6 Go	non	—

Cache KV par token = 2 × 28 couches × 8 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »

Llama 3.2 3B Instruct sur les autres cartes

Carte	VRAM	Génération	Écart	Prix
RTX 5070 Ti	16 Go	283 tok/s	cette carte	—
RTX 4070 Ti	12 Go	189 tok/s	−33,3 %	—

Autres modèles mesurés sur la RTX 5070 Ti

Toutes les mesures

Date	Source	Type	Génération	Prompt	VRAM	Temp. max	Conso	llama.cpp
25/09/26	French_Girl_13	contexte 32 768MSI Gaming X Trio	123	3 962	7,0 Go	64 °C	206 W	llama.cpp 96278e39f
25/09/26	French_Girl_13	contexte 16 384MSI Gaming X Trio	176	6 995	5,2 Go	62 °C	170 W	llama.cpp 96278e39f
25/09/26	French_Girl_13	contexte 8 192MSI Gaming X Trio	220	9 772	4,4 Go	56 °C	156 W	llama.cpp 96278e39f
25/09/26	French_Girl_13	standardMSI Gaming X Trio	297	15 174	3,2 Go	52 °C	130 W	llama.cpp 96278e39f
25/09/26	French_Girl_13	standardMSI Gaming X Trio	270	13 970	3,7 Go	52 °C	111 W	llama.cpp 96278e39f

Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte