Benchmark carte × modèle

Meta Llama 3.1 8B Instruct sur RTX 4090 Q4_K_M

Fluide

Sur une RTX 4090 (24 Go), Meta Llama 3.1 8B Instruct en Q4_K_M génère 132 tokens/s et lit le prompt à 5 900 tokens/s, avec 6,2 Go de mémoire vidéo occupée.

Médiane de 1 mesure · dernière le 04/08/26

Donnée de démonstration : cette combinaison n'a pas encore été mesurée pour de vrai.

132 tok/s

Génération

5 900 tok/s

Lecture du prompt

6,2 Go

VRAM utilisée (max)

285 W

Conso moyenne

0,46 tok/s/W

Efficacité

0,15 €/M tok

Coût élec. / M tokens · 0,25 €/kWh

Estimez votre coût mensuel selon votre tarif et votre usage : connectez-vous

Fiche RTX 4090 Toutes les cartes sur Meta Llama 3.1 8B Instruct Ressentir la vitesse Louer dans le cloud

Où l'acheterLDLC Materiel.net TopAchat Cybertek Grosbill Rue du Commerce Amazon

Et avec un contexte plus long ?

Estimation, pas une mesure : le cache KV grandit avec le contexte, occupe de la VRAM et ralentit la génération.

Contexte	Cache KV	VRAM estimée	Tient en 24 Go ?	Vitesse estimée
4 096	0,5 Go	6,6 Go	oui	≈ 122 tok/s
8 192	1,0 Go	7,1 Go	oui	≈ 111 tok/s
16 384	2,0 Go	8,1 Go	oui	≈ 94,9 tok/s
32 768	4,0 Go	10,1 Go	oui	≈ 73,5 tok/s
65 536	8,0 Go	14,1 Go	oui	≈ 50,6 tok/s
131 072	16,0 Go	22,1 Go	oui	≈ 31,2 tok/s

Cache KV par token = 2 × 32 couches × 8 têtes KV × 128 × 2 octets (f16). VRAM estimée = VRAM mesurée + cache KV ajouté. Vitesse ≈ vitesse mesurée × poids ÷ (poids + cache KV ajouté) — le calcul de l'attention n'est pas modélisé, la baisse réelle est un peu plus forte. Régler finement dans le « Configurateur »

Meta Llama 3.1 8B Instruct sur les autres cartes

Carte	VRAM	Génération	Écart	Prix
RTX 5070 Ti	16 Go	151 tok/s	+14,5 %	1 400 €
RTX 4090démo	24 Go	132 tok/s	cette carte	—
RTX 5080démo	16 Go	124 tok/s	−6,1 %	1 850 €
RTX 4080démo	16 Go	103 tok/s	−22,0 %	780 €
RTX 4070 Ti	12 Go	89,6 tok/s	−32,1 %	927 €
RTX 4070	12 Go	82,3 tok/s	−37,7 %	595 €
RTX 3060démo	12 Go	48,0 tok/s	−63,6 %	260 €

Autres modèles mesurés sur la RTX 4090

Qwen2.5 14B Instruct Q4_K_M 78,0 tok/s

Toutes les mesures

Date	Source	Type	Génération	Prompt	VRAM	Temp. max	Conso	llama.cpp
04/08/26	démo	standard	132	5 900	6,2 Go	66 °C	285 W	—

Protocole : llama-bench (llama.cpp), prompt 512 + génération 128 tokens, modèle entièrement chargé en VRAM. VRAM utilisée = pic système (inclut l'OS, ~0,5 à 1 Go de plus que le modèle seul). Mesurer ma carte