Estimation carte × modèle

Phi-3.5 mini 3.8B sur RTX 4070 Ti Q4_K_M

devrait tenir

Sur une RTX 4070 Ti (12 Go), Phi-3.5 mini 3.8B en Q4_K_M demande environ 3,7 Go de mémoire vidéo : il devrait tenir. Vitesse de génération estimée : ≈ 159 tokens/s.

Pas encore mesuré : les chiffres ci-dessous sont des estimations, calculées à partir des modèles déjà mesurés sur cette carte. Mesurer ma carte

≈ 159 tok/s

Génération (estimée)

≥ 3,7 Go

VRAM conseillée (12 Go dispo.)

≈ 126 W

Conso (modèle de réf.)

0,05 €/M tok

Coût élec. / M tokens · 0,25 €/kWh

Calcul : Llama 3.2 3B Instruct mesuré à 189 tok/s sur cette carte, 1,9 Go lus par token → × 1,9 Go ÷ 2,2 Go ≈ 159 tok/s (la génération est limitée par la mémoire : la vitesse suit la quantité de poids lue).

Et avec un contexte plus long ?

ContexteCache KVVRAM estiméeTient en 12 Go ?Vitesse estimée
4 0961,5 Go4,2 Gooui≈ 102 tok/s
8 1923,0 Go5,7 Gooui≈ 71,1 tok/s
16 3846,0 Go8,7 Gooui≈ 44,4 tok/s
32 76812,0 Go14,7 Gonon—
65 53624,0 Go26,7 Gonon—
131 07248,0 Go50,7 Gonon—

VRAM estimée = fichier + cache KV (couches à attention complète, f16) + ~0,5 Go de buffers, hors mémoire prise par le système — d'où la « VRAM conseillée », un peu plus haute, qui garde cette marge. Vitesse ≈ vitesse estimée × poids lus ÷ (poids lus + cache KV ajouté).

Phi-3.5 mini 3.8B sur les autres cartes

RTX 3050 Laptop GPU 4 Go devrait tenirRTX 3050 Ti Laptop GPU 4 Go devrait tenirRTX 3060 Laptop GPU 6 Go devrait tenirRTX 4050 Laptop GPU 6 Go devrait tenirRTX 3050 8 Go devrait tenirRTX 3060 Ti 8 Go devrait tenirRTX 3070 8 Go devrait tenirRTX 3070 Laptop GPU 8 Go devrait tenirRTX 3070 Ti 8 Go devrait tenirRTX 3070 Ti Laptop GPU 8 Go devrait tenirRTX 3080 Laptop GPU 8 Go devrait tenirRTX 4060 8 Go devrait tenirRTX 4060 Laptop GPU 8 Go devrait tenirRTX 4060 Ti 8 Go devrait tenirRTX 4070 Laptop GPU 8 Go devrait tenirRTX 5050 8 Go devrait tenirRTX 5050 Laptop GPU 8 Go devrait tenirRTX 5060 8 Go devrait tenirRTX 5060 Laptop GPU 8 Go devrait tenirRTX 5070 Laptop GPU 8 Go devrait tenirRTX 3080 10 Go devrait tenirRTX 3060 12 Go devrait tenirRTX 3080 Ti 12 Go devrait tenirRTX 4070 12 Go devrait tenirRTX 4070 SUPER 12 Go devrait tenirRTX 4070 Ti 12 Go devrait tenirRTX 4080 Laptop GPU 12 Go devrait tenirRTX 5070 12 Go devrait tenirRTX 5070 Ti Laptop GPU 12 Go devrait tenirRTX 3080 Ti Laptop GPU 16 Go devrait tenirRTX 4070 Ti SUPER 16 Go devrait tenirRTX 4080 16 Go devrait tenirRTX 4080 SUPER 16 Go devrait tenirRTX 4090 Laptop GPU 16 Go devrait tenirRTX 5060 Ti 16 Go devrait tenirRTX 5070 Ti 16 Go devrait tenirRTX 5080 16 Go devrait tenirRTX 5080 Laptop GPU 16 Go devrait tenirRTX 3090 24 Go devrait tenirRTX 3090 Ti 24 Go devrait tenirRTX 4090 24 Go devrait tenirRTX 5090 Laptop GPU 24 Go devrait tenirRTX 5090 32 Go devrait tenir
Fiche Phi-3.5 mini 3.8BFiche RTX 4070 TiRessentir la vitesse Télécharger le GGUF (2,2 Go)

Estimations fondées sur les mesures réelles d'autres modèles sur cette carte et sur les données publiques du modèle (Microsoft Phi). Dès qu'une mesure existe, cette page affiche les vrais chiffres.