Configurateur

Composer sa configuration, sans déborder

Choisis ta carte, la mémoire à laisser au système, le modèle et la taille du contexte : on vérifie que tout tient en mémoire vidéo et on estime la vitesse.

Les vitesses à contexte 0 sont mesurées. Tout ce qui dépend du contexte ou de la simultanéité est une estimation : chaque formule est affichée, rien n'entre en base.

Carte graphique

28 modèles mesurésRéservé à l'OS

écran, navigateur, système

Modèle173 tok/s · 2,8 Go mesurés · 1 runFenêtre de contexte

tok

max 262 144

Cache KV

Mémoire vidéo de la RTX 4070 Ti

3,1 Go occupés sur 11,0 Go exploitables (12 Go)

Il reste 7,9 Go pour ajouter un modèle ou agrandir un contexte.

▮ modèle (mesuré)▨ Cache KV□ Réservé à l'OS

Ministral 3 3BQ4_K_M · 4 096 tok

VRAM: 3,1 Go; 2,8 Go + 0,3 Go KV
Seul: 149 tok/s; Estimé
En simultané: —; ajoute un 2e modèle