Configurateur

Composer sa configuration, sans déborder

Choisis ta carte, la mémoire à laisser au système, le modèle et la taille du contexte : on vérifie que tout tient en mémoire vidéo et on estime la vitesse.

Les vitesses à contexte 0 sont mesurées. Tout ce qui dépend du contexte ou de la simultanéité est une estimation : chaque formule est affichée, rien n'entre en base.

Carte graphique

28 modèles mesurésRéservé à l'OS

écran, navigateur, système

Modèle98,1 tok/s · 4,8 Go mesurés · 1 runFenêtre de contexte

tok

max 32 768

Cache KV

Mémoire vidéo de la RTX 4070 Ti

5,3 Go occupés sur 11,0 Go exploitables (12 Go)

Il reste 5,7 Go pour ajouter un modèle ou agrandir un contexte.

▮ modèle (mesuré)▨ Cache KV□ Réservé à l'OS

Mistral 7B 7BQ4_K_M · 4 096 tok

VRAM: 5,3 Go; 4,8 Go + 0,4 Go KV
Seul: 89,5 tok/s; Estimé
En simultané: —; ajoute un 2e modèle