Ma configuration

Composer sa configuration, sans déborder

Choisis ta carte, la mémoire à laisser au système, le modèle et la taille du contexte : on vérifie que tout tient en mémoire vidéo et on estime la vitesse.

Les vitesses à contexte 0 sont mesurées. Tout ce qui dépend du contexte ou de la simultanéité est une estimation : chaque formule est affichée, rien n'entre en base.

Carte graphique2 modèles mesurésRéservé à l'OS

écran, navigateur, système

Modèle78,0 tok/s · 10,4 Go mesurés · 1 run· démoFenêtre de contexte

tok

max 32 768

Cache KV

Mémoire vidéo de la RTX 4090

11,0 Go occupés sur 23,0 Go exploitables (24 Go)

Il reste 12,0 Go pour ajouter un modèle ou agrandir un contexte.

▮ modèle (mesuré)▨ Cache KV□ Réservé à l'OS

Qwen2.5 14B InstructQ4_K_M · 4 096 tok

VRAM: 11,0 Go; 10,4 Go + 0,6 Go KV
Seul: 72,9 tok/s; Estimé
En simultané: —; ajoute un 2e modèle