NVIDIA
Nemotron 3
MoE
Choisissez une taille : la mémoire vidéo indiquée correspond au fichier Q4_K_M (la quantisation du protocole) plus environ 1,5 Go pour un contexte de 4 000 tokens.
Nano 4B
carte 8 Go- Paramètres
- 4 Md
- Fichier Q4_K_M
- 2,7 Go
- VRAM conseillée
- ≥ 4,2 Go
- Contexte max
- 262 144
Pas encore mesuré
Nano 30B-A3B
carte 32 Go- Paramètres
- 31,6 Md · 3 Md actifs
- Fichier Q4_K_M
- 22,8 Go
- VRAM conseillée
- ≥ 24,3 Go
- Contexte max
- 262 144
Pas encore mesuré
Super 120B-A12B
> 32 Go- Paramètres
- 123,6 Md · 12 Md actifs
- Fichier Q4_K_XL
- 78,0 Go
- VRAM conseillée
- ≥ 79,5 Go
- Contexte max
- 262 144
Pas encore mesuré
MoE (« 30B-A3B ») : toute la mémoire d'un 30B, mais la vitesse d'un modèle de 3 Md de paramètres actifs. « > 32 Go » : plusieurs cartes, ou une partie du modèle en mémoire système (bien plus lent).